Discover Mempercepat Analitik dan Time-to-Insight Menggunakan AWS

Discover Financial Services menyediakan produk perbankan dan kredit untuk membantu nasabah meraih tujuan keuangan mereka, seperti membangun kredit yang baik, membayar biaya kuliah, dan mengonsolidasi utang. Perusahaan sangat mengandalkan data dan analitik secara internal serta eksternal untuk memenuhi janji tersebut juga membuat perusahaan lebih menonjol dalam industri yang sangat kompetitif. “Kami memiliki banyak data pelanggan,” ungkap Brandon Harris, Direktur Teknologi Ilmu Data di Discover Financial Services. “Kami harus menggunakan data tersebut sebagai pembeda untuk terus memberikan pengalaman yang lebih baik kepada pelanggan.”

Selama bertahun-tahun, praktik analitik individu bermunculan dalam tim dan unit bisnis Discover. Secara keseluruhan, ada sekitar 8–10 set alat di 12 tim. Tiap praktik memerlukan set keterampilan dan alat yang berbeda. Tim kepemimpinan Discover percaya bahwa menyatukan praktik dan tim dapat meningkatkan analitik serta menciptakan alat yang konsisten di seluruh organisasi.

Tim teknologi Discover biasanya membangun solusi baru secara internal, lebih memilih untuk mengontrol teknologi secara menyeluruh dan mengelola pusat data mereka sendiri. Harris dan timnya diberi tugas untuk membuat platform terpusat yang akan memungkinkan ilmuwan data perusahaan untuk berkolaborasi dalam lingkungan bersama, meja kerja ilmuwan data internal yang disebut Air9.

Salah satu prinsip desain pertama yang disetujui tim Harris untuk Air9 adalah kekuatan dalam keragaman. “Tidak hanya keragaman tim dan pengalaman mereka, tetapi juga keragaman pendekatan serta alat,” jelas Harris. “Kami tidak akan menyajikan pendekatan satu untuk semua ke ilmu data bagi komunitas analitik yang kuat.”

Tim Harris yakin bahwa Kubernetes sangat cocok untuk meng-host Air9 karena banyak alat ilmu data yang sudah digunakan perusahaan biasanya akan berujung pada kontainerisasi. Memiliki kontainer khusus akan menciptakan beban kerja terisolasi dan memungkinkan pelanggan menginstal paket kustom serta membuat perubahan pada lingkungan mereka yang akan menyulitkan pengelolaan dalam lingkungan multipenyewa. Karena Discover merupakan pelanggan lama Amazon Web Services (AWS) dan pengguna Amazon Simple Storage Service (Amazon S3), tim juga memilih untuk men-deploy instans Amazon Elastic Compute Cloud (Amazon EC2). Dengan pendekatan ini, sekitar 883 ilmuwan data di beberapa negara kini dapat memilih ukuran, tipe, dan kuantitas instans Amazon EC2 mereka serta membuat aplikasi memasang instans tersebut secara otomatis untuk set data.

Kemampuan penyimpanan bersama dengan penyimpanan file cloud-native yang terkelola penuh merupakan komponen penting lainnya dari Air9. “Jika Anda menjalankan seluruh lingkungan yang berbeda, haruslah ada cara umum untuk menyimpan data dan berkolaborasi,” jelas Harris.

Namun, proyek terhambat ketika tim Discover mulai mendesain lapisan penyimpanan. “Tim analitik kami memiliki set data yang sangat besar di dalam gudang data cloud kami, tetapi kami berencana memberikan mereka penyimpanan data lokal untuk pekerjaan mereka, serta mekanisme untuk berbagi data di antara dan ke seluruh tim,” ungkap Harris. “Lapisan penyimpanan ini juga haruslah tangguh dan mendukung pertumbuhan yang signifikan dari waktu ke waktu.”

Harris dan timnya bersiap untuk memanfaatkan solusi penyimpanan tersedistribusi sumber terbuka sebagai lapisan penyimpanan platform ilmu data, tetapi menjalankan dan mengelolanya akan menghabiskan banyak waktu dan biaya. “Saat kami melihat biaya bulanan terkait menjalankan platform penyimpanan kami sendiri melampaui biaya komputasi, kami tahu pasti ada hal yang salah,” Harris berujar. “Tentu saja, biaya berlebih diakibatkan oleh faktor replikasi untuk penyimpanan terdistribusi, tetapi kompromi untuk mengurangi biaya—menurunkan faktor replikasi—bukanlah hal yang kami inginkan.”

Berkat keberhasilan tim dengan Amazon EC2 di sisi komputasi platform, tim meninjau AWS Managed Services untuk penyimpanan dan memilih untuk men-deploy Amazon Elastic File System (Amazon EFS). Harris berkata, “Amazon EFS sangat sesuai dari sisi skalabilitas serta biaya, dan berkat kerja yang hebat dari komunitas Kubernetes, kemampuan kelas penyimpanan sudah tersedia di layanan. AWS juga memungkinkan kami menggunakan lingkungan yang berbeda untuk tipe data yang berbeda, sehingga kami dapat melindungi tipe data sensitif secara lebih baik.”

Sebelumnya, setiap tim direktori utama dan direktori tim. Dengan memanfaatkan Amazon EFS, perusahaan dapat dengan mudah memberikan akses bersama ke seluruh alat, proyek, dan set data ilmu data untuk kolaborasi yang lebih mulus. Kemampuan pengarsipan data jangka panjang digabungkan dengan biaya overhead Amazon S3 yang rendah berarti Discover dapat mengustomisasi proses pencadangan agar data memiliki salinan kedua untuk disimpan.

Harris berujar, “Kami menggunakan Amazon EFS sebagai lapisan kolaborasi, dan kami juga memiliki lapisan arsip serta historis untuk berbagai set data atau untuk tujuan manajemen siklus hidup.” “Kami harus menyimpan set data tertentu selama beberapa tahun. Amazon S3 dan kelas penyimpanan Amazon S3 Glacier sangat membantu dalam memastikan kami dapat menghemat biaya saat menyimpan semua data yang dibuat dan digunakan oleh ilmuwan data kami.”

Saat ini, Air9 meningkatkan produktivitas dan efisiensi ilmuwan data Discover dengan memungkinkan mereka menjalankan aplikasi analitik dalam satu lokasi terpusat di AWS, berkolaborasi dalam lingkungan penyimpanan bersama, memanfaatkan sumber data terstruktur dan tidak terstruktur, serta memproses dan menyimpan data dari beberapa sumber. Ini memungkinkan ilmuwan data Discover menganalisis data untuk wawasan secara lebih cepat dan mudah.

Peningkatan platform data sebelumnya memerlukan waktu berminggu-minggu, utamanya disebabkan batasan penyimpanan serta kebutuhan untuk mengubah ukuran dan memperbesar klaster penyimpanan lama ketika penyimpanan tambahan diperlukan. Karena Amazon EFS melakukan semua hal tersebut dari balik layar, kini tim dapat meningkatkan platform data dalam hitungan jam. Platform ini juga memungkinkan layanan mandiri, membantu ilmuwan data tetap produktif tanpa mengganggu pengalaman kolega mereka. “Dengan lingkungan on-premise sebelumnya, tidak ada mekanisme untuk memfasilitasi percakapan dan interaksi antara ilmuwan data kami,” tutur Harris.

Menggunakan solusi AWS, Harris memperkirakan timnya berhasil mengurangi jumlah waktu yang dihabiskan untuk mengelola penyimpanan sebesar 90 persen. Dan dengan mengandalkan AWS untuk mengelola layanan serta menyediakan kemampuan redundansi dibandingkan dengan merancang dan membangunnya secara internal, Discover berhasil mengurangi biaya sebesar 50–60 persen.

Perubahan ini juga membantu mempercepat seluruh upaya transformasi digital Discover. “Dulu kami memerlukan waktu berminggu-minggu untuk memberikan alat yang diperlukan pengguna agar mereka dapat bekerja,” ungkap Harris. “Kini kami dapat melakukannya dalam hitungan jam, sehingga pengguna dapat mulai mengumpulkan dan menyampaikan nilai untuk pelanggan secepat mungkin.”

Untuk mempelajari selengkapnya, kunjungi thinkwithwp.com/efs.