Jobcase Menskalakan Alur Kerja ML untuk Mendukung Miliaran Prediksi Harian Menggunakan ML Amazon Redshift

Jobcase adalah platform kerja dengan dukungan komunitas, di mana lebih dari 110 juta anggota terdaftar di seluruh Amerika Serikat terhubung untuk saling membantu dan menemukan peluang kerja. Jika banyak situs web pencarian kerja lebih condong pada posisi profesional, alat pencarian dan fitur sosial Jobcase berfokus pada spektrum peran sehari-hari yang lebih luas, termasuk pekerja per jam dan pekerja jasa, pekerja di bidang perdagangan, serta teknisi. Dengan mengidentifikasi kecocokan yang kuat, perusahaan dapat menyarankan pekerjaan yang berkualitas untuk anggotanya dan membantu pemberi kerja merekrut pekerja yang memenuhi kualifikasi. Ketika seseorang mencari peluang kerja di Jobcase, perusahaan ini akan menganalisis sekitar 30 juta lowongan dalam direktori mereka, lalu membandingkan kualitas masing-masing dengan preferensi anggota. Infrastruktur mereka harus dapat melakukan tugas ML dalam skala besar, mengambil dan membuat prediksi pada miliaran catatan per hari. Jobcase telah menggunakan Amazon Redshift selama lebih dari 8 tahun sebagai gudang data primer mereka, yang bertindak sebagai sumber tepercaya untuk semua pekerjaan analitik datanya. “Basis data kami menyerap miliaran peristiwa setiap harinya,” ungkap Ajay Joshi, distinguished engineer di Jobcase. “Semua sistem produksi kami menghasilkan data yang mengalir ke Amazon Redshift. Perusahaan ini mengandalkannya.” Alur kerja ML mereka sebelumnya tidaklah efisien, rawan kesalahan, dan mahal karena harus memindahkan data dari Amazon Redshift ke lingkungan terpisah untuk menjalankan perangkat lunak ML sebelum mengembalikan data ke basis data. Untuk mengatasi tantangan ini, Jobcase bermigrasi ke Amazon Redshift ML sehingga mereka dapat menjalankan fungsi ML di dalam gudang data—tanpa perlu memindahkan data. Perusahaan ini mulai menguji Amazon Redshift ML pada Desember 2020 dan men-deploy-nya ke produksi pada bulan Juli 2021. “Sistem baru di AWS pada dasarnya cocok dengan pipeline kami sebagaimana adanya,” kata Joshi. “Kami dapat dengan cepat melakukan deployment beberapa model ke dalam produksi yang langsung mulai menghasilkan manfaat.”

Menggunakan Amazon Redshift ML dapat menyederhanakan cara Jobcase menghasilkan prediksi dari model ML mereka. “Melalui Amazon Redshift ML, kami dapat menyesuaikan berbagai kelas model ML yang canggih dengan data secara langsung di gudang data Amazon Redshift kami,” ujar Clay Martin, ilmuwan data senior di Jobcase. Hanya dalam waktu 4 minggu setelah menerapkan model baru di Amazon Redshift ML, perusahaan ini mengalami peningkatan hingga 5 persen dalam metrik interaksi mereka untuk saluran email dan notifikasi push tertentu. “Peningkatan 5 persen dalam metrik interaksi berarti peningkatan pengalaman anggota dan retensi anggota serta peningkatan pendapatan masing-masing,” kata Martin. Kini Jobcase dapat melakukan inferensi model pada miliaran catatan dalam hitungan menit, alih-alih 4 hingga 5 jam.

Sistem rekomendasi menghasilkan rekomendasi lowongan pekerjaan yang spesifik—serta saran pencarian dan rekomendasi perusahaan—untuk masing-masing dari jutaan anggota aktifnya. Seiring pertumbuhan komunitas, biaya pemeliharaan pipeline data kompleks juga meningkat. “Kami melakukan rata-rata lima hingga enam miliar prediksi offline setiap harinya,” ujar Joshi. Penggunaan fitur inferensi lokal dalam basis data Amazon Redshift ML menghapus kebutuhan transfer data di antara lingkungan yang terpisah. Hasilnya, Jobcase dapat menghemat biaya dan mengurangi kompleksitas sekaligus meningkatkan skala beban kerja ML mereka.

Selain itu, Jobcase dapat menyelesaikan pengujian besar lebih cepat dibandingkan sebelumnya. “Sebelumnya, kami harus melakukan pengujian pada kelompok pengguna kecil selama 1 hingga 2 bulan,” kata Martin. “Dengan Amazon Redshift ML, kami dapat menjalankan pengujian pada seluruh set data dalam waktu kurang dari seminggu.” Layanan ini memfasilitasi pembangunan dan iterasi model perusahaan dengan sangat cepat. Selain itu, kemampuan layanan ini untuk melatih dan men-deploy model secara otomatis berkontribusi pada peningkatan produktivitas di seluruh tim Jobcase. “Kami adalah perusahaan kecil relatif dibandingkan dengan jumlah data yang kami proses,” kata Joshi. “Dengan menjalankan prediksi secara cepat dan sedikit bekerja untuk men-deploy model di Amazon Redshift ML, kami bisa fokus pada penambahan nilai untuk aspek lain produk kami.”

Sama pentingnya, dengan Amazon Redshift ML, Jobcase dapat menskalakan beban kerja ML mereka tanpa menambah biaya. “Untuk mencapai performa tinggi pada skala ini di sistem yang berbeda, kami harus menghabiskan banyak waktu dan uang dalam mengoptimalkannya,” ujar Joshi. Sebaliknya, perusahaan ini tidak mengalami kenaikan biaya ketika mulai menggunakan Amazon Redshift ML karena fitur ini berfungsi dalam klaster Amazon Redshift yang sudah ada. Elastisitas pekerjaan di cloud memudahkan Jobcase untuk bekerja dalam skala besar, bahkan saat basis pengguna perusahaan juga berkembang. “Kami selalu menjadi ujung tombak saat membangun di AWS,” kata Joshi. “Kami memiliki hubungan yang sangat baik dengan tim di AWS, dan itu sangat fenomenal.”