Jobcase dimensiona i flussi di lavoro di ML per supportare miliardi di previsioni giornaliere con Amazon Redshift ML

Jobcase è una piattaforma di lavoro supportata dalla community in cui oltre 110 milioni di membri registrati negli Stati Uniti si connettono per aiutarsi a vicenda e trovare opportunità. Mentre molti siti Web di ricerca di lavoro si orientano verso posizioni professionali, gli strumenti di ricerca e le funzionalità social di Jobcase si concentrano su uno spettro più ampio di ruoli quotidiani, tra cui lavoratori a ora e service worker, commercianti e tecnici. L'identificazione di partner forti consente all'azienda di suggerire lavori di qualità per i membri e aiuta i datori di lavoro ad assumere lavoratori qualificati. Quando qualcuno cerca opportunità di lavoro su Jobcase, l'azienda analizza circa 30 milioni di annunci nel suo elenco, confrontando le qualità di ciascuna con le preferenze del membro. La sua infrastruttura deve essere in grado di eseguire queste attività di machine learning su larga scala, recuperando e facendo previsioni su miliardi di record al giorno. Jobcase utilizza Amazon Redshift da oltre 8 anni come data warehouse principale, fungendo da fonte di informazioni per tutte le sue attività di analisi dei dati. "Il nostro database inserisce miliardi di eventi ogni giorno", ha spiegato Ajay Joshi, distinguished engineer di Jobcase. "Tutti i nostri sistemi di produzione generano dati che confluiscono in Amazon Redshift. L'azienda ne è completamente dipendente". Il precedente flusso di lavoro di ML dell'azienda, che prevedeva lo spostamento dei dati da Amazon Redshift a un ambiente separato per eseguire il software ML prima di restituirli al database, era inefficiente, soggetto a errori e costoso. Per risolvere questi problemi, Jobcase è migrato ad Amazon Redshift ML in modo da poter eseguire le sue funzioni di ML all'interno del data warehouse senza dover spostare i dati. L'azienda ha iniziato a testare Amazon Redshift ML a dicembre 2020 e lo ha implementato in produzione a luglio 2021. "Il nuovo sistema su AWS si inserisce sostanzialmente nella nostra pipeline così com'è", ha dichiarato Joshi. "Siamo riusciti a implementare rapidamente diversi modelli in produzione che hanno iniziato immediatamente a produrre vantaggi".

L'uso di Amazon Redshift ML semplifica il modo in cui Jobcase genera previsioni dai suoi modelli di ML. "Tramite Amazon Redshift ML, possiamo adattare un'ampia gamma di sofisticate classi di modelli di ML ai dati direttamente nel nostro data warehouse Amazon Redshift", ha affermato Clay Martin, data scientist senior di Jobcase. A sole 4 settimane dall'implementazione dei nuovi modelli su Amazon Redshift ML, l'azienda aveva già registrato un miglioramento fino al 5% dei suoi parametri di coinvolgimento per specifici canali di e-mail e notifiche push. "Un miglioramento del 5% dei parametri di coinvolgimento si traduce in una migliore esperienza e fidelizzazione dei membri e in un corrispondente aumento delle entrate", ha affermato Martin. Jobcase ora può eseguire l'inferenza del modello su miliardi di record in pochi minuti anziché 4-5 ore.

Il sistema di raccomandazioni genera consigli specifici per le offerte di lavoro, oltre a suggerimenti di ricerca e raccomandazioni aziendali, per ciascuno dei suoi milioni di membri attivi. Man mano che la community cresce, aumentano i costi di manutenzione di pipeline di dati complesse. "Facciamo in media da cinque a sei miliardi di previsioni offline ogni giorno", ha affermato Joshi. L'uso delle funzionalità di inferenza locale nel database di Amazon Redshift ML elimina la necessità di trasferire dati tra ambienti separati. Di conseguenza, Jobcase consente di risparmiare denaro e riduce la complessità aumentando al contempo la dimensione dei carichi di lavoro ML.

Inoltre, Jobcase può eseguire test di grandi dimensioni più rapidamente di prima. "In passato avremmo dovuto eseguire test su piccole coorti di utenti per 1 o 2 mesi", ha dichiarato Martin. "Grazie Amazon Redshift ML, possiamo invece eseguire test su interi set di dati in meno di una settimana". Ciò facilita la creazione e l'iterazione sui modelli dell'azienda a un ritmo molto rapido. Inoltre, la capacità del servizio di addestrare e distribuire modelli contribuisce automaticamente ad aumentare la produttività dei team di Jobcase. "Siamo una piccola azienda rispetto alla quantità di dati che elaboriamo", ha affermato Joshi. "L'esecuzione rapida delle previsioni e il numero relativamente basso di operazioni richieste per implementare i modelli su Amazon Redshift ML ci consentono di concentrarci sull'aggiunta di valore ad altri aspetti del nostro prodotto".

Altrettanto importante, grazie ad Amazon Redshift ML, Jobcase può scalare i carichi di lavoro di ML senza aumentare i costi. "Per ottenere prestazioni elevate su questa scala su un sistema diverso, dovremmo dedicare una notevole quantità di tempo e denaro all'ottimizzazione", ha affermato Joshi. Al contrario, l'azienda non ha riscontrato alcun aumento dei costi quando ha iniziato a utilizzare Amazon Redshift ML perché la funzionalità opera all'interno del cluster Amazon Redshift esistente. L'elasticità del lavoro nel cloud rende semplice per Jobcase lavorare su larga scala, anche quando la base di utenti dell'azienda cresce. "Siamo sempre stati all'avanguardia quando abbiamo costruito su AWS", ha dichiarato Joshi. "Abbiamo avuto un ottimo rapporto con i team di AWS e questo è stato fenomenale".