Jobcase は、Amazon Redshift ML を使用して ML ワークフローをスケーリングして、毎日何十億件もの予測をサポート

Jobcase はコミュニティが支援するワークプラットフォームであり、全米で 1 億 1,000 万人を超える登録メンバーがつながり、互いに助け合い、機会を見つけています。多くの求人サイトは専門職に偏っていますが、Jobcase の検索ツールやソーシャル機能は、時間給やサービスワーカー、販売業者、技術者など、より幅広い日常業務に焦点を当てています。最適なマッチングを特定することで、会社はメンバーに質の高い求人を提案し、雇用主は適任の労働者を雇うのに役立ちます。誰かが Jobcase で仕事の機会を検索すると、同社はディレクトリにある約 3,000 万件のリスティングを分析し、それぞれの特性とメンバーの希望とを比較します。同社のインフラストラクチャは、こうした ML タスクを大規模に実行し、1 日あたり数十億件のレコードを検索して予測ができなければなりません。Jobcase は、8 年以上にわたって Amazon Redshift を主要なデータウェアハウスとして使用しており、Amazon Redshift はすべてのデータ分析作業の信頼できる情報源として機能しています。「当社のデータベースには、毎日何十億ものイベントが取り込まれています」と、Jobcase の主席エンジニア、Ajay Joshi 氏は述べます。「当社のすべてのプロダクションシステムが、Amazon Redshift に送られるデータを生成します。会社はそれに頼っているのです」。 同社の以前の ML ワークフローでは、Amazon Redshift から別の環境に ML ソフトウェアを実行するためにデータを移動してから、データをデータベースに戻す必要がありましたが、これは、非効率的でエラーが発生しやすく、コストがかかるものでした。これらの課題を克服するために、Jobcase は Amazon Redshift ML に移行し、データを移動することなくデータウェアハウス内で ML 機能を実行できるようにしました。同社は 2020 年 12 月に Amazon Redshift ML のテストを開始し、2021 年 7 月に本番環境にデプロイしました。「AWS での新しいシステムは、基本的に現状のままパイプラインに収まります」と Joshi 氏は述べます。「いくつかのモデルを本番環境にすばやく導入でき、すぐに効果を得ることができました」。

Amazon Redshift ML を使用することで、Jobcase は ML モデルから予測を生成する方法を簡素化しています。「Amazon Redshift ML で、高度な ML モデルクラスを幅広く Amazon Redshift データウェアハウス内のデータに直接適合させることができます」と、Jobcase のシニアデータサイエンティストである Clay Martin 氏は語っています。Amazon Redshift ML に新しいモデルをデプロイしてからわずか 4 週間後、同社では特定の E メールとプッシュ通知チャネルのエンゲージメントメトリクスが既に 5% も向上していました。「エンゲージメントメトリクスが 5% 向上すれば、メンバー体験とメンバー定着率が向上し、それに応じて収益も増加します」と、Martin 氏は述べます。Jobcase では、数十億件のレコードに対してモデル推論を 4～5 時間ではなく、わずか数分で実行できるようになりました。

レコメンデーションシステムは、数百万人のアクティブメンバーそれぞれについて、特定の求人情報の推薦、検索候補、企業の推薦を生成します。コミュニティが拡大するにつれて、複雑なデータパイプラインの維持コストも増加します。「私たちは毎日平均 50～60 億件のオフライン予測を行っています」と Joshi 氏は述べます。Amazon Redshift ML のデータベース内ローカル推論機能を使用すると、別々の環境間でデータを転送する必要がなくなります。その結果、Jobcase は ML ワークロードの規模を拡大しながら、コストを節約し、複雑さを軽減しています。

さらに、大規模なテストを以前よりも迅速に処理できるようになりました。「以前は、小人数のユーザーコホートを対象に 1～2 か月にわたってテストを実施する必要がありました」と Martin 氏は述べます。「Amazon Redshift ML を使用することで、データセット全体のテストを 1 週間もかからずに実行できます」。 これにより、会社のモデルを非常に速いペースで構築して反復することが容易になります。さらに、モデルをトレーニングしデプロイする能力は、自動的に Jobcase のチーム全体の生産性の向上に貢献します。「私たちは、処理するデータ量の割には小さな会社です」と Joshi 氏は述べます。「Amazon Redshift ML にモデルをデプロイするのにほとんど労力をかけることなく、すばやく予測を実行できるので、製品の他の側面に付加価値を付けることに集中できるのです」。

同様に重要なのは、Amazon Redshift ML を使用することで、Jobcase はコストを増やさずに ML ワークロードをスケーリングできる点です。「これだけの規模で別のシステムで高いパフォーマンスを実現するには、その最適化に多大な時間と費用を費やす必要があります」と Joshi 氏は述べます。しかしながら、この機能は既存の Amazon Redshift クラスター内で機能するため、同社が Amazon Redshift ML を使うようになってもコストが増加することはありませんでした。クラウドでの作業には柔軟性があるため、Jobcase のユーザーベースが拡大しても、大規模な作業は簡単です。「AWS での構築のおかげで、私たちは常に最先端を走ってきました」と Joshi 氏は述べます。「私たちは AWS のチームと素晴らしい関係を築いてきましたが、すばらしい経験でした」。