Perplexity が Amazon SageMaker HyperPod で、基盤モデルのトレーニングを 40% 高速化

関係性の高い結果よりも広告や特定のキーワードが優先されることが多い従来の検索エンジンとは異なり、Perplexity のソリューションは、ユーザーが本当に求める知識が提示されるように最適化されています。月間約 1,000 万のアクティブユーザーが Perplexity を利用して、新しい概念を学び、課題を解決し、答えを見つけています。

Perplexity の Cofounder で CEO を務める Aravind Srinivas 氏は、こう話します。「大規模言語モデルを使えば、人間の言語理解力と推論能力を 1 つのモデルにまとめられます。当社の回答エンジンは、そうしたモデルと、インターネット上にある事実をともに利用して構築したものです。要するに、従来の検索インデックス (事実エンジン) と推論エンジン (大規模言語モデル) を連携させて、世界初の会話型回答エンジンを構築したのです」。

2022 年のサービス公開以来、Perplexity は、Amazon Elastic Compute Cloud (Amazon EC2) (事実上あらゆるワークロードで安全でサイズ変更可能なコンピューティングキャパシティを利用できる) などの、AWS のコアサービスを使用して、自社サービスのバックエンド、フロントエンド、検索コンポーネントを強化してきましたが、会社の成熟と ML モデル数の増加に伴い、ユーザーにサービスを提供する大規模なコンピューティング能力が必要になりました。

AWS の専門家に相談後、Amazon SageMaker HyperPod (大規模分散トレーニングに特化したインフラストラクチャ) なら、大規模なモデルトレーニングの要件を満たすことがわかりました。Amazon SageMaker HyperPod には、Amazon SageMaker の分散トレーニングライブラリが事前に設定されています。こうしたライブラリは、1,600 Gbps を超える相互接続速度で、スケーラビリティと高い費用対効果を実現しながら、カスタムのデータ並列およびモデル並列深層学習トレーニングジョブを実行するように最適化されています。Amazon SageMaker HyperPod を導入すると、チェックポイントの定期的な保存によって、基盤モデルトレーニングの中断を防ぐこともできます。トレーニング中にハードウェア障害が発生すると、障害が自動検出され、障害が生じたインスタンスの修復または交換の後に、最後に保存されたチェックポイントからトレーニングが再開されます。これにより、分散環境でのモデルトレーニングを数週間から数か月にわたって中断なく行えるようになります。

AWS は、分散型トレーニング機能を実証するために 1 か月間のトライアルを提供し、Perplexity は、その期間中に AWS 導入の利点を認識しました。例えば、リソース割り当ての柔軟性が向上しました。特定のタスク向けに調整されたさまざまな Amazon EC2 インスタンスと GPU を使用するからです。

ML モデルをトレーニングするには、膨大な量のデータを処理しさまざまな勾配を保存するために、大容量のメモリが必要です。そこで、メモリと帯域幅の要件を満たす Amazon EC2 P4de インスタンスを選択して、トレーニングジョブを実行しました。こうしたインスタンスなら、ML トレーニングとハイパフォーマンスコンピューティングアプリケーションでパフォーマンスを最大化できます。また、Amazon SageMaker HyperPod を使用して、さまざまな GPU 間でデータ転送を大幅に高速化したため、ML モデルのトレーニング時間を最大 40 パーセント削減できました。

Srinivas 氏は、こう話します。「Amazon SageMaker HyperPod の組み込みデータと、モデル並列ライブラリを使用して、GPU でのトレーニング時間を最適化できたので、トレーニングのスループットが倍増しました。その結果、今では、トレーニングを 2 倍の速さで実行できています。つまり、イテレーション期間が短縮されるため、顧客向けの新しい生成 AI 体験をより迅速に開発できるのです。Amazon SageMaker HyperPod なら、クラスターの状態を自動監視して GPU の障害を修復するため、開発者がモデルの構築に集中できます。基盤となるインフラストラクチャの管理と最適化に時間を取られることはありません」。

Perplexity の目標は、ほぼリアルタイムの推論機能が必要なユーザーのクエリに、迅速かつ正確な応答を返すことです。Amazon EC2 P5 インスタンス (深層学習アプリケーション用の高性能 GPU ベースのインスタンスを利用可能) を使用すれば、以前よりもはるかに高いスループットで回答を生成できます。それどころか、10,000 ユーザーが同時に接続し、1 時間あたり 100,000 件を超えるクエリが発生する急増期にも処理が可能であり、レイテンシーの低下や、ユーザー体験へのマイナスの影響も生じません。さらに、広く公開されている Llama 2 モデルを Amazon EC2 P5 インスタンス上でホストし、Amazon SageMaker HyperPod を使用してそのオープンソースモデルを独自データで微調整します。そうした微調整により、応答の精度と関連性が向上し、Perplexity の応答エンジン要件に沿ったモデルのカスタマイズも可能になります。