Amazon SageMaker がマルチアダプターモデル推論を提供開始
本日、Amazon SageMaker は、事前トレーニング済み言語モデルを使用するお客様に新たな可能性をもたらすマルチアダプター推論機能を導入しました。この機能により、何百ものファインチューニングされた LoRA (Low-Rank Adaptation) モデルアダプターを単一のエンドポイントの背後にデプロイし、要求に基づいて適切なアダプターをミリ秒単位で動的にロードできます。これにより、共通のベースモデル上に構築された多数の専用 LoRA アダプターを効率的にホストでき、個別のモデルを展開する場合に比べて高いスループットとコスト削減を実現できます。
マルチアダプター推論により、事前トレーニング済みモデルをさまざまなビジネスニーズに合わせてすばやくカスタマイズできます。例えば、マーケティング会社や SaaS 企業は、各顧客の固有の画像、コミュニケーションスタイル、ドキュメントを使用して AI/ML アプリケーションをパーソナライズし、カスタマイズされたコンテンツを数秒で生成できます。同様に、ヘルスケアや金融サービス業界などの企業は、LoRA を活用した共通の基本モデルを再利用して、ファインチューニングされた適切なアダプターを交換するだけで、医療診断から不正検出まで、さまざまな専門タスクに対応することができます。この柔軟性と効率性により、強力で適応性の高い AI を組織全体に導入する新たな機会が開かれます。
マルチアダプター推論機能は、アジアパシフィック (東京、ソウル、ムンバイ、シンガポール、シドニー、ジャカルタ)、カナダ (中部)、欧州 (フランクフルト、ストックホルム、アイルランド、ロンドン)、中東 (UAE)、南米 (サンパウロ)、米国東部 (バージニア北部、オハイオ)、米国西部 (オレゴン) でご利用いただけます。
使用を開始するには、LoRA の使用とモデルアダプターの管理に関する情報について Amazon SageMaker 開発者ガイドを参照してください。