Amazon Bedrock Knowledge Bases がストリーミング応答のサポートを開始

投稿日: 2024年12月1日

Amazon Bedrock Knowledge Bases は、フルマネージド型のエンドツーエンドの検索拡張生成 (RAG) ワークフローを提供し、会社のデータソースからのコンテキスト情報を組み込むことで、高精度、低レイテンシー、安全なカスタムの生成 AI アプリケーションを作成できます。本日、Bedrock Knowledge Bases でのRetrieveAndGenerateStream API のサポートについて発表します。この新しいストリーミング API により、Bedrock Knowledge Base のお客様は、完全な応答を待つことなく、大規模言語モデル (LLM) によって生成された応答をそのまま受け取ることができます。

RAG ワークフローには、データストアへのクエリ、関連コンテキストの収集、クエリを LLM に送信して応答を要約するなど、いくつかのステップが含まれます。応答生成の最終ステップは、応答生成に使用される基礎となるモデルのレイテンシーによっては数秒かかる場合があります。レイテンシーの影響を受けやすいアプリケーションを構築する際にこのレイテンシーを減らすために、モデルによって生成されるレスポンスをストリームとして提供する RetrieveAndGenerateStream API を提供することになりました。これにより、最初の応答までのレイテンシーが短縮され、Bedrock Knowledge Base を操作する際によりシームレスで応答性の高いエクスペリエンスがユーザーに提供されます。

この新機能は現在、既存のすべての Amazon Bedrock Knowledge Base リージョンでサポートされています。詳細については、ドキュメントをご覧ください。