Amazon Bedrock 知识库现在支持流响应

发布于: 2024年12月1日

Amazon Bedrock 知识库提供完全托管式端到端检索增强生成 (RAG) 工作流程，通过整合公司数据来源的上下文信息，创建高度准确、低延迟、安全和自定义的生成式 AI 应用程序。今天，我们宣布在 Bedrock 知识库中支持 RetrieveAndGenerateStream API。这个新的流式 API 允许 Bedrock 知识库客户在大型语言模型 (LLM) 生成响应时接收响应，而不必等待完整的响应。

RAG 工作流程涉及多个步骤，包括查询数据存储、收集相关上下文，然后将查询发送到 LLM 以获取响应汇总。生成响应的最后一步可能需要几秒钟时间，具体取决于响应生成中使用的基础模型的延迟。为了减少构建延迟敏感型应用程序的延迟，我们现在提供了 RetrieveAndGenerateStream API，该 API 以流的形式提供由模型生成的响应。这样可以减少首次响应延迟，为用户在与 Bedrock 知识库交互时提供更顺畅且响应更快的体验。

这项新功能目前在所有现有的 Amazon Bedrock 知识库区域都受支持。要了解更多信息，请参阅文档。