Amazon Bedrock 知识库现在支持 RAG 评测（预览版）

发布于: 2024年12月1日

今天，我们在 Amazon Bedrock 知识库中宣布支持 RAG 评测。通过此功能，您可以评测基于 Amazon Bedrock 知识库构建的检索增强生成 (RAG) 应用程序。您可以评测信息检索或检索加内容生成。评测由 LLM-as-a-judge 技术提供支持，有多种判断模型可供客户选择。对于检索评测，您可以从上下文相关性和覆盖范围等指标中进行选择。对于检索加生成评测，您可以从正确性、完整性和忠诚度（幻觉检测）等质量指标中进行选择，也可以选择响应式 AI 指标，例如危害性、拒绝答案和陈规定型观念。您还可以比较各个评测作业，以便将知识库与不同设置（例如分块策略或向量长度）或不同的内容生成模型进行比较。

评测 RAG 应用程序可能很困难，因为检索和生成中有许多组件需要优化。现在，通过 Amazon Bedrock 知识库的 RAG 评测工具，客户可以在数据和 LLM 已经存在的位置方便快捷地评测其知识库支持的应用程序。此外，您还可以将 Amazon Bedrock 防护机制直接纳入您的评测中，以进行更全面的测试。与完全离线人工评测相比，使用 Amazon Bedrock 上的这些 RAG 评测工具可以节省成本和数周时间，从而使您可以更快、更轻松地改进应用程序。

要了解更多信息（包括区域可用性），请阅读 AWS 新闻博客并访问 Amazon Bedrock 评测页面。要开始使用，请登录 Amazon Bedrock 控制台或使用 Amazon Bedrock API。