Amazon Bedrock 现在支持对 Anthropic Claude Sonnet 4 和 OpenAI GPT-OSS 模型使用批次推断

发布于: 2025年8月18日

Anthropic 的 Claude Sonnet 4 和 OpenAI 的 GPT-OSS 120B 和 20B 模型现在可用于在 Amazon Bedrock 中进行批次推断。借助批次推断，您可以异步运行多个推断请求，以按需推断定价的 50% 提高大型数据集的性能。Amazon Bedrock 提供来自 Anthropic、OpenAI、Meta 和 Amazon 等领先人工智能提供商的精选基础模型 (FM) 以用于批次推断，从而使处理大量工作负载变得更容易、更具成本效益。

通过对 Claude Sonnet 4 和 OpenAI GPT-OSS 模型进行批次推断，您可以处理大型数据集，适合诸如文档和客户反馈分析、批量内容生成（例如营销文案、产品描述）、大规模提示或输出评估、知识库和归档的自动汇总、支持票证或电子邮件的大规模分类以及以更低的成本大规模从非结构化文本中提取结构化数据等场景。我们对批处理产品进行了优化，与旧型号相比，在这些新型号上可提供更高的总体批处理吞吐量。此外，您现在可以使用 Amazon CloudWatch 指标在 AWS 账户级别跟踪您的批处理工作负载进度。对于所有模型，这些指标包括待处理记录总数、已处理记录数和每分钟令牌数，对于 Claude 模型，还包括待处理令牌数。

要了解有关 Amazon Bedrock 中批次推断的更多信息，请访问批次推断文档。您可以访问支持批次推断的区域和模型页面，了解有关支持的模型的更多详细信息，并参阅 Amazon Bedrock API 参考开始使用批次推断。