发布于: May 7, 2024
Amazon Bedrock 代理使开发人员可以创建基于生成式人工智能的应用程序，这些应用程序可以完成各种应用场景的复杂任务，并根据公司知识来源提供答案。随着代理应用程序扩展，与按需限制相比，它们需要更高的输入和输出模型吞吐量。
今天，我们将通过 Amazon Bedrock 代理发布对预配置吞吐量的支持。使用预配置吞吐量，您可以为特定的基础模型购买模型单元。模型单元提供一定有保证的吞吐量，吞吐量由每分钟处理的最大输入或输出令牌数衡量。您需要按小时为每个模型单元付费，并且可以灵活地在无承诺和 1 个月或 6 个月的承诺期之间进行选择。
要详细了解 Bedrock 代理的新功能，请访问文档页面。