Amazon Bedrock 现在支持跨区域推理

发布于: 2024年8月27日

今天，Amazon Bedrock 宣布支持跨区域推理，这是一项可选功能，让开发人员能够通过在不同 AWS 区域间运用计算资源，实现对流量激增的无缝管理。通过使用跨区域推理，采用按需模式的 Bedrock 客户将能够在需求高峰期获得更高的吞吐量限额（最多可达分配的区域内配额的 2 倍）和更高的弹性。通过选用这一功能，开发人员无需再耗费时间与精力去预测需求的波动情况。取而代之的是，跨区域推理可以动态地将流量路由到多个区域，确保为每个请求提供最优的可用性，并在高使用率时段达成更流畅的性能表现。

客户可以通过从一组预定义的区域中进行选择来控制其推理数据的流向，从而帮助他们遵守适用的数据驻留要求和主权法律。此外，此功能尽可能优先考虑连接的 Bedrock API 源区域，有助于最大限度地减少延迟并提高响应能力。因此，客户可以增强其应用程序的可靠性、性能和效率。

使用跨区域推理不会产生额外的路由费用，费用将依据您所发出请求的区域（来源区域）进行收取。请在此处找到支持的模型和预定义区域的列表。要详细了解该功能及其使用方法，请参阅 Amazon Bedrock 文档或此博客。