亚马逊 Bedrock 宣布即时缓存正式上市

发布于: 2025年4月7日

在 re: Invent 2024 上，AWS 宣布了提示缓存的预览版，这是一项新功能，通过在多个 API 调用中缓存常用提示，可将成本降低多达 90%，延迟最多降低 85%。今天，AWS正在亚马逊Bedrock上推出即时缓存，现已正式上线。

它让您能够缓存重复的输入并避免重新处理上下文，例如辅助模型理解的较长的系统提示和常见示例。当您使用提示缓存时，处理输入所需的计算资源更少。因此，我们不仅可以更快地处理您的请求，而且还可以通过减少资源使用量来帮助您降低成本。

Amazon Bedrock 是一项完全托管的服务，可以通过单个 API 提供一系列来自领先 AI 公司的高性能基础模型。Amazon Bedrock 还提供了客户构建内置安全性、隐私性和响应式 AI 功能的生成式 AI 应用程序所需的大量功能。这些功能可帮助您针对不同行业的多种应用场景构建量身定制的应用程序，帮助组织通过生成式人工智能实现可持续增长，同时提供各种工具来建立客户信任并进行数据治理。

提示缓存现已普遍适用于 Anthropic 的 Claude 3.5 Haiku 和 Claude 3.7 Sonnet、Nova Micro、Nova Lite 和 Nova Pro 型号。在提示缓存预览期间获得Claude 3.5 Sonnet v2访问权限的客户将保留其访问权限，但是没有其他客户被授予访问Claude 3.5 Sonnet v2模型的提示缓存的权限。要了解区域可用性或了解有关提示缓存的更多信息，请参阅我们的文档和博客。