面向性能关键型应用程序的超高速云对象存储
Amazon S3 Express One Zone 是一款高性能的专用单可用区存储类,可为您经常访问的数据和延迟敏感型应用程序提供稳定的毫秒级数据访问性能。与 S3 标准相比,S3 Express One Zone 提供的数据访问速度可提高多达 10 倍,请求成本可降低多达 50%。虽然您始终可以选择特定的 AWS 区域来存储 S3 数据,而借助 S3 Express One Zone,您可以指定一个 AWS 区域中的特定 AWS 可用区来存储数据。您可以选择将存储与计算资源并置在同一可用区内,以便进一步优化性能,这有助于降低计算成本,提高工作负载的运行速度。使用 S3 Express One Zone,数据将存储在 S3 目录存储桶(这是另一种存储桶类型)中,可支持每秒数十万个请求。此外,您可以将 S3 Express One Zone 与 Amazon SageMaker 模型训练、Amazon Athena、Amazon EMR 和 AWS Glue Data Catalog 等服务结合使用,从而加速机器学习和分析工作负载。借助 S3 Express One Zone,存储可根据您的使用情况和需求自动纵向扩展或缩减,您无需再为低延迟工作负载管理多个存储系统。
加速性能关键型应用程序
降低总拥有成本
无需预置即可轻松扩展
工作原理
您首先需要在所选的可用区中创建一个 S3 目录存储桶。您可以选择将存储与 Amazon Elastic Compute Cloud(EC2)、Amazon Elastic Kubernetes Service(EKS)和 Amazon Elastic Container Service(ECS)计算资源并置,从而进一步优化性能。您可以将新对象直接上传到 S3 Express One Zone,也可以使用导入按钮从其他存储类复制数据。后者是一种完全托管式且可跟踪的方法,可将现有对象从同一 AWS 区域中的通用存储桶或前缀复制到目录存储桶。通过将目录存储桶与人工智能和机器学习(AI/ML)服务和应用程序以及 PyTorch 等开源框架结合使用,可以降低延迟、缩短处理时间、减少计算成本和 API 请求成本,从而加速性能关键型工作负载并降低总拥有成本(TCO)。
应用场景
机器学习和人工智能训练
通过显著提高数据访问速度来加快模型训练和开发,从而更快地处理模型数据集。
交互式数据分析
利用云端更快的处理速度、高吞吐量和低延迟存储,加快查询速度,快速分析 PB 级数据并获得洞察。
高性能计算(HPC)
使用快速、高度可扩展并且可与计算资源并置的存储,快速完成计算密集型 HPC 工作负载。
数据流式处理
通过个位数毫秒级的请求延迟以及将数据附加到现有对象等功能来加速日志和媒体流应用程序。
实时广告
以毫秒级请求延迟提供定向广告内容,以帮助优化个性化并加快动态展示位置中的广告投放。
媒体内容工作负载
借助可随计算资源扩展的存储,快速响应不断缩短的视觉效果(VFX)、渲染和转码时间要求。
Amazon S3 Express One Zone 客户
Pinterest 是一个视觉灵感平台,每月有超过 4.8 亿人通过该平台搜索、保存和购买来自全世界的优秀创意。Pinterest 利用先进的机器学习模型来分析数以十亿计的对象,并为每位用户提供个性化的推荐。
“机器学习是 Pinterest 的核心,以大规模的机器学习训练日志采集为支撑。为加速 Pinterest 的数据摄取和分发,我们开发了 MemQ,这是一款超高效的开源发布订阅系统,可为我们所有的机器学习训练数据提供支持,并利用 Amazon S3 提供高达数十 Gb/s 的高速数据管道,同时保持良好的成本效益。我们评估了 Amazon S3 Express One Zone 存储类与 MemQ 结合使用的情况,发现延迟降低了 10 倍以上,同时每秒数据处理事务量也得以提高。凭借这种显著的性能改进,S3 Express One Zone 使我们能够提高数据利用速度和实验频率,同时显著降低基础设施成本。S3 Express One Zone 带来了一种范式上的转变,使云应用程序的性能更高,可扩展性更好,灵活性和效率更佳。”
Ambud Sharma,Pinterest 数据工程技术主管
Ansatz Capital
Ansatz Capital 是一个量化交易团队,利用世界一流的技术和优秀的技术人才来开发和部署交易策略,涵盖各种资产类别和全球市场。
“在高频交易中,我们根据大量的时间序列数据持续训练模型,以适应闪电般变化的金融市场。我们的研究生态系统将 S3 作为灵活的数据湖来使用,让我们能够尽可能快速地进行交易。Amazon S3 Express One Zone 存储类具有低请求延迟和高性能的特点,使我们能够将模型扩展到更高的资产和时间点粒度级别,工作负载运行速度总体提高了 78%。”
Shiyang Cao,安萨兹资本首席技术官
ClickHouse
ClickHouse 是一种超快速的资源高效型开源数据库,适用于实时应用程序和分析。ClickHouse Cloud 的云原生数据库即服务在 AWS 上运行。
“ClickHouse Cloud 可用于各种实时分析场景,包括可观测性、市场交易数据等等。这需要有大规模、高性能的存储,为此我们选择将 Amazon S3 Express One Zone 存储类作为服务中的数据热缓存,以支持要求极为严格的实时分析应用程序。S3 Express One Zone 可提供稳定的毫秒级请求延迟,处理速度可高达每秒数十万个事务,让 ClickHouse Cloud 能够以更快的速度处理数据。借助 S3 Express One Zone,我们可以加快来自任何数据来源的查询并使用 SQL 查询实时生成分析报告,从而为用户提供卓越的性能。通过在架构中增加 S3 Express One Zone,我们将查询性能提高了多达 283%,并将总拥有成本降低了 65%。”
Tanya Bragin,ClickHouse 产品副总裁