亚马逊AWS官方博客
10 周年快乐,Amazon S3 Glacier 云端冷存储的十年
十年前,2012 年 8 月 20 日,AWS 宣布 Amazon Glacier 正式上市,这是一款安全、可靠、成本极低的存储设备,专为数据存档和备份而设计。当时,我是一名 AWS 客户,这款设备提供了长期、安全、耐用的云存储,使我能够以非常低的成本存档大量数据,就像是愚人节的玩笑一样不可思议。
Glacier 以每月每 GB 0.01 美元(一美分,百分之一美元)的价格提供了极低成本的存档存储。您可以存储少量数据,也可以存储大量数据(TB、PB 或更多)。没有预付费,您只需为使用的存储空间付费。您不必担心容量规划,也永远不会耗尽存储空间。
十年后,Amazon S3 Glacier 已发展成为世界上存储存档数据的最佳场所。Amazon S3 Glacier 存储类专为数据存档而构建,为您提供最高性能、最灵活的检索和最低成本的云存档存储。
现在,您可以从三种针对不同访问模式和存储持续时间进行优化的存档存储类中进行选择 — Amazon S3 Glacier Instant Retrieval、Amazon S3 Glacier Flexible Retrieval(原名 Amazon S3 Glacier)和 Amazon S3 Glacier Deep Archive。我们稍后将逐一深入讨论这些存储类。
Amazon S3 Glacier 的十年创新
为了了解我们如何实现这一目标,我们将回顾过去十年,并重访一些最重要的、从根本上彻底改变了存档存储的 Amazon S3 Glacier 发布:
2012 年 8 月 — Amazon Glacier:每月每 GB 一分钱的存档存储
我们推出了 Amazon Glacier,以高耐用性存储任意数量的数据,其成本使您能够摆脱磁带库以及数十年来一直作为数据存档一部分的所有操作复杂性和开销。Amazon Glacier 以 S3 的耐久性和可靠性为模范,但完全为了以极低的成本为您提供存档存储而设计和构建。当时,Glacier 引入了存储存档数据的“保管库”概念。 您可以发起请求轻松检索存档数据,然后数据将在 3-5 小时内供您下载。
2012 年 11 月 — Amazon S3 数据存档到 Glacier
尽管 Glacier 专为存档数据而重新构建,但许多客户的对象数据仍源自 S3 较热的存储,他们希望最终将其转移到较冷的存储。为了方便客户,Amazon S3 的生命周期管理(又名生命周期规则)集成了 S3 和 Glacier,并通过每个对象的存储类显示细节。生命周期管理允许您定义基于时间的规则,这些规则可以启动转换(将 S3 存储类更改为 Glacier)和过期(删除对象)。2014 年,我们将 S3 版本对象的灵活性与 Glacier 相结合,帮助您进一步降低总体存储成本。
2016 年 11 月 — Glacier 降价和 Glacier 的额外恢复选项
作为 AWS 长期致力于降低成本并将节省下来的成本让利给客户的一部分,我们将美国东部(弗吉尼亚州北部)区域 1 个月 1 GB 的 Glacier 存储价格从 2015 年的 0.007 美元和 2012 年的 0.010 美元降至 0.004 美元(不到半美分)。为了以非常低的成本存储数据,同时在检索数据的速度上提供灵活性,基于您在 Glacier 中存储的数据量和检索数据的速率,我们引入了另外两种数据检索选项。您可以选择快速检索(通常需要 1–5 分钟)、批量检索(5–12 小时)或现有的标准检索方法(3–5 小时)。
2018 年 11 月 — Amazon S3 Glacier 存储类集成 S3 体验
Glacier 客户赞赏通过 S3 生命周期管理轻松将数据从 S3 移动到 Glacier 的方式,并希望我们扩展该功能,使用最常见的 S3 API 直接对 S3 Glacier 对象进行操作。因此,我们在 S3 Glacier 中添加了 S3 PUT API,这使您能够使用标准的 S3 PUT API 并选择任何存储类(包括 S3 Glacier)来存储数据。数据可以直接存储在 S3 Glacier 中,无需上传到 S3 标准版,并可以采用零日生命周期策略立即转换到 S3 Glacier。因此,您可以像任何其他 S3 存储类一样将其 PUT 到 S3 Glacier。
2019 年 3 月 — Amazon S3 Glacier Deep Archive — 成本最低的云存储
最初的 Glacier 服务为存档存储提供了极低的价格,但我们进一步向自己提出了挑战,以找到一种方法,为非常冷的数据创造一种价格更低的存储产品。Amazon S3 Glacier Deep Archive 存储类为每年访问不到一次且异步检索的长期存档数据提供了成本最低的存储,成本比 S3 Glacier Flexible Retrieval 最多低 75%。S3 Glacier Deep Archive 每月每 GB 仅需 0.00099 美元(或每月每 TB 1 美元),提供了成本最低的云存储,其价格远低于在本地磁带中存储和维护数据或异地存档数据。
2020 年 11 月 — Amazon S3 Intelligent-Tiering 增加了 Archive Access 和 Deep Archive Access 层
2018 年 11 月,我们推出了 Amazon S3 Intelligent-Tiering,这是唯一一款能够自动节省存储成本的云存储类,当数据访问模式发生变化时,可以节省高达 95% 的成本,而不会影响性能或运营开销。为了向客户提供 S3 Intelligent-Tiering 的简便性和灵活性以及存档数据的低存储成本,我们增加了 Archive Access 层,与 S3 Glacier 存储类提供相同性能和定价,以及 Deep Archive Access 层,与 S3 Glacier Deep Archive 存储类提供相同性能和定价。
2021 年 11 月 — Amazon S3 Glacier Flexible Retrieval 和 S3 Glacier Instant Retrieval
Amazon S3 Glacier 存储类更名为 Amazon S3 Glacier Flexible Retrieval,现在包括免费批量检索,并在所有区域额外降价 10%,使其针对备份和灾难恢复等用例进行了优化。
此外,客户还要求我们提供一种存储解决方案,具有 Glacier 的低成本,但在需要数据时可以快速访问。因此,我们引入了 Amazon S3 Glacier Instant Retrieval,这是一种全新的归档存储类,可以为很少访问但需要毫秒级检索的长期存储数据提供成本最低的存储。如果您的数据每季度访问一次,与使用 S3 Standard-Infrequent Access (S3 Standard-IA) 存储类相比,您可以节省多达 68% 的存储成本。
Amazon S3 Intelligent-Tiering 存储类最近还添加了一个新的 Archive Instant Access 层,提供了与 S3 Glacier Instant Retrieval 存储类相同的性能和定价,为使用 S3 Intelligent-Tiering 和长期数据的客户自动节省了 68% 的成本。
当时和现在
所有行业和垂直领域的客户都可以使用 S3 Glacier 存储类来处理所有可想象的存档工作负载。通过 S3 API 和 S3 控制台访问和使用 S3 Glacier 存储类为数据管理和成本优化提供了增强的功能。
如上所述,您现在可以从针对不同访问模式和存储持续时间优化的三种存档存储类中进行选择:
- S3 Glacier Instant Retrieval — 对于需要立即访问的存档数据,如医学图像、新闻媒体资产或基因组数据,请选择 S3 Glacier Instant Retrieval 存储类,一种以毫秒检索提供最低成本存储的存档存储类。
- S3 Glacier Flexible Retrieval — 对于不需要立即访问但需要灵活地免费检索大型数据集的存档数据,如备份或灾难恢复用例,请选择 S3 Glacier Flexible Retrieval 存储类,以分钟为单位进行检索或在 12 小时内进行免费批量检索。
- S3 Glacier Deep Archive — 要将数据保留 7–10 年或更长时间,以满足客户需求和法规合规性要求,如金融服务、医疗保健、媒体和娱乐以及公共部门,请选择 S3 Glacier Deep Archive 存储类,这是成本最低的云存储,可在 12–48 小时内检索数据。
观看简短的介绍视频,了解 S3 Glacier 存储类的概述。
所有 S3 Glacier 存储类均设计用于耐久性达到 99.999999999% (11 9s) 的对象。数据冗余存储在 AWS 区域内物理分离的三个或更多可用区中。以下是 S3 Glacier 存储类之间的一些比较概览:
性能 | S3 Glacier Instant Retrieval |
S3 Glacier Flexible Retrieval |
S3 Glacier Deep Archive |
可用性 | 99.9% | 99.99% | 99.99% |
可用性 SLA | 99% | 99.9% | 99.9% |
每个对象的最小容量费用 | 128 KB | 40 KB | 40 KB |
最小存储时间费用 | 90 天 | 90 天 | 180 天 |
检索费用 | 每 GB | 每 GB | 每 GB |
检索时间 | 毫秒 | 快速(1–5 分钟), 标准(3–5 小时), 批量(5–12 小时)免费 |
标准(12 小时内), 批量(48 小时内) |
对于访问模式会发生变化的数据,如果要根据上次访问数据进行自动存档,请选择 S3 Intelligent-Tiering 存储类。这样可以在访问模式发生变化时自动将数据移动到最经济高效的访问层,从而优化存储成本。其 Archive Instant Access、Archive Access 和 Deep Archive Access 层的性能分别与 S3 Glacier Instant Retrieval、S3 Glacier Flexible Retrieval 和 S3 Glacier Deep Archive 相同。要了解更多信息,请参阅博客文章使用 Amazon S3 Intelligent-Tiering 自动存档和恢复数据。
要开始使用 S3 Glacier,请参阅博客文章使用 AWS 存档大型数据集的最佳实践,了解规划冷数据存储模式时的关键注意事项和操作。您还可以使用动手实验室教程,帮助您在 20 分钟内开始使用 S3 Glacier 存储类,并开始在 S3 控制台中的 S3 Glacier 存储类中存档数据。
生日快乐,Amazon S3 Glacier!
在上一个 2022 年 AWS 存储日期间,Amazon S3 的副总裁兼总经理 Kevin Miller 在接受 theCUBE 采访时提到了 S3 Glacier 10 周年纪念日及其在许多客户用例中的创新步伐。
在这个不断扩大的数据增长世界中,您必须制定一个存档战略。到处都有存档数据 — 每个公司、每个垂直领域和每个行业。不仅历史悠久的公司需要存档,数字原生企业也需要存档。
许多 AWS 客户(如 Nasdaq、Electronic Arts 和 NASCAR)已将 S3 Glacier 存储类用于备份和存档工作负载。以下是一些最近由客户撰写的博客,重点介绍金融、媒体、游戏和软件行业客户的 AWS 存档最佳实践。
- Capital One 如何使用 Amazon S3 Glacier 优化数据存储成本并最大化利用资源
- Pinterest 如何使用 Amazon S3 Glacier Deep Archive 为其视觉发现引擎管理存储
- Reuters 如何在 AWS 上构建易于访问的大型新闻存档
- Autodesk 采用 Amazon S3 节省了 75% 的存储成本,并实现了备份和恢复现代化
- SysCloud 在 AWS 上大幅降低 SaaS 数据备份的成本并提高性能
- Qube Cinema 通过 AWS 存档将成本降低 80%
非常感谢来自世界各地的所有 S3 Glacier 客户! 超过 90% 的 S3 路线图直接来自像您这样的客户的反馈。我们将永远倾听您的意见,因为您的反馈和想法对于我们改进服务至关重要。感谢您对我们的信任,感谢您不断提高标准,推动我们改进以降低成本、简化存储、提高敏捷性,并让您更快地创新。
根据 Amazon 领导原则之一“客户至上”,我们始终欢迎您的反馈! 如果您想看到新的 S3 Glacier 特性和功能,请将反馈发送给 AWS re:Post for S3 Glacier 或通过您常用的 AWS Support 联系人反馈。
– Channy