Amazon S3 Storage Lens 存储统计管理工具

概览

S3 Storage Lens 存储统计管理工具提供了对对象存储使用情况和活动趋势的组织范围可见性,并提出了可行的建议,以优化成本并应用数据保护最佳实践。S3 Storage Lens 存储统计管理工具是首个具备以下功能的云存储分析解决方案:它能为组织中的数百甚至数千个账户提供对象存储使用情况和活动的单一视图,并通过深入分析生成多个聚合级别的见解。凭借超过 16 年帮助客户优化存储的经验,S3 Storage Lens 存储统计管理工具分析整个组织的指标,以提供基于上下文的建议,以便立即采取行动。

Amazon S3 被用于在数十到数百个账户和桶、多个区域及数千个前缀之间存储大型共享数据集。借助 S3 Storage Lens 存储统计管理工具,您可以轻松了解您的存储并对其进行分析,以检测异常值。S3 Storage Lens 存储统计管理工具可向 S3 控制台中的交互式控制面板提供有关 S3 存储使用情况和活动的 60 多项指标(免费指标和高级指标)。免费指标将免费提供给所有客户,而高级指标则可通过每月按对象收取监控费用的方式启用,以获得额外指标、前缀级见解、自定义元数据筛选、延长数据留存时间,以及将指标发布到 Amazon CloudWatch 的选项。 有关高级指标定价的详细信息,请访问 Amazon S3 定价页面

S3 Storage Lens 存储统计管理工具的工作原理

S3 Storage Lens 存储统计管理工具的工作原理

所有 Amazon S3 客户均可在 S3 控制台中访问交互式 S3 Storage Lens 存储统计管理工具的控制面板,其中包含用于可视化存储使用情况和活动趋势的预配置视图。借助 S3 Storage Lens 存储统计管理工具的免费指标,您将获得 28 项涵盖桶级别各个类别的指标,以及控制面板中 14 天的历史数据。您可以按摘要、成本优化、数据保护、访问管理、性能或事件筛选控制面板,以分析特定于您的预期应用场景的指标。除了 S3 控制台中的控制面板之外,您还可以将指标以 CSV 或 Parquet 格式导出至您选择的 S3 桶中,以供将来使用。要了解有关 S3 Storage Lens 存储统计管理工具的更多信息,请参阅相关文档

升级到 Storage Lens 存储分析功能高级指标的好处

高级指标可以提高与活动相关的见解(如请求计数)、更深入的成本优化(如 S3 生命周期规则计数)、额外的数据保护(如 S3 复制规则计数)和详细的状态代码(如 403 授权错误)。

前缀聚合使您能够向下钻取到前缀级别,以识别存储桶中最大、增长最快且访问最频繁的前缀。

借助 Storage Lens 存储分析功能高级指标,您可以获得基于 15 个月历史数据的见解。对于可选的指标导出,您可以配置您想要的任何保留期。
 

借助 Storage Lens Advanced,您可以通过 Amazon CloudWatch 访问 S3 Storage Lens 存储统计管理工具的指标来创建警报,或者通过 CloudWatch API 将指标发送给集成的可观测性合作伙伴。

借助 Storage Lens 组,您可以查看按对象标签、前缀、后缀、期限或大小筛选的指标。例如,您可以按对象标签筛选指标以识别增长最快的数据集,或者根据对象大小和期限对存储进行可视化,提供存储归档策略信息。 

使用 Storage Lens 组创建自定义筛选条件

Storage Lens 组使用基于对象元数据的自定义筛选条件对指标进行分组。Storage Lens 组可帮助您深入了解数据的特征,例如按期限划分的对象分布情况、最常见的文件类型等。此信息有助于您更好地了解和优化 S3 存储。借助 Storage Lens 组,您可以查看按对象标签、前缀、后缀、期限或大小筛选的指标。例如,您可以按对象标签筛选指标以识别增长最快的数据集,或者根据对象大小和期限对存储进行可视化,提供存储归档策略信息。要开始使用,您可以通过 S3 管理控制台、CLI 或 SDK 创建 Storage Lens 组,并将它们附加到您的 Storage Lens 存储统计管理工具控制面板中。 查看相关文档以了解更多信息

客户

  • Upstox

    Upstox 是印度一家领先的折扣经纪商,为超过 1100 万客户提供金融教育和进行投资的数字平台。 

    发展途径是继续使用 Amazon S3 Storage Lens 存储统计管理工具更密切地关注我们的存储使用情况,并进一步提高成本效率。借助 S3 Storage Lens 存储分析功能的交互式控制面板,我们可以轻松找到成本增加的 S3 前缀热点,并使用正确的留存策略和 S3 存储类对这些热点进行优化,以进一步提高成本效率。

    Indranil Chandra,Upstox 首席机器学习兼数据工程师
    查看案例分析 »
  • Pinterest

    Pinterest 是一个视觉发现引擎,每月有超过 4 亿人使用它来寻找生活灵感。

    S3 Storage Lens 存储分析功能将增强我们对存储使用情况的可见性,并帮助我们持续优化存储成本。我们使用组织级视图来查看我们的各个团队在多个区域的聚合存储使用情况,然后深入分析桶级别甚至前缀级别的存储增长情况。
     
    我们可以使用 S3 Storage Lens 存储分析功能为不同的内部团队创建不同的控制面板,这样他们就能自助找到方法,通过使用生命周期策略或将数据转换为成本效益更高的存储类,从而优化存储成本。

    Yi Yin,软件工程师 - Pinterest
  • Snowflake

    Snowflake 带来了 Data Cloud。使用该工具,组织在移动数据时可以达到近乎不受限制的规范、并发性和性能。

    使用基于前缀查看指标的功能对我们来说将是无价的。我们将能更好地了解特定前缀的使用情况,包括总存储空间、对象计数、平均对象大小,并按当前和非当前版本进行细分,这可以帮助我们以更经济的方式调试和查看运营趋势。在 S3 Storage Lens 存储分析功能问世之前,这是不可能的。

    Ju-Yi Kuo,高级软件工程师 - Snowflake
  • Veeva

    Veeva Systems Inc. 是全球生命科学行业云解决方案(包括数据、软件和服务)的领导者。

    S3 Storage Lens 存储分析功能的设置和配置非常简单。我们对 S3 使用情况有了很好的了解,这让我们能够制定行动计划来优化 S3 中的成本。现在,通过优化在 S3 中存储对象的方式,我们每月可以节省数千美元。

    Dan Soble,技术运营副总裁 - Veeva
  • Dropsuite

    Dropsuite 帮助 139 个国家/地区的组织简单地备份、恢复和保护其重要的业务信息。其电子邮件备份解决方案目前为超过一百万个人用户备份公司数据。

    通过使用 S3 Storage Lens 存储分析功能,我们可以获得带有存储桶和区域级别筛选条件的宏观视图,从而引发变革性的架构设计对话。我们使用来自 S3 Storage Lens 存储系统管理工具的见解来分析压缩算法,研究存储方法,并做出有关客户数据删除和管理的决策。如果没有 S3 Storage Lens 存储系统管理工具,我们就无法获得这些精细的使用情况数据,进而对其进行检查、可视化和采取行动。它还使我们能够了解客户的数据使用模式。有了这些宝贵的信息,我们就能够更有效地使用 Amazon S3 存储类别。

    Manjor Kalyanaraman,Dropsuite 首席技术官
    查看案例分析 »
  • DoorDash

    DoorDash 将全球超过 25 个国家/地区的消费者与他们最喜爱的本地企业联系起来。DoorDash 是一家诞生于云端的公司,其大部分基础设施(包括其商务平台)都托管在 AWS 上。

    当我们决定深入研究 Amazon S3 的使用情况,以确定支持未来增长的效率机会后,就立即开始使用 S3 Storage Lens 存储分析功能以及高级指标和建议进行调查。我们发现,在 S3 存储桶、前缀和存储类级别上分析存储使用情况和活动模式的能力对于确定优化成本的机会非常重要。如果没有 S3 Storage Lens 存储分析功能,我们就需要花费更多的时间来检查和可视化 Amazon S3 的使用情况以及改善我们的存储单元经济性。

    Levon Stepanian,DoorDash Cloud FinOps 负责人
    阅读博客 »

视频

借助 Amazon S3 Storage Lens 存储统计管理工具大规模了解存储使用情况(51:07)
Amazon S3 Storage Lens 存储统计管理工具 — 演示(4:32)