亚马逊AWS官方博客
AWS Snowball Edge Compute Optimized 设备上的 Amazon S3 兼容存储现已正式推出
我们为客户在 AWS Snow Family 中添加了一系列专用服务,例如,2016 年添加了 Snowball Edge,2020 年添加了 Snowcone。这些服务运行计算密集型工作负载,并在网络连接被拒绝、已中断、时断时续或受限制时,将数据存储在边缘站点,并用于从本地、严苛或移动环境传输大量数据。
每项新服务都针对空间或重量受限的环境、便携性和灵活的联网选项进行了优化。例如,Snowball Edge 设备有三个设备配置选项。AWS Snowball Edge Compute Optimized 提供一个手提箱大小、安全且坚固耐用的设备,客户可以将其部署在坚固耐用且具有战术意义的边缘站点,以运行其计算应用程序。客户使用 AWS 计算服务和存储服务(例如,Amazon Simple Storage Service(Amazon S3))对其在云中的边缘应用程序进行现代化改造,然后在边缘的 Snow 设备上部署这些应用程序。
我们从客户那里获悉,他们还需要访问本地对象存储,在边缘运行应用程序,例如 5G 移动核心和实时数据分析,以处理终端用户交易,而他们在这些环境中的存储基础设施可用性有限。尽管 Amazon S3 Adapter for Snowball 支持在 Snow 设备上启用基本存储和检索对象,但客户希望访问更广泛的 Amazon S3 API,包括大规模灵活性、本地存储桶管理、对象标记和 S3 事件通知。
现今,我们正式宣布在 Snow 上为我们的 Snowball Edge Compute Optimized 设备提供 Amazon S3 兼容存储。这使您可以轻松地使用需要在边缘进行低延迟处理的本地 S3 存储桶存储数据和运行应用程序。
在 Snow 上使用 Amazon S3 兼容存储,您可以使用一组扩展的 Amazon S3 API,轻松在 AWS 上构建应用程序,并将其部署在 Snowball Edge Compute Optimized 设备上。这样就不需要为每次部署重新构建应用程序。在连接和断开的环境中,您都可以跨云、本地和在边缘管理需要 Amazon S3 兼容存储的应用程序,并获得一致的体验。
此外,您可以使用图形用户界面 AWS OpsHub 在边缘或从中心位置远程管理设备上的 Snow Family 服务和 Amazon S3 兼容存储。您还可以使用 Amazon S3 SDK 或 AWS 命令行界面(AWS CLI)创建和管理 S3 存储桶,使用 MQTT 获取 S3 事件通知,使用 SMTP 获取本地服务通知,就像在 AWS 区域中一样。
现在,通过在 Snow 上使用 Amazon S3 兼容存储,我们能够在有限的网络环境中应对各种使用案例,为客户提供安全、耐久的本地对象存储。例如,情报界和工业物联网界的客户在坚固的移动边缘站点部署视频分析等应用程序。
Snowball Edge Compute Optimized 上的 S3 兼容存储入门
要订购支持启用 Amazon S3 的新 Snowball Edge 设备,请在 AWS Snow Family 控制台上创建作业。您可以使用支持 S3 兼容存储的新替换设备替换现有的 Snow 设备或集群。
在步骤 1 — 作业类型中,输入您的作业名称并选择仅限本地计算和存储。在步骤 2 — 计算和存储中,选择您的首选 Snowball Edge Compute Optimized 设备。
选择 Amazon S3 兼容存储,这是针对 S3 兼容存储的新选项。当前的 S3 Adapter 解决方案已处于弃用状态,我们建议迁移工作负载,以便在 Snow 上使用 Amazon S3 兼容存储。
如果选择了 Amazon S3 兼容存储,则您可以为单个设备或集群配置 Amazon S3 兼容存储容量。Amazon S3 存储容量取决于 Snowball Edge 设备的数量和类型。
- 对于单设备部署,您可以在 Snowball Edge Compute Optimized 设备上预置最多 31TB 的精细 Amazon S3 容量。
- 对于集群设置,设备上的所有存储容量都分配给 Snow 上的 Amazon S3 兼容存储。您可以在 16 个节点的 Snowball Edge Compute Optimized 设备集群上预置最多 500TB 的容量。
当您提供所有必要的作业详细信息并创建作业时,可以在作业状态部分中查看设备的交付状态。
使用 OpsHub 在 Snow 上管理 S3 兼容存储
设备到达您的站点后,打开电源,然后将其连接到您的网络。要管理您的设备,请在笔记本电脑上下载、安装并启动 OpsHub 应用程序。安装后,您可以解锁设备并开始管理它,并在本地使用支持的 AWS 服务。
OpsHub 提供了一个汇总关键指标的控制面板,例如设备上的存储容量和活动实例。它还提供了 Snow Family 设备支持的一系列 AWS 服务。
登录 OpsHub,然后选择管理存储。这会将您转到 Snow 登录页面上的 Amazon S3 兼容存储。
对于启动服务设置类型,如果您的网络使用动态主机配置协议(DHCP),请选择简单。使用此选项,当您启动服务时,将在每台设备上自动创建虚拟网络接口卡(VNIC)。如果您的网络使用静态 IP 地址,则需要为每台设备手动创建 VNIC,因此请选择高级选项。
服务启动后,您将看到其状态为活动状态,并显示端点列表。以下示例显示了在单个设备中激活的服务:
如果您想在设备中创建新的 S3 存储桶,请选择创建存储桶。否则,您可以将文件上传到所选存储桶。新上传的对象具有目标 URL,例如 s3-snow://test123/test_file
,且存储桶名在设备或集群中是唯一的。
您还可以使用存储桶生命周期规则来定义根据期限或日期何时触发对象删除。在管理选项卡中选择创建生命周期规则,以添加新的生命周期规则。
您可以选择删除对象或删除未完成的分段上传作为规则操作。配置规则触发器,根据特定日期或对象的期限计划删除。在本示例中,我设置了在上传两天后删除对象。
您还可以使用 Amazon S3 SDK/CLI 执行适用于 Snowball Edge 的 Amazon S3 支持的所有 API 操作。要了解更多信息,请参阅 AWS 文档中的适用于 Snowball Edge 的 Amazon S3 支持的 API 操作。
注意事项
在 Snow 上使用 Amazon S3 兼容存储时,请记住有关其他功能和注意事项的以下事项:
- 容量:如果您在设备或集群上完全利用了 Amazon S3 容量,则您的写入(
PUT
)请求会返回容量不足错误。读取(GET
)操作继续正常运行。要监控可用的 Amazon S3 容量,您可以使用 Snow 页面上的 OpsHub S3 或使用describe-service
CLI 命令。检测到 Snow 设备或集群的容量不足时,必须通过删除数据或将数据传输到区域中的 S3 存储桶或其他本地设备来释放空间。 - 弹性:Snow 上的 Amazon S3 兼容存储可在每个 Snow 设备和集群中的多个设备上的多个磁盘上以冗余方式存储数据,并针对相关的硬件故障提供内置保护。如果磁盘或设备在定额范围内发生故障,Snow 上的 Amazon S3 兼容存储将继续运行,直到更换硬件为止。此外,Snow 上的 Amazon S3 兼容存储会持续清理设备上的数据,以确保数据完整性并恢复任何损坏的数据。对于需要本地存储的工作负载,最佳做法是备份数据,以进一步保护存储在 Snow 设备上的数据。
- 通知:Snow 上的 Amazon S3 兼容存储会持续监控设备或集群的运行状况。后台流程会对数据不一致和临时故障做出响应,以修复和恢复数据,从而确保弹性。如果出现不可恢复的硬件故障,Snow 上的 Amazon S3 兼容存储可以继续运行,并通过电子邮件提供主动通知,提示您与 AWS 合作更换故障设备。对于连接的设备,您可以选择启用“远程监控”功能,这将允许 AWS 在线监控服务运行状况,并主动通知您任何服务问题。
- 安全性:Snow 上的 Amazon S3 兼容存储支持使用 Amazon S3 托管的加密密钥(SSE-S3)或客户提供的密钥(SSE-C)的服务器端加密进行加密,并支持使用 Snow IAM 操作命名空间(
s3:*
)进行身份验证和授权,从而为存储在 Snow 设备上的数据提供独特的控制。Snow 上的 Amazon S3 兼容存储不支持对象级别访问控制列表和存储桶策略。Snow 上的 Amazon S3 兼容存储默认存储桶拥有者是对象拥有者,从而确保存储桶拥有者对存储桶中的对象具有控制权。
现已推出
在推出 AWS Snow 的所有 AWS 商业和 GovCloud 区域中,Snow 上的 Amazon S3 兼容存储现已针对 AWS Snowball Edge Compute Optimized 设备正式推出。
要了解更多信息,请参阅 AWS Snowball Edge 开发人员指南,然后将反馈发送到 AWS re:Post for AWS Snowball,或通过您常用的 AWS Support 联系人发送反馈。
– Channy