亚马逊AWS官方博客
Category: Storage
基于 Amazon S3 的海量低成本 Git 仓库大文件存储方案
本文介绍 Git LFS 与 Amazon S3 对象存储结合的各类办法,着重介绍了其中 Git LFS custom transfer 方式的轻量化方案。该方案解决了 Git 大文件下载慢、存储费用高、面临各种限制等众多用户痛点。
利用 S3 Connector for Pytorch 在训练代码中实现 S3 的流式读取
在最近的亚马逊云科技 re:Invent 大会上发布的新功能——Amazon S3 Connector for PyTorch 为我们提供了一种利用在 PyTorch 代码中直接流式读取 S3 文件的能力。本文将深入探讨 S3 Connector for PyTorch 的使用方法,旨在帮助用户快速理解并运用这一工具,以优化他们的模型训练流程。
一骑绝尘 – 如何在短时间里遍历 Amazon S3 亿级对象桶(工具篇)
本篇博客介绍了使用开源工具对 Amazon S3 亿级存储桶实现快速遍历。
对于数据密集型工作负载,Amazon ECS 支持与 Amazon EBS 卷原生集成
今天,我们宣布 Amazon Elastic Container Service(Amazon ECS)支 […]
s3logs-parquet – 高效处理海量 S3 访问日志
通过开源工具对海量 S3 访问日志进行有效的处理,进而提升查询效率,降低存储成本。
五行俱下 – 如何在短时间里遍历 Amazon S3 亿级对象桶(原理篇)
本篇博客介绍了使用 Amazon S3 的 ListObjectsV2 API 实现快速遍历亿级对象存储桶的基本原理。
AWS Backup 现已提供自动恢复测试和验证
对所有关键资源进行自动模拟测试,是确定您是否准备好应对勒索软件或任何数据丢失事件的重要步骤。这样,您就有机 […]
Amazon EBS 快照归档现已通过 AWS Backup 提供
今天,我们宣布推出使用 AWS Backup 的 Amazon Elastic Block Store(A […]
Amazon EFS 新增复制失效自动恢复和更高 IOPS 的功能
今天,Amazon Elastic File System(Amazon EFS)推出了两项新功能: 复制 […]
利用 Amazon EFS Archive 优化极少访问的文件的存储成本
今天,我们推出了 EFS Archive,这是 Amazon Elastic File System(Am […]