AWS DataSync 功能

对于在线数据传输，AWS DataSync 可简化、自动化和加速本地存储、边缘站点或其他云提供商以及 AWS 存储服务之间的大量数据复制。DataSync 可以在网络文件系统（NFS）共享、服务器消息块（SMB）共享、Hadoop Distributed File System（HDFS）、自行管理的对象存储、其他云中的对象存储（如 Google Cloud Storage 和 Wasabi Cloud Storage（请参阅支持云的完整列表））、Azure Files、Azure Blob Storage（包括 Azure Data Lake Storage Gen2）、Snowball Edge 上的 Amazon S3 兼容存储、Amazon Simple Storage Service（Amazon S3）、Amazon Elastic File System（Amazon EFS）文件系统、适用于 Windows File Server 的 Amazon FSx 文件系统、适用于 Lustre 的 Amazon FSx 文件系统、适用于 OpenZFS 的 Amazon FSx 文件系统和适用于 NetApp ONTAP 的 Amazon FSx 文件系统之间复制数据。

AWS DataSync 采用 AWS 设计的传输协议（与存储协议分离）来加快数据移动。该协议针对通过网络发送数据的方式、时间和数据内容进行优化。DataSync 执行的一些网络优化包括增量传输、在线压缩、稀疏文件检测以及在线数据验证和加密。

本地 DataSync 代理与云中的服务组件之间的连接是多线程的，可最大限度提高整个广域网 (WAN) 的性能。单个 DataSync 任务能够在您的本地环境和 AWS 之间的网络链接上完全实现 10Gbps。

您的所有数据在 DataSync 代理和 DataSync 服务之间使用传输层安全性协议（TLS）传输时都会加密。DataSync 支持对 Amazon S3 桶使用默认静态加密。DataSync 还支持 Amazon EFS 和 Amazon FSx 的静态数据和传输中数据加密。

DataSync 可确保数据在传输过程中完好无损。对于每次传输，服务都会在动态和静态时执行完整性检查。这些检查可确保写入目标的数据与从源中读取的数据匹配，从而验证一致性。

AWS DataSync 可帮助您在 AWS、本地文件系统和其他云存储服务之间移动数据。AWS 继续扩展其云服务，以帮助客户简化、管理和治理其混合和多云基础设施和应用程序。对于在多云环境中运营的客户，AWS DataSync 现在可以将数据移入和移出各种云端的存储。除了支持 Google Cloud Storage、Azure Files 和 Azure Blob Storage 外，借助 DataSync，您还可以在其他云上兼容 S3 的存储和 Amazon S3 等 AWS 存储服务之间大规模移动对象数据。这包括对 Wasabi Cloud、Oracle Cloud、Cloudflare、DigitalOcean Spaces 和 Backblaze 等的对象存储的支持。

了解更多:

• 使用 AWS DataSync，无论数据存储在何处，都可以简化多云数据移动
• 使用 AWS DataSync 将 Google Cloud Storage 迁移到 Amazon S3
• 使用 Google Cloud Storage 配置 AWS DataSync 传输
• 使用 Microsoft Azure Blob Storage 配置 AWS DataSync 传输
• 使用 AWS DataSync 将 Azure Blob Storage 迁移到 Amazon S3
• 如何使用 AWS 将数据从 Azure Files SMB 共享移动到 AWS
• 使用 AWS DataSync 将 DigitalOcean Spaces 迁移到 Amazon S3
• 伦敦证券交易所集团如何使用 AWS DataSync 迁移 30 PB 的市场数据
• 使用 AWS DataSync 将 Oracle 云基础设施对象存储迁移到 Amazon S3

热数据或冷数据的传输不应妨碍您的业务。DataSync 配备精细控制，以优化带宽消耗。将非工作时间的传输速度调整到最高 10 Gbps，并在其他地方需要使用网络时设置限制。

DataSync 代理可使用行业标准 NFS 和 SMB 协议连接到您现有的存储系统、作为 HDFS 客户端连接到您的 Hadoop 集群、使用 Amazon S3 应用程序编程接口（API）连接到您的自我管理对象存储或谷歌云存储，或使用 Blob API 连接到 Azure Blob Storage。代理能够快速传输数据并将其写入指定的 Amazon S3 存储桶、Amazon EFS 文件系统、Amazon FSx for Windows File Server 文件系统或 Amazon FSx 文件系统。

在 Amazon S3、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre、Amazon FSx for OpenZFS 或 Amazon FSx for NetApp ONTAP 之间复制对象和/或数据时，会保留文件权限和元数据。

将数据复制到 Amazon S3 时，DataSync 会自动以 1:1 的关系将每个文件转换为单个 S3 对象，并将 NFS 共享或 HDFS 中的 POSIX 元数据保留为 Amazon S3 对象元数据。将包含文件系统元数据的对象复制回文件格式时，将还原 DataSync 复制到 S3 的原始文件元数据。

DataSync 随附内置的任务机制，您可以通过该机制定期运行数据传输任务，以检测更改并将其从源存储系统复制到目标存储系统。您可以使用 AWS DataSync 控制台或 AWS Command Line Interface (AWS CLI) 来计划任务，而不必编写脚本来管理重复的传输。任务计划会根据您配置的计划按照 AWS 控制台中直接提供的每小时、每天或每周选项来自动运行任务。

DataSync 任务报告提供 JSON 格式的输出文件，其中包括所有已传输、跳过、验证和删除的文件的摘要和详细报告，使您能够轻松验证和审核每次任务执行的数据传输操作。任务报告在您的转移任务完成后生成，这些报告存储在您的 Amazon S3 存储桶中。这使您可以轻松地使用 AWS Glue、Amazon Athena 和 Amazon QuickSight 等 AWS 服务自动编目、分析和可视化任务报告输出，以查看所有任务执行中的数据传输进度。任务报告简化了跟踪和审计，使您能够轻松了解常见的任务执行趋势或失败模式，并获得对数据传输过程的重要见解。

借助 Amazon CloudWatch，您可以监控当前正在进行的任何 DataSync 传输的状态，并检查以前数据传输的历史记录。您可以利用 CloudWatch 指标查看已复制的文件数和数据量。查阅 CloudWatch Logs 以了解在给定时间传输的各个文件的信息，以及 DataSync 完整性验证的结果。这简化了监控、报告和故障排查过程，使您能够为利益相关者提供及时的更新。此外，在传输任务完成时将触发 CloudWatch Events，从而实现依赖工作流的自动化。出于审计目的，您可以查阅 AWS CloudTrail，它会记录 DataSync 执行的所有操作。

AWS DataSync 数据查找服务通过让您了解本地存储性能和利用率，并提供将数据迁移到适用于 NetApp ONTAP 的 Amazon FSx、适用于 Windows File Server 的 Amazon FSx 和 Amazon Elastic File System（EFS）等 AWS 存储服务的建议，帮助您简化迁移规划并加快向 AWS 的数据迁移。 DataSync 数据查找服务使您能够通过自动数据收集和分析更好地了解您的本地存储性能和容量使用情况，从而能够快速识别要迁移的数据，并使用生成的建议来选择符合您的性能和容量需求的 AWS 存储服务。

使用 AWS DataSync，您只需为使用的服务的付费。无需软件许可证、合同或维护费。与手动构建、操作和优化自己的高性能脚本传输相比，这可以降低总拥有成本（TCO），还提供比购买和运行商业传输工具更低的总成本。

使用 AWS DataSync Discovery，您可以运行发现作业长达 31 天并免费接收建议。DataSync Discovery 将收集的数据和相关建议在作业完成后保留 60 天。

DataSync 可与 AWS 安全性、监控和审计服务在本地协同工作，以简化数据移动，并为您的 IT、存储和开发运维（DevOps）团队提供一致的管理体验。除了可以与 Amazon S3、Amazon EFS、Amazon FSx 集成之外，DataSync 还支持 AWS Virtual Private Cloud（VPC）端点（由 AWS PrivateLink 提供支持），以便将文件直接迁移到 Amazon VPC 中。与其他 AWS 服务一样，您可以使用 AWS Identity and Access Management（IAM）来安全地管理对 DataSync 的访问。同样，您可以配置 IAM 角色来控制访问您的 Amazon S3 存储桶的服务。