迈出第一步
简介
Amazon Web Services (AWS) 提供各类安全可靠且可扩展的存储服务产品组合,用于存储、访问、保护和分析您的数据。这样,您可以根据需求轻松匹配到合适的存储方法,AWS 还为您提供了本地基础设施难以实现的存储选项。选择存储服务时,实现理想性能的关键在于确保所选的存储服务与您的访问模式相匹配。
您可以根据工作负载选择块、文件、对象存储服务或云数据迁移服务。您需要根据业务需求做出一系列决定,方可为您的工作负载选择合适的存储服务。
本决策指南将帮助您提出正确的问题、提供清晰的实施路径,并帮助您从现有的本地存储迁移上云。
这个 6 分钟的视频片段截取自 AWS 高级存储解决方案架构师 Kevin McDonald 和 Victor Munoz 在 2022 年 AWS 峰会上发表的 55 分钟演讲视频。此片段概述了可用的 AWS 存储服务。
阅读时间
20 minutes
目的
帮助确定哪种 AWS 存储服务最符合您的需求。
级别
新手
上次更新时间
2023 年 6 月 2 日
使用的服务
了解
数据在应用程序的成功部署、工作流程的分析和机器学习的创新等方面都发挥着基础作用。架构良好的系统会使用多种存储服务并启用不同功能来提升性能。
但在很多情况下,选择合适的存储服务首先要看它与您使用中(或熟悉)的服务是否匹配。使用您熟悉的存储服务会让您更容易上手,并且您的数据迁移过程会更轻松,也可能更快捷。
例如,Amazon FSx 数据存储系列提供四种服务,可以与常用的文件系统相匹配:
- Amazon FSx for Windows File Server 提供全托管的 Microsoft Windows 文件服务器,由完全原生的 Windows 文件系统提供支持。
- Amazon FSx for Lustre 使您能够启动、运行高性能的 Lustre 文件系统。
- Amazon FSx for OpenZFS 是一款全托管的文件存储服务,您可以使用该服务将数据从本地 ZFS 或其他基于 Linux 的文件服务器迁移到 AWS。
- Amazon FSx for NetApp ONTAP 是一款在 NetApp 常用的 ONTAP 文件系统上构建的全托管服务,提供高可靠、可扩展、高性能、功能丰富的文件存储。
考虑
您之所以考虑 AWS 存储服务,可能是因为您要将现有应用程序迁移上云或在云上构建新的应用程序。将数据迁移上云时,您必须了解数据迁移的目的地、潜在的使用场景、要转移的数据类型以及可用的网络资源。
以下是选择 AWS 存储服务时需要考虑的一些标准。
-
协议
-
客户端类型
-
性能
-
迁移策略和风险
-
备份要求和保护
-
容灾
-
成本
-
安全性
-
AWS 存储服务提供多种协议选项:
- 块存储提供直接连接到计算实例的高性能存储,访问延迟低,适合需要快速、一致的 I/O 操作的应用程序。
- 文件存储几乎可以从任何使用 NFS 和 SMB 等行业标准协议的操作系统原生挂载。它可为需要跨多个计算实例访问共享数据的工作负载提供简单的存储。
- 对象存储可让您利用应用程序编程接口 (API) 通过互联网轻松访问数据,非常适合读取量大的工作负载(如流应用程序和服务)。
在考虑 AWS 存储服务时,协议起着至关重要的作用,因为它们决定了数据在存储环境中的访问、传输和管理方式。
-
您有必要仔细考虑要访问数据的客户端使用的操作系统。基于 Windows 的客户端可以使用文件存储选项,如 Amazon FSx for Windows File Server。它通过全面服务器消息块 (SMB) 支持为您的 Windows 应用程序提供高度可用的存储。
Amazon FSx for Lustre(用于高性能文件系统)专为基于 Unix/Linux 的文件系统而设计。FSx for Lustre 针对机器学习、高性能计算 (HPC)、视频处理和金融建模等对速度要求较高的工作负载进行了优化。
若要确保跨工作负载轻松访问和共享数据,选择 AWS 存储服务的客户端类型便至关重要。避免兼容性问题和确保对数据进行无缝访问和传输的关键,在于选择与客户端使用的文件系统和协议兼容的服务。
-
性能是选择 AWS 存储服务时需要考虑的一个关键因素。评估存储性能时需要考虑多个因素,包括每秒输入/输出操作数 (IOPS)、访问模式、延迟以及吞吐量或带宽。以下这些问题很重要:
- 您的工作负载是否对延迟敏感?
- 您的应用程序性能状况是否由其他指标(如 IOPS 或吞吐量)主导?
- 您的工作负载是读多写少还是读少写多?
- 您的工作负载是否对延迟敏感?
-
将本地存储迁移到 AWS 时,需要考虑以下一些因素:
- 数据传输:将数据传输到 AWS 的最有效方法是什么?
- 兼容性:例如,若您已使用 NetApp ONTAP 设备,那么本地服务(如 Amazon FSx for NetApp ONTAP)就能为您提供无缝的迁移路径。
- 应用程序集成:评估您的应用程序将如何与 AWS 存储服务集成。考虑您需进行哪些必要修改或配置,才能在应用程序和 AWS 环境之间实现无缝连接及相关功能。
- 数据管理和生命周期:规划 AWS 环境中的备份、复制和生命周期管理等数据管理任务。考虑能够自动执行这些任务的 AWS 服务和功能,如版本控制、生命周期策略和跨区域复制。
- 安全性和合规性:确保数据在迁移过程中的安全性。实施加密和访问控制等适当的安全措施,以保护传输中的数据与静态数据的安全。
- 成本优化:分析将存储解决方案迁移到 AWS 的成本影响。考虑存储定价、数据传输成本以及成本优化所需的相关服务或功能等因素。
仔细考虑这些因素,可以确保从本地存储解决方案到 AWS 存储服务的成功迁移、最大限度减少中断并最大限度发挥云存储的
-
备份和保护要求是选择 AWS 存储服务时需要考虑的关键因素,有助于确保数据的可用性和持久性。
如果没有足够的备份和保护措施,数据可能会因意外删除、硬件故障或自然灾害而丢失,这可能会对您的业务造成严重后果。
请您熟悉 AWS Backup 等服务,这些服务可以按需备份数据,也可以作为定期备份计划的一部分自动备份数据。AWS Backup 还提供跨区域复制功能,如果您有业务连续性或合规性要求,需要将备份存储在离生产数据最近的地方,那么这项功能就显得尤为重要。 -
容灾解决方案可在灾难发生或设备中断时确保业务连续性。因此,这是选择 AWS 存储服务时的一项重要考虑因素。灾难可能由自然灾害、人为失误或网络攻击等各种因素造成,并可能导致严重的数据丢失和停机。
选择可提供容灾功能(如跨多个可用区复制)的存储服务,有助于最大限度减少灾难对业务的影响。在评估容灾选项和选择符合业务需求的存储服务时,必须考虑恢复时间目标 (RTO) 和恢复点目标 (RPO) 等因素。
-
除基本存储成本之外,还有其他影响定价的因素,如影响存储总成本的存储容量、数据传输和可用性。使用 AWS 存储服务时,以下方法可帮助您降低成本:
- 针对工作负载类型选用适当的存储服务
- 使用 AWS Cost Explorer 和其他计费工具监控组织支出
- 了解您的数据及其使用方式
我们还建议您在选择 AWS 存储服务时使用 AWS 定价计算器估算成本。
- 针对工作负载类型选用适当的存储服务
-
保护 AWS 的安全是我们共同担负的责任。AWS 为客户构建和部署应用程序提供了一个安全的基础,但客户有责任实施自己的安全措施来保护其数据、应用程序和基础设施。
在选择 AWS 存储服务时,您应当考虑安全方面的因素,如访问控制、数据加密、合规要求、监控和日志记录以及事件响应。这有助于确保使用 AWS 服务时您的数据能得以保护。
选择
现在,您已经了解了存储选项的评估标准,接下来就可以选择符合您业务需求的 AWS 存储服务了。
下表将重点说明各存储选项分别针对哪些情况进行了优化。您可以参考此表来确定哪个选项最适合您的使用场景。
文件系统会使用文件和文件夹的层次结构来存储数据。在网络环境中,文件存储通常使用网络附加存储 (NAS) 技术。NAS 允许用户以类似于本地硬盘的方式访问网络存储数据。文件存储提供用户友好服务,允许用户管理文件共享控制。
文件系统会使用文件和文件夹的层次结构来存储数据。在网络环境中,文件存储通常使用网络附加存储 (NAS) 技术。NAS 允许用户以类似于本地硬盘的方式访问网络存储数据。文件存储提供用户友好服务,允许用户管理文件共享控制。
Amazon EFS 提供无服务器、完全弹性的文件存储,使您能够在不预配或管理存储容量和性能的情况下共享文件数据。Amazon EFS 的构建目的是能够按需扩展到 PB 级,而不会中断应用程序,可以在您添加和删除文件时实现自动扩缩。
Amazon FSx 旨在提供一种简单且经济高效的方式在云端启动、运行和扩展功能丰富的高性能文件系统。它支持多种工作负载。借助 Amazon FSx,您可以在四种广泛使用的文件系统之间进行选择:Lustre、NetApp ONTAP、OpenZFS 和 Windows File Server。
Amazon FSx for Lustre 专为使用开源 Lustre 文件系统进行高性能计算的场景而设计。它消除了以传统方式设置和管理 Lustre 文件系统的复杂性,使您能够快速启动和运行高性能文件系统。它还提供多种部署选项,您可以根据自己的需求优化成本。
Amazon FSx for ONTAP 提供功能丰富、快速灵活、可访问范围广的共享文件存储,您可以通过在 AWS 上或本地运行的 Linux、Windows 和 macOS 计算实例访问它。它提供具有亚毫秒级延迟的高性能固态硬盘 (SSD) 存储,为您的工作负载提供 SSD 级别的性能存储,而您仅需为数据的一小部分支付 SSD 存储费用。
Amazon FSx for OpenZFS 是一款全托管的文件存储服务,可轻松将存储在本地 ZFS 或其他基于 Linux 的文件服务器上的数据迁移到 AWS,而无需更改应用程序代码或数据管理方式。它可以提供基于开源 OpenZFS 文件系统构建的高可靠、可扩展、高性能且功能丰富的文件存储,拥有 OpenZFS 文件系统的常见特性和功能,同时具备全托管 AWS 服务的敏捷性、可扩展性和简易性。
Amazon FSx for Windows File Server
Amazon FSx for Windows File Server 提供全托管的 Microsoft Windows 文件服务器,由完全原生的 Windows 文件系统提供支持。它的功能、性能和兼容性可助力您轻松将企业应用程序迁移到 AWS 云。Amazon FSx 使用在 Microsoft Windows Server 上构建的全托管文件存储,为企业 Windows 工作负载提供广泛支持。Amazon FSx 原生支持 Windows 文件系统各特性和服务器消息块 (SMB) 协议这一行业标准,以便通过网络访问文件存储。
AWS Storage Gateway 服务可连接本地软件设备与云存储,在您的本地 IT 环境与 AWS 云上的 AWS 存储基础设施之间实现无缝且安全的集成。
缓存是一种高速数据存储层,用于临时存储频繁访问或最近使用的数据,使数据更接近访问点,从而提高系统性能并减少延迟。它在较慢且较大的主存(如磁盘或远程存储)与需要访问数据的计算资源之间充当缓冲区。
Amazon File Cache 是 AWS 上全托管的高速缓存,可用于处理存储在任何地方的文件数据。它可以为存储在本地文件系统、AWS FSx 和 Amazon S3 存储桶中的数据提供临时的高性能存储位置。
AWS Storage Gateway 服务可连接本地软件设备与云存储,在您的本地 IT 环境与 AWS 云上的 AWS 存储基础设施之间实现无缝且安全的集成。
除了选择存储服务之外,您还需要选择适合所选服务的数据迁移方式。基于数据对在线或离线存储的需求,AWS 提供了多种数据迁移选项。主要考虑的因素有两个:
- 速度 - 要求速度时,选择联机迁移。联机迁移的耗时以分钟或小时计,而脱机迁移则可能要以天计。如果数据频繁更新、时间要求紧迫,就选择联机迁移。如果迁移是一次性的、时间要求不紧迫,就选择脱机迁移。
- 带宽 - 联机迁移会占用日常任务所需的可用带宽。若存在网络限制,且即便在迁移时使数据脱机也不影响业务时,选择脱机迁移。Snow Family 中的 AWS 服务提供了一种脱机迁移的选项。
下表将提供联机/脱机迁移选项的详细信息。
联机迁移在数据和应用程序仍在本地数据中心运行的情况下,通过互联网对其进行传输。与脱机迁移相比,这种方法更高效,因为它可以将停机时间降至最低,并使组织能够更早地开始使用云资源。但联机迁移需要稳定的互联网连接,可能不适用于大量数据或任务关键型应用程序。
AWS DataSync 是一款在线数据传输和发现服务,可简化数据迁移过程,并帮助您在 AWS 存储服务之间快速、轻松、安全地传输文件或对象数据。
AWS Transfer Family 是一款安全传输服务,将您的数据存储在 Amazon Simple Storage Service 或 Amazon Elastic File System 中,并且可以简化安全文件传输协议 (SFTP)、文件传输协议安全 (FTPS)、文件传输协议 (FTP) 和 Applicability Statement 2 (AS2) 工作流程向 AWS 的迁移。
Amazon FSx for NetApp ONTAP SnapMirror
Amazon FSx for NetApp ONTAP SnapMirror 可以高速复制数据。因此,无论您是在 AWS 上的两个 Amazon FSx 文件系统之间进行复制,还是从本地复制到 AWS,都能在 ONTAP 系统之间实现数据高可用性并进行快速复制。
脱机迁移在无互联网连接的情况下迁移数据和应用程序。这种方法需要将外部硬盘或其他存储介质上的数据物理传输到云服务提供商的数据中心。通常用于下列情况:需要传输大量数据;带宽或连接受到限制;存在安全和隐私方面的顾虑。
使用
您现在已经确定了最适合处理您数据的协议、性能要求,并考虑了本指南中提到的其他判断标准,您还应当了解哪种存储服务最符合您的需求。
我们将提供一条捷径,助您探索可以使用的各 AWS 存储服务的工作原理、使用方法及其详细信息。下面部分将提供帮助您快速上手的深入讲解文档、实践教程和相关资源的链接。
-
Amazon S3
-
Amazon EBS
-
Amazon EFS
-
Amazon FSx
-
Amazon File Cache
-
AWS Storage Gateway
-
AWS DataSync
-
AWS Transfer Family
-
AWS Snow Family
-
Amazon S3
-
Amazon EBS
-
Amazon EFS
-
设置 Apache Web 服务器并提供 Amazon EFS 文件
学习如何在 EC2 实例上设置 Apache Web 服务器以及如何通过创建 Auto Scaling 组在多个 EC2 实例上设置 Apache Web 服务器。
-
Amazon FSx
-
-
Amazon File Cache
-
AWS Storage Gateway
-
Amazon FSx File Gateway 用户指南
本指南将描述 Amazon FSx File Gateway,它可以提供从本地设施访问云端 Amazon FSx for Windows 文件服务器的文件共享功能。其中包含有关使用控制台和 API 的说明。
-
AWS DataSync
-
AWS Transfer Family
-
AWS Snow Family