从本地存储架构迁移到 AWS 存储服务

Original URL: https://amazonaws-china.com/blogs/storage/comparing-your-on-premises-storage-patterns-with-aws-storage-services/

大部分希望迁移到云端的公司，都需要在开始迁移时首先评估现有的存储基础结构。为了更有效地评估现有存储基础结构，有必要了解如何将现有存储设备映射为不同的AWS存储服务。为此必须花费时间明确目前的数据是如何存储，以及存储在哪里，随后才能以此为依据将现有工作负载和存储基础结构迁移至AWS存储服务。

本文将对比AWS存储和本地存储的存储模式，以帮助客户将现有模式与AWS存储服务丰富的产品组合相互匹配。此外本文还将提供存储模式决策矩阵，借此加快多样化的应用程序和工作负载需求迁移到AWS时的决策过程。

为何迁移到云端？

AWS在帮助企业迁移上云这方面已经积累了超过14年的经验。将存储工作负载迁移到云端一直是CIO们解决以下优先战略要务的主要方式之一：

• 提高业务敏捷度
• 加快创新速度
• 增强安全性
• 降低成本

迁移上云的企业可以变得更敏捷，因为他们可以灵活地扩展各类资源，以满足独特的业务需求。借助大规模分析能力和机器学习技术，我们可以消除数据孤岛并从数据中获得更多价值，借此加速现代化革新之旅。在消除了数据孤岛并应用更高级的加密控制能力后，企业可以在发现更多的数据价值的同时改善数据的安全性。AWS用户可以直接获得专为对安全性要求最严格的企业所打造的全部控制、工具以及认证。最后，由于可以获得更灵活的购买模式，避免存储设备过度配置，设备升级换代以及维护存储基础架构的支出，企业还可以进一步降低成本。相比本地部署模式，云存储提供了数不胜数的价值，并能有效解决CIO最关注的问题。

图1：存储利用率对比

图1对比了本地存储系统以及使用AWS存储服务在资本投入方面的需求，使用AWS服务时，客户只需要为实际使用的资源付费。在本例中，客户需要购买1PB原始存储容量并为此付费。但在组建RAID阵列并格式化后，排除掉文件系统本身的开销并为未来增长留出余量后，数据实际占用的容量仅为400TB。对于大部分AWS存储服务（例如Amazon EFS和Amazon S3），客户只需要为自己实际使用的400TB容量付费；或者（如果使用Amazon EBS和Amazon FSx for Windows File Server，则）只需要为实际分配的600TB容量付费。有关迁移至AWS托管文件存储可获得的收益详情，请参阅本页面。

典型的本地存储模式

典型的本地存储模式包括光纤通道FC SAN存储、iSCSI SAN存储、网络附加存储（NAS）以及对象存储。本节将简要介绍不同的本地数据存储技术，并分析客户在满足应用程序和用户数据的存储需求时所创建的工作负载模式。

光纤通道（FC）SAN存储

SAN是一种存储网络技术，可通过专用高速光纤通道网络共享块存储资源。此外，光纤通道协议（FCP）是SCSI协议在光纤通道网络上的映射。最重要的是，SCSI命令和数据块会封装为FC帧，并通过光纤网络/设施进行传输。通常来说，使用FC SAN的应用程序包括ERP、CRM、SAP、SQL、Oracle、DB2、MSSQL等。

iSCSI SAN存储

iSCSI则是一种可以通过IP网络共享存储资源的存储网络技术。通常来说，通过iSCSI SAN共享的存储资源往往是磁盘资源，不过iSCSI是SCSI协议在TCP/IP上的映射。SCSI协议还可以通过类似的方式映射至其他传输机制，例如光纤通道FC，因此理论上，任何SCSI设备都可以通过iSCSI SAN共享。通常来说，使用FC SAN的应用程序也可以使用iSCSI，只不过此时会使用IP网络基础结构进行数据传输（例如ERP、CRM、SAP、SQL、Oracle等）。

网络附加存储（NAS）

NAS文件系统是一种共享的文件存储资源，通常代表了非结构化数据或文件存储。对于Linux工作负载，这些文件系统通常会使用诸如Network File Storage（NFS）等协议；对于Windows工作负载的数据共享，这些文件系统往往会使用Server Message Block（SMB）或Common Internet File System（CIFS）协议。NAS存储通常被用于存储诸如共享文件夹以及文档库等可供用户和应用程序访问的文件数据。

根据SNIA.org（存储网络行业联盟）的介绍：

“NAS代表连接到网络，为计算机系统提供文件访问服务的存储设备。”此类NAS设备通常会使用元数据和用于存储数据的文件/文件夹层次结构来实现文件服务。NAS客户端可使用标准化的协议（如NFS或SMB/CIFS）访问NAS设备所存储的数据。企业可以将NAS设备作为一种高效、低成本、可扩展的存储解决方案。NAS存储主要可用于支撑邮件系统、财务数据库、薪酬系统、视频录制和编辑、数据日志、业务分析等应用。

对象存储

对象存储可供用户以原生格式存储数据，因此任何类型的数据都可存储在对象存储内。对象通常可通过一个很长（如64位）的唯一标识符加以区分，该标识符是由对象内容派生并附加某种哈希机制得到的。通常来说，对象会保存到一个单一的大型平面名称空间中，不具备传统文件系统那样的层次结构或树状结构。这种单一的大型平面的名称空间使得对象存储系统与生俱来地具备了极大的可扩展性。对象存储设备（OSD）可通过诸如REST、SOAP和XAM等API操作访问。

根据SNIA.org的介绍：

“对象存储是在磁盘上组织数据的第三种主要方式。对象可通过对象ID或键-值进行寻址，而不是按照字节组织成文件名进行寻址，或组织为块并通过块编号寻址。我们可以通过对象ID（也可以使用密钥）访问指定的对象，随后即可获得返回的数据。这些数据长度任意，可以是零字节，或者极大的字节数。”
图2：本地存储决策矩阵

图2展示了本地用户和应用程序访问并连接数据存储的不同方式。在上文列举的例子中，应用程序可通过受支持的协议使用SAN、NAS或对象存储。但在性能、安全性和可扩展性方面，应用程序可支持的访问协议将成为决定在后端使用哪种存储类型（SAN、NAS、对象）的关键，因为每种存储访问协议都有各自的优势与局限。

AWS存储服务模式

本节将简要介绍主要的AWS存储服务，以及这些存储服务如何替代部署在客户本地数据中心的存储设备。

Amazon Elastic Block Store（Amazon EBS）

Amazon EBS是一种易于使用的高性能块存储服务。Amazon EBS专为Amazon EC2中运行的任意规模吞吐率密集型和事务密集型工作负载设计。关系和非关系数据库，企业应用程序，容器化应用程序，大数据分析引擎，文件系统和媒体工作流等各种工作负载已广泛部署在Amazon EBS上。

Amazon EBS适用于原本在本地环境使用iSCSI或FC SAN存储阵列的应用程序工作负载。

Amazon Elastic File System（Amazon EFS）

Amazon EFS提供了一种简单、可扩展、完全托管的弹性NFS文件系统，可供AWS云服务和本地资源使用。在设计上，该服务可在不影响应用程序运行的前提下按需扩展至PB级规模，可随着文件的添加和移除自动扩展或收缩，用户无需为了适应未来增长而预配并管理容量。Amazon EFS是一种区域性服务，可提供个位数毫秒级别的延迟，同时在至少三个可用区中存储数据，其持久性设计为99.999999999％（11 9）。

Amazon EFS适用于原本在本地环境使用基于NFS协议的NAS存储阵列的应用程序和用户工作负载。

Amazon FSx for Windows File Server

Amazon FSx for Windows File Server提供了完全托管的高可靠、可扩展文件存储，可通过符合行业标准的SMB协议访问。该服务基于Windows Server构建，提供了丰富的管理功能，例如用户配额、最终用户文件还原以及与Microsoft Active Directory的集成。该服务提供了单一AZ和多AZ部署选项、完整的托管备份，以及对传输中和存储后的数据进行加密的能力。Amazon FSx文件存储可通过Windows、Linux和macOS计算实例以及运行在AWS或本地的设备访问。用户可以使用SSD和HDD存储选件来优化成本和性能，以满足工作负载需求。
图3：Amazon FSx for Windows File Server功能

图3着重展示了FSx for Windows File Server的功能，及其对各种协议、操作系统、计算、网络、可用性、持久性、备份、性能、可扩展性、成本优化、安全性以及合规性等方面的支持情况。Amazon FSx for Windows File Server适用于原本在本地环境使用基于CIFS/SMB协议的NAS存储阵列的应用程序和用户工作负载。

Amazon Simple Storage Service（Amazon S3）

Amazon S3是一种对象存储服务，提供了业内领先的可扩展性、数据可用性、安全性以及性能。这些能力使得客户能够存储和保护任意数量的数据，并将数据用于各种类型的用途，如网站、移动应用程序、备份和还原、归档、企业应用程序、IoT设备，以及大数据分析等。Amazon S3提供了易于使用的管理功能，用户可以借此整理自己的数据，并配置可细化调整的访问控制机制，以满足特定的业务、组织或合规要求。Amazon S3的设计持久性为99.999999999％（11个9），目前已被全球大量企业的数以百万计企业应用程序所使用。

Amazon S3针对不同用例提供了丰富的存储类。例如针对频繁访问数据的常规用途存储所提供的S3 Standard；针对访问模式未知或频繁变化的数据所提供的S3 Intelligent-Tiering；为需要长期保存，需要轻松重建但访问频率较低的数据所提供的S3 Standard-Infrequent Access（S3 Standard-IA）和S3 One Zone-Infrequent Access（S3 One Zone-IA）；以及为长期归档和数字化保留所提供的Amazon S3 Glacier和Amazon S3 Glacier Deep Archive。Amazon S3还提供了数据全生命周期管理功能。在设置S3生命周期策略后，数据即可被自动转移至不同的存储类，而这一过程中完全不需要对应用程序进行任何改动。

Amazon S3适用于基于本地对象存储和很多基于文件存储阵列构建的应用程序和用户工作负载。
图4：AWS存储模式决策矩阵

图4展示了已经迁移至AWS，或云原生应用程序的存储决策矩阵。在该决策矩阵中，工作负载对存储访问协议、性能以及可扩展性的要求扮演了重要角色。此外，对于本地应用程序，大部分AWS存储服务都可在本地环境通过低延迟AWS Direct Connect或VPN连接的方式访问。

数据存储迁移和混合云存储访问

AWS用户可通过多种选项将本地数据存储迁移至AWS。下文将介绍通过AWS DataSync进行的在线迁移，以及通过AWS Snow Family服务进行的离线存储迁移。

适用于在线存储迁移的AWS DataSync

AWS DataSync可以帮助用户在本地存储以及Amazon S3、Amazon EFS或Amazon FSx for Windows File Server之间快速、简单地在线移动大量数据。与数据传输有关的手工任务可能大幅拖累迁移进度并增加IT负担，DataSync则能省略或自动处理大部分此类任务，包括脚本复制作业、调度、传输监视、数据验证以及网络利用率优化。DataSync软件代理可连接到NFS和SMB存储，因此用户完全无需更改应用程序。DataSync能够借助互联网或AWS Direct Connect链路，以最多十倍于传统开源工具的速度顺利传输数百TB以及上百万的文件。用户可以使用DataSync迁移活跃数据集或将其归档至AWS，将数据传输到云端以进行及时分析和处理，，或将数据复制到AWS以保障业务连续性。

适用于离线存储迁移的AWS Snow Family

AWS Snow Family包括AWS Snowcone、AWS Snowball以及AWS Snowmobile。AWS Snowcone和AWS Snowball是一种小巧坚固但非常安全的可移动存储与边缘计算设备，可用于数据收集、处理和迁移等工作。这些设备在设计上专门面向网络带宽受限或不具备网络连接的边缘位置，能够在严苛的环境中提供存储和计算能力。AWS Snowmobile则是一种EB级规模的数据传输服务，可用于将海量数据（包括视频库、图片仓库，甚至完整的数据中心内容）迁移到云端。借助AWS Snowcone与AWS DataSync的集成，用户可以从边缘位置进行在线数据迁移。

通过AWS Storage Gateway实现混合云存储访问

除了VPN连接，用户还可以利用现有的AWS Direct Connect从本地数据中心访问自己在AWS中的数据。AWS通过AWS Storage Gateway为不同类型的数据访问模式提供了丰富的选项，以及本地缓存功能，可以更快地读写最常访问的数据。

AWS Storage Gateway是一种混合云存储服务，可供用户从本地访问几乎无限量的云存储空间。用户可以使用Storage Gateway简化存储管理工作并降低关键的混合云存储用例的相关成本。例如将备份转移到云端，在本地使用由云存储支撑的文件共享，为本地应用程序提供AWS中数据的低延迟访问途径。

下列存储模式示意图展示了混合云存储的访问模式：
图5：混合存储模式决策矩阵

图5展示了需要继续保留在本地的应用程序的存储模式决策矩阵。这些应用程序在利用本地读/写缓存以极低延迟访问活跃工作集的同时，同样可以获得云平台所提供的各项收益。图5还展示了应用程序或用户利用首选存储协议访问本地存储的工作集数据时对应的决策矩阵。这种情况下，可在几分钟内获得几乎不受限制的云存储空间扩展能力。

在图5所示的决策矩阵中，工作负载的存储访问协议、性能要求以及可扩展性要求扮演了关键角色。该决策矩阵还涉及了其他一些用例，例如借助AWS Storage Gateway的Tape Gateway对长期保存的备份进行分层存储（用以取代磁带备份技术），将其存储到Amazon S3的归档层中。

结论

无论用户需要从零开始进行迁移或需要把突发工作负载迁移至云端，AWS提供了能在这一过程的每个环节提供帮助的服务。在从本地存储环境迁移至云端解决方案后，组织将变得更敏捷，更具创新性。将本地数据存储迁移至AWS存储服务还可能帮助组织改善可扩展性与安全性，并降低基础结构成本。

越来越多的企业IT管理者开始意识到AWS可以帮助自己以前所未有的方式，更安全地驾驭新的工作流程和服务。例如TransferWise，这家AWS客户利用AWS Storage Gateway、Amazon EBS和AWS Backup轻松地在AWS平台上迁移并管理数据库和备份。借助Amazon Relational Database Service（Amazon RDS）和Amazon EC2，TransferWise已经将数百个数据库迁移至AWS。此外，TransferWise还解决了本地环境的可扩展性问题，通过迁移至AWS更好地触及遍布全球的客户。

“通过使用AWS，我们可以在需要的时间和地点快速获得所需的计算和存储资源，这样的速度比以往任何时候更快。AWS可以帮助我们更好地推进全球扩张战略。” ~Thomas Hewer，TransferWise

如果希望更进一步了解本文所涉及的产品，建议部署DataSync代理并将测试工作负载迁移至AWS存储服务，借此可以测试上文提到的任何服务，并测试自己的运维、安全和性能要求。如果您正在寻找更多的资源希望将基于文件存储的应用程序迁移到AWS，请访问我们的迁移至托管文件存储资源页面。

感谢阅读本文！如果有任何意见或问题，请直接在下方的评论区留言。

本篇作者