新発表 – AWS DataSync – 自動化・高速化されたデータ転送

これまで多くの AWS のお客様から AWS Cloud の内外へ大量のデータを移動させる必要があると言われてきました。そのユースケースには以下のものが挙げられます :

Migration – 常に変化し続ける大きなデータセットをお持ちのお客様もいます。一度限りの転送を行うため、中断や停止は許されません。

Upload ＆ Process – クラウド上で処理するために大規模データセットをオンプレミスで定期的に生成するお客様もいます。これには Media & Entertainment 業界や Oil & Gas 業界、Life Science 業界の我々のお客様があげられます。

Backup / DR – 最後に、オンプレミス上の貴重なデータを災害対策やビジネス継続性のためにクラウドにコピーするお客様もいます。

これらのお客様は大規模データで利用しています。数十 TB から数百 TB の一度限りや定期的な転送は日常的に行われています。この規模では、ネットワーク帯域を効果的に使用し、高いスループットを得ることは必要不可欠で、信頼性やセキュリティ、使い勝手の良さも同様に重要です。

Introducing AWS DataSync
今日、我々のデータ転送サービスのポートフォリオに AWS DataSync が加わりました。AWS Snowball, AWS Snowmobile, Kinesis Data Firehose, S3 Transfer Acceleration, AWS Storage Gateway に加わる AWS DataSync はオープンソースのデータ転送の 10 倍の速さで実行できる超効率的で専用のデータ転送プロトコルをベースに構築されています。セットアップは簡単で、利用もスケールさせるのも簡単(マネジメントコンソールと CLI アクセスを提供)です。

AWS DataSync はマネージドサービスで、転送したデータ量に対してのみ課金されます。インターネット経由または AWS Direct Connect 経由でオンプレミスのデータを Amazon Simple Storage Service (S3) バケットや Amazon Elastic File System に同期できますし、AWS 上のデータをオンプレミスに同期することもできます。

AWS DataSync エージェントはサービスの重要な役割を担っています。皆さんのオンプレミスのデータセンターにある VM にデプロイし、オンプレミス環境の NFS ストレージへのクライアントとして動作し、データ転送を高速化します。

AWS DataSync in Action
それでは AWS DataSync を使ってみましょう。AWS DataSync チームは私のために Agent と NFS サーバーのテスト環境を用意してくれました。

エージェント用のパブリック IP アドレスを用意して、AWS DataSync コンソールを開き、”Get started” をクリックします :

私のユースケースオプションは “On-premises to AWS” です。そのオプションを選択し、”Create agent” をクリックして私のオンプレミスのエージェントに接続します :

VM イメージをダウンロードして起動(私の場合、すでにダウンロードと起動を実施済み)します。エージェントのパブリック IP アドレスを入力し “Get Key” をクリックします。その後、エージェント名とタグ付けを行い、”Create agent“をクリックします。

私のエージェントは準備できているので、DataSync タスクを作成することで同期したいものを指示して同期させる準備ができています。”Create task” をクリックします。

再びユースケースを選択し、”Next” をクリックして進みます。

Source Location (転送元)を作成し、NFS サーバーを指定します。それから “Next” をクリックします。(私は全体のスループットを増大させるため複数のエージェントを構成して使用しています)

Destination Location (転送先)を作成し、EFS ファイルシステムまたは S3 バケットから選択します :

次にタスクを作成します。名前を付け、全てのデフォルト値をそのままにして “Next” をクリックして次のページ(ここでは示しません)でレビューします。見ての通り、コピーの制御、ファイル管理、帯域幅の指定などのオプションがあります。

作成したタスクは使用できる状態になっています :

タスクを選択して “Actions” をクリックし、現在の設定のまま、もしくは現在の設定を上書きするかを指定してタスクを実行します。

転送はすぐに開始され,、進捗を確認することができます。

転送は SSL 接続で実行されます。私のバケットはすぐにファイルでいっぱいになっています。

最終ステータスを確認できます。

転送元ファイルに何の変更も加えずに再実行した場合、転送元と転送先の双方のファイルが同一であると検証され、何もコピーされません。

ファイルを変更したり、権限を変更した場合、DataSync は変更を転送して転送元と転送先が一致するかを確認します。常に増分が転送されますので DataSync は前述の大量データの移行や災害対策のユースケースに適しています。

Things to Know
AWS DataSync について、知っておくと良いことをいくつか挙げます。

転送元(Source) / 転送先(Destination) – オンプレミスのサーバー(転送元)から AWS(転送先) へのデータ転送。その逆もまた同様。

パフォーマンス – 全体のデータ転送速度はネットワーク全体の使用状況により変わります。単一エージェントは 10 Gbps ネットワークリンクで飽和します。

価格 – データ転送に対する GB 当たりの利用料金が発生します。サービスの利用自体に料金は発生しません。

今すぐ利用可能
AWS DataSync は今すぐ利用可能です。US East (N. Virginia), US East (Ohio), US West (Oregon), US West (N. California), Europe (Ireland), Europe (Frankfurt), Asia Pacific (Seoul), Asia Pacific (Singapore), Asia Pacific (Sydney), Asia Pacific (東京) で今日から使用できます。

ー Jeff;

(この記事は SA 川野が翻訳しました。原文はこちら)