新機能 – Amazon FSx for Lustre ファイルシステム向け高パフォーマンス HDD ストレージ

ゲノム解析、機械学習モデルのトレーニング、ハイパフォーマンスコンピューティング (HPC)、分析アプリケーションなど、多くのワークロードは、同じデータセットにアクセスする複数のコンピューティングインスタンスに依存しています。これらのワークロードでは、コンピューティングインスタンスのクラスターは、通常、高パフォーマンス共有ファイルシステムに接続されます。Amazon FSx for Lustre を使用することで、世界でも最も人気のある高パフォーマンス共有ファイルシステムを簡単かつコスト効率よく起動および実行できます。そして本日、FSx for Lustre 向けの新しいHDDストレージオプションを発表します。これにより、SSDストレージのミリ秒未満のレイテンシーを必要としないスループット集約型のワークロードにおいて、ストレージコストを最大 80% 削減します。

お客様は、スループットが主要なパフォーマンス属性である場合にワークロードのストレージコストを削減しながら、1 秒あたり最大 10 GB のスループットを達成できます。このようなスループット集約型ワークロードの 2 つの例として、ビデオレンダリングと財務シミュレーションがあります。

この発表には、シーケンシャルファイルデータの読み取りと書き込みに最適化された 2 つの新しい HDD ベースのストレージオプションが含まれています。1 つはストレージの TiB あたり 12 MB/秒のベースラインスループットを提供し、もう 1 つはストレージの TiB あたり 40 MB/秒のベースラインスループットを提供し、どちらもそのスループットレベルの 6 倍までバーストできます。頻繁にアクセスされるファイルのパフォーマンスを向上させるために、SSD キャッシュをプロビジョニングすることもできます。これにより、HDD ファイルシステムのストレージ容量の 20% に自動的にサイズ設定できます。SSD キャッシュでプロビジョニングされたファイルシステムでは、キャッシュから読み取られたファイルは、ミリ秒未満のレイテンシーで提供されます。

新しい FSx ファイルシステムは、複数の HDD ベースのストレージサーバーと 1 つの SSD ベースのメタデータサーバーで構成されています。メタデータサーバー上の SSD ストレージにより、ファイルシステム操作の大部分を占めるすべてのメタデータ操作が、ミリ秒未満のレイテンシーで行われます。

ストレージ容量により HDD のパフォーマンスが向上するため、ファイルシステムのボトルネックに遭遇することなく、ストレージソリューションを簡単にスケールアウトできます。以下、新しい HDD ストレージオプションと既存の SSD ストレージオプションのパフォーマンス仕様の概要を示します。

クイックガイド

従来、高パフォーマンスファイルシステムの運用とスケーリングは、コストと時間のかかるものでした。それが、数回クリックするだけで、誰でも FSx for Luster をあらゆるコンピューティングワークロードで使用できるようになりました。HDD ベースのファイルシステムの起動は簡単です。管理コンソールを開き、[ファイルシステムの作成] ボタンをクリックするだけです。

[FSx for Lustre] を選択し、[次へ] をクリックします。

FSx for Lustre には、パーシステントとスクラッチという 2 種類のデプロイが用意されています。HDD ストレージは、長期的なストレージとワークロード用に設計されたパーシステントモードで使用できます。パーシステントファイルシステムでは、データがレプリケートされ、障害が発生した場合はファイルサーバーが置き換えられます。一方、スクラッチタイプは一時ストレージや短期間のデータ処理に最適です。スクラッチファイルシステムでは、データはレプリケートされず、ファイルサーバーに障害が発生した場合、データは保持されません。この 2 つの デプロイオプションの違いの詳細については、こちらのブログ記事をご覧ください。

[ストレージタイプ] として [HDD] を選択すると、ストレージ単位あたりのスループットとして、[TiB あたり 12 MB/秒] または [40 MB/秒] を選択できます。また、SSD キャッシュを追加して、[ドライブキャッシュの種類] に [読み取り専用 SSD キャッシュ] を選択することで、ファイルアクセスを高速化することもできます。

CLI を使用してファイルシステムを作成することもできます。

fsx create-file-system \
--storage-capacity <capacity> --storage-type HDD \
--file-system-type LUSTRE \
--subnet-ids subnet-<your vpc subnet id>85b2c0ce --lustre-configuration \
DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=<12 or 40>\,DriveCacheType=<NONE or READ>

PerUnitStorageThroughput=12 の場合、許容できるストレージ容量値は 6000 の倍数です。
PerUnitStorageThroughput=40 の場合、許容できるストレージ容量値は 1800 の倍数です。

本日よりご利用いただけます

新しい HDD ストレージオプションは、Amazon FSx for Lustre が提供されているすべての AWS リージョンでご利用いただけます。詳細については、当社のウェブサイトをご覧ください。

– Kame;