Maxar が AWS を利用して気象スーパーコンピュータよりも 58% 速く予測を提供

天候が掘削リグ、製油所、その他のエネルギー施設の脅威となり得るとき、石油およびガス会社は人員と機器を保護するために迅速に行動したいと考えています。また、石油、貴金属、農作物、家畜などのコモディティを取引する企業にとって、天候は売買の決定に大きな影響を与える可能性があります。損害を少なくするために、これらの企業は、大規模な嵐が到来する前に可能な限り早く通知を受ける必要があります。それが Maxar Technologies が解決しようとしている課題です。

歴史的に、多くの業界は、米国海洋大気庁 (NOAA) が運用するオンプレミスのスーパーコンピュータによって生成されるレポートに依拠してきました。しかし、天気予報では、グローバルデータを処理するのに平均 100 分かかります。多くの企業は自社の利益を守るために、より迅速な気象警報が必要であることに徐々に気付き始めました。NASA が民間企業とのパートナーシップを拡大して商用宇宙ハードウェアとサービスを取得したのと同様に、重要な気象データ製品の処理と配信も効果的に商業化される可能性があります。

この問題を解決するために、Maxar は数値で表される天気予報を生成するために必要な時間を大幅に短縮する方法を探りました。同社のデータサイエンティスト、エンジニア、および DevOps チームは、NOAA スーパーコンピュータの半分の時間で予測を提供するハイパフォーマンスコンピューティング (HPC) ソリューションを構築することを決定しました。「当社は、オンプレミスのデータセンターにシステムを構築することを最初に検討しました」と Maxar の分析および気象担当ディレクターである Travis Hartman 氏は述べています。「しかし、DevOps チームが簡単に管理でき、結果を市場に投入するまでのタイムラインを大幅に短縮できる、費用対効果の高いソリューションを構築するには、クラウド環境が必要であることに気付きました」

そこで Maxar は Amazon Web Services (AWS) に目を向け他のです。「当社は、AWS の HPC が、パフォーマンス、コスト、および管理性のバランスが取れた環境を提供できることを知っていました」と Hartman 氏は述べています。「当社が数値で表される天気予報アプリケーションに活用したいと考えていた主要な AWS 機能には、環境の自動的な構築とシャットダウン、伸縮自在なコンピューティングリソース、数値を迅速に処理するために必要なネットワーク帯域幅、ならびにビジネスおよびお客様の目標に必要な速度でそれを実行する機能が含まれていました」

Maxar は AWS と協力して、4 つの主要なテクノロジーを含む HPC ソリューションを生み出しました。同社は、非常に安全でサイズ変更可能なコンピューティングリソースと、負荷を最小限に抑えてキャパシティを設定する機能のために、Amazon Elastic Compute Cloud (Amazon EC2) を利用しています。また、Maxar は Elastic Fabric Adapter (EFA) ネットワークインターフェイスを使用して、インスタンス間の通信を高速化するハードウェアバイパスインターフェイスでアプリケーションを実行しています。強化されたコンピューティングとネットワークを補完するために、アプリケーションは Amazon FSx for Lustre を利用して、アプリケーションの読み取り/書き込みスループットを加速します。Maxar は、AWS ParallelCluster も活用しています。これは、リソースを自動的にモデル化してプロビジョニングする単純なテキストファイルを使用して、HPC クラスターを簡単にデプロイできるようにするオープンソースのクラスター管理ツールです。

当初、Maxar は、数値で表される天気予報を約 53 分で生成できる、234 個の Amazon EC2 インスタンスを備えたクラウド HPC クラスターを設計しました。これは、NOAA スーパーコンピュータが同じ予報を完了するのにかかる 100 分の約半分です。これにより、Maxar の当初のパフォーマンス目標が達成されたため、チームは設計を強化してコストの削減に目を向けました。

EFA ネットワークを使用して、Maxar はそのクラスターを 234 個の c5.18xlarge インスタンスから、わずか 156 個の c5n.18xlarge インスタンスに減らしました。これが可能なのは、100 Gbps のネットワーク速度で通信する C5n インスタンスの能力のおかげです。EFA 相互接続により、NOAA スーパーコンピュータよりも優れた性能を発揮し、予測時間を 53 分から 42 分にさらに短縮することができました (22% の短縮)。チームの新しい設定で、NOAA のスーパーコンピュータよりも 58% 速く予測を生成できるようになりました。AWS を利用した追加のテストと最適化により、Maxar が 30 分未満で予測を完了できることが明らかになりました。さらにシステムを調整することで、Maxar は、処理時間をさらに 25% 短縮できると予測しています。

「AWS を利用するまで、数値で表される天気予報を生成する上で、クラウド環境がオンプレミスのスーパーコンピュータよりも優れた性能を発揮できるとは誰も考えていませんでした」と Maxar のデータサイエンティストである Stefan Cecelski 氏は述べています。「しかし、AWS が提供する高速なネットワーク速度により、当社は、多くの IT エキスパートが不可能と考えていたことを達成しました」。

パフォーマンスの目標を達成した Maxar は、次にサービスの収益性の向上に重点的に取り組みました。Maxar は、NOAA が提供する無料で低速なサービスに勝つために、気象アプリケーションのコストをできるだけ低く抑える必要がありました。Maxar は、パフォーマンスに悪影響を及ぼすことなく、サーバーの数を減らし、システムのコストを最適化することで、この目標を達成しました。Amazon EC2 C5n インスタンスおよび EFA だけでなく AWS ParallelCluster も利用することにより、Maxar は、クラスター化されたサーバーの数を 33% 削減しながら、同じコンピューティング性能を実現しています。

この環境は多数の AWS のサービスを利用して、高度にスケーラブルで冗長性があり、フォールトトレラントなワークフローをオーケストレートしており、気象データが利用可能になると自動的にスピンアップし、新しいデータセットが利用可能になるまで迅速にシャットダウンします。AWS が適用した全体的なコスト最適化の措置 (Amazon EC2 C5n インスタンスと EFA の統合を含む) により、Maxar はコンピューティングコストを約 45% 削減することができました。「天気予報アプリケーションを実行して数値を出すのに必要な AWS コンピューティングリソースは、毎日約 45 分のみです。そのため、必要なときだけ利用できる AWS 環境があることは大きなメリットです」と Cecelski 氏は述べています。

包括的なツール、ユーティリティ、および全体的な AWS テクノロジースタックにより、Maxar はコストとパフォーマンスのためにソリューションを最適化できるだけでなく、より迅速に市場に投入することも可能になりました。「これまで、非政府機関または非学術機関が調達および投資活動を行って、従来のオンプレミスのベアメタル HPC 環境を調査、購入、構築、構成、設定するには、通常、法外なコストがかかっていました」と Hartman 氏は述べています。「しかし、AWS のおかげで、商用ソリューションの障壁は完全に取り除かれました。さらに、当社のチームは、クラウド HPC プログラムとサービスの設定を通じて得た経験を踏まえて、数値で表される天気予報のユーザーだけでなく、NOAA や ECMWF (ヨーロッパ中期予報センター) などの数値で表される気象予測モデルの主要な作成者についても、数値で表される気象予測アプリケーションの商用ソリューションや、Earth Intelligence のすべての分野での他の HPC のニーズをより良く理解し、活用できるようにサポートできます」。

アプリケーションの成功のおかげで、Maxar のクライアントは、異常気象によって資産や人員が脅かされている場合に、より早期にプロアクティブな対策を講じることができるようになりました。「当社のクライアントは、機器をより適切に保護し、人員をより早く避難させることができます」と Hartman 氏は述べています。「そして、天候がコモディティを脅かす場合、当社の金融業界のお客様は、売買の決定を下すまでにより多くの猶予を持てるようになりました」

さらに、Hartman 氏は次のように述べています。「米国政府だけでなく、クラウドで HPC を活用したいと考えている国際組織が、多くの新しいプログラムと資金調達のための手段を提供しています。Maxar の経験と最近の実績により、このテクノロジーをこれらの同じ組織に拡張できると確信しています」。

Cecelski 氏は次のように締めくくっています。「AWS は、提供するサービスを継続的に拡大し、クラウドでの HPC の未来を形作り、高性能で費用対効果の高いサービスをクライアントに提供できるよう当社をサポートしてくれています。AWS の新しいサービスに期待しています」。

詳細については、thinkwithwp.com/hpc を参照してください。