Amazon Lab126 が、チームの開発とイノベーションの加速を支援する HPC ソリューションを構築

今日最も人気のある消費者向けテクノロジーデバイスのいくつかは、Amazon Lab126 で生まれたものです。カリフォルニアを拠点とする、この研究開発組織では、Amazon Kindle 電子書籍リーダーや Amazon Echo スマートスピーカーなど、注目を集めるデバイスを制作してきました。

Amazon Lab126 デバイスチームは、設計環境を拡張し、効率化と製品開発の加速を行い、市場投入までの時間を短縮するために、ハイパフォーマンスコンピューティング (HPC) 能力と機械学習機能を使用しています。ただし、それまで使用していたオンプレミスの HPC 環境は、旧式でコストがかかり、必要なスケーラビリティと使いやすさを実現できませんでした。「当社では、特定の条件下で消費者向けデバイスの機械的応答や熱応答を調べるなど、長い実行時間で大規模なシミュレーションを行っています」と、Amazon Lab126 のアーキテクチャチームのシニアマネージャーである Shankar Ganapathysubramanian は述べています。「このようなワークロードをサポートするには、さらに高い計算能力が必要でした。」 Amazon Lab126 のワイヤレスエンジニアリング部門シニアマネージャーである Amit Gaikwad は、次のように付け加えています。「当社では、顧客向けソリューションをさらに設計および構築しようとしていましたが、オンプレミスの HPC 環境では必要なスケーラビリティと速度が得られませんでした。」

Amazon の設計チームおよびエンジニアリングチームでは、数値流体力学、有限要素解析、電子設計自動化、計算電磁気学など、さまざまなアプリケーションでシミュレーションとモデリングを行っています。これらの多様なチームをサポートするうえで、セルフサービス機能は重要な要件でした。Amazon Lab126 のシニアシステム/ソフトウェア開発エンジニアである Mickael Crozes は、次のように述べています。「コンピューティング能力のニーズはチームによって異なり、すべてに対応できるような柔軟性はありませんでした。そこで、各チームが独自の環境にオンデマンドでアクセスできるように、HPC リソースを一元化したいと思いました。必要時に各チーム用に新しい HPC クラスターを立ち上げるという形態には無理があったためです。」

2017 年の後半、Amazon Lab126 チームでは、社内顧客のニーズに対応するために、Amazon Web Services (AWS) にクラウドの HPC 環境を新しく構築することになりました。「サードパーティの HPC サービスをいくつか評価しましたが、最終的に、コンピューティングインスタンスタイプのスケーラビリティと柔軟性の点で最高のテクノロジーを提供していたのは AWS でした」と Crozes は言います。「当社のコンピューティング資産の所有とデータのホスティングを任せるという点でも AWS なら信頼できます。」

2018年、Amazon Lab126 は、オンプレミスの HPC ソリューションに代わる柔軟な HPC リファレンスフレームワークを AWS 上に構築しました。その目的は、HPC や機械学習などのスケールアウトワークロード用に、AWS ベースのマルチユーザー R&D 環境を実現することです。新しいフレームワークでは、高速ネットワークバックボーン、無制限のストレージ、予算およびコスト管理により、コンピューティング負荷の高い Amazon Elastic Compute Cloud (Amazon EC2) インスタンスの統合と簡素化を行うことができます。データストレージには、Amazon Elastic Block Store (Amazon EBS) と Amazon Elastic File System (Amazon EFS) を使用します。また、Amazon Lab126 では、I/O を最も集中的に使用するワークロードに Amazon FSx for Lustre を使用し、クラスターの耐障害性を高めるために AWS Backup を使用しています。Crozes は次のように述べています。「AWS Backup は、本番稼働用環境の保護を自動化するには申し分のないソリューションでした。すべてのチームのデータを保護して保持期間/ライフサイクルを管理できる、このような使いやすいソリューションを他の方法で構築しようと思ったら、何度も試行錯誤が必要になったでしょう。」

Lab126 のプロダクトデザイナーとエンジニアは、新しい HPC クラスターでパフォーマンスが向上することを確認しました。例えば、ワイヤレスデバイス接続チームは、地面や別の表面にぶつかったときの携帯電話の動作を調査する、構造的なデバイス落下シミュレーションのサイクルタイムを改善しました。「AWS でスケールアウトコンピューティング用の HPC フレームワークを使用することで、設計サイクル全体が 3 倍速くなりました」と Ganapathysubramanian は言います。「ワークロードの並列化が簡単になったため、より多くのシミュレーションを実行できるようになりました。オンプレミスの HPC ソリューションを使用すると、たいていデータの生成に数週間かかります。今ではその処理がわずか数時間で済みます。」

AWS の新しいフレームワークは、Amazon Devices のデザイナーとエンジニアが特定のワークロードの要件に合わせてオンデマンドでスケールすることができます。「当社では、ワイヤレス接続データを分析するためだけに、多くの計算を必要とする非常に大きなランタイムを使用しています」と Gaikwad は言います。「このソリューションを使用すれば、世界中にいる当社のエンジニアが、ソリューションを以前の 3 倍の速さで拡張できます。また、同じように縮小も簡単にできるため、ジョブに 100 基の GPU が必要なければ、使用しなくてよいのです。」

Amazon Lab126 Design Technologies チームは、IT リソースからの支援を受けることなく、HPC クラスターで新しい Amazon Devices エンジニアリングチームのオンボーディングを行い、サポートすることもできます。しかもこの処理は、以前のように数週間もかからず、1 日以内に完了します。「現在当社には、ワークロード要件に関係なく、すべてのユーザーがシームレスに使用できる、一元化された柔軟な HPC 環境があります」と Crozes は言います。「これにより、オンボーディングプロセスの複雑さが、大幅に軽減されました。ここにいる社員の多くは HPC のエキスパートではありませんが、このように使いやすければ、それぞれの設計業務に集中できます。」

Amazon Devices の各チームは、完全なコンピューター支援エンジニアリング (CAE) のワークフロー (モデルの設計/メッシュ作成、シミュレーション、後処理の視覚化) をすべて AWS で実行できるようになりました。これが可能なのは、在宅勤務のエンジニアやデザイナーが、専用のスーパーコンピューターおよび強力なクラウドベースのワークステーションに、クリックするだけでアクセスできるようになったためです。

AWS ベースの HPC 環境は、拡張性に優れる一方でシンプルであるため、Amazon Devices の各チームは、ハードウェア管理に費やす時間を減らし、イノベーションにより多くの時間をかけることができています。「HPC を AWS 上で運用することにより、さらに多くのデバイスをサポートして、新しいテクノロジーを研究し、現場でのデバイスの動作をより深く理解できるようになりました」と Gaikwad は言います。例えば、Amazon Devices ワイヤレス接続チームはこのほど、無線周波数干渉を最小限に抑えてワイヤレスシステムを最適化する研究で、DesignCon Best Paper Award を受賞しました。

Ganapathysubramanian は、次のように述べています。「シミュレーションを実行するには、それまでに、幾何学的計算からモデルを構築するなど多くの作業が必要です。当社では AWS でスケールアウトコンピューティングフレームワークの自動化を使用して、この手作業の一部について複雑さを軽減しました。これによってエンジニアは、より付加価値の高い作業に集中できるようになりました。HPC を AWS 上で運用することで、新しい機会を心に描けるようになりました。例えば、一部の新しい Amazon Echo 製品では、AWS に保存されているさまざまなデータをより簡単に接続することで熱構造設計を統合し、複数の製品機能の設計を最適化することができました。」

Amazon Lab126 では現在、AWS のスケールアウトコンピューティングフレームワークを利用して、HPC ソリューションの次のフェーズを始めようとしています。Amazon Lab126 の設計技術部門のシニアマネージャーである Jake Boswell は、「今後もお客様のニーズにお応えしていきます」と述べています。「当社では、リファレンスアーキテクチャをさらにシンプルにし、他の領域にもフレームワークを拡張して、イノベーションをサポートしたいと思っています。」

詳細については、thinkwithwp.com/solutions/implementations/scale-out-computing-on-aws および thinkwithwp.com/hpc を参照してください。