Amazon Web Services ブログ

AWS でのバイオ医薬品プロセス開発のためのマルチフィジックスシミュレーションのデプロイ

本ブログは “Deploying multi-physics simulations for biopharma process development on AWS” を翻訳したものです。

このブログは、Amgen のデータサイエンス担当シニアマネージャー Fabrice Schlegel、Amgen のシニアアソシエイトソフトウェアエンジニア Joao Alberto de Faria、AWS のシニアSA Ammar Latif、および AWS のプリンシパル HPC スペシャリスト SA Pierre-Yves Aquilanti が共同執筆しました。

Amgen は、バイオ医薬品のプロセスに関する洞察を得るために、計算モデリングに依存しています。モデリングは、ラピッドプロトタイピングによって製品設計を改善し、シミュレーションサイクルタイムを短縮します。さらに、これらの計算モデルは、総開発コストの削減、製品プロセス開発サイクルの短縮、市場投入までの時間の短縮に役立ちます。

これらのマルチフィジックス計算モデルは、熱伝達や化学などの構造力学、計算流体力学（CFD）などを網羅しています。多くの場合、CPUとメモリを大量に消費し、強力なコンピュータまたはコンピュータのクラスタを解決する必要があります。このような大規模なクラスタは、ハイパフォーマンスコンピューティング (HPC) 環境と呼ばれます。

Amgen Digital Integration and Predictive Technologies (DIPT) および情報システム (IS) チームは、現在の AWS クラウドインフラストラクチャの拡張として、オープンソースソリューションの Scale-Out Computing on AWS (SOCA) に基づいて HPC プラットフォームを構築し、統合しました。新しいプラットフォームの統合は、Amgen のクラウドネットワーキングのベストプラクティス、セキュリティロールとガードレールを考慮し、HPC クラスターにアクセスする際のユーザー認証を合理化しました。

この記事では、マルチフィジックスワークロードをホストする SOCA クラスターを構築および統合する Amgen のアプローチ、および SOCA クラスターに透過的に接続できるようにする既存の Amgen クラウドインフラストラクチャとポリシーとの統合の詳細について説明します。次に、Amgen が自社の新しいインフラストラクチャを本番環境で使用することで得られるメリットについて取り上げます。マルチフィジックスシミュレーションに携わる科学者やエンジニアと、それをサポートするIT意思決定者は、あらゆる規模のお客様がHPCのメリットを十分に実現できるプラットフォームとしてのSOCAのメリットを理解します。

ビジネス要件とシステム要件

Amgen チームは AWS と提携し、マルチフィジックスシミュレーションを実行するためのスケーラブルで使いやすいプラットフォームを必要とした Amgen の科学者向けのソリューションを構築しました。新しいプラットフォームを設計および構築する際には、次の要件を満たさなければなりませんでした。

  • スケーラビリティ : 科学者の進化するプロジェクトに基づいて、変化する要求を満たすために、必要に応じてシステムリソースを増減する能力
  • 使いやすさ : 既存のツールを使用する科学者のための直感的でアクセスしやすいユーザーインターフェイス (UI)
  • コスト/パフォーマンスの柔軟性 : 科学者がさまざまなパフォーマンスとコストでコンピューティングノードを選択できるようにする
  • 自動化 : コードオプションとしてインフラストラクチャだけでなく、プラットフォームの管理と保守の手動ステップを最小限に抑えます。
  • 科学者のための組み込みの可視化ツール : 3D モデリングとビジュアライゼーション、設計アプリケーションのデバッグ
  • エンタープライズガードレール : Amgen の既存のエンタープライズセキュリティおよびインフラストラクチャガードレール内に適合
  • 可視性 : 科学者がジョブのステータス、使用状況、コストを簡単に追跡できるダッシュボード

Amazon Elastic Compute Cloud (Amazon EC2) でマルチフィジックスアプリケーションのパフォーマンスを検証した後、Amgen は Scale-Out Computing on AWS (SOCA) をデプロイしました。これは、クラウドでユーザーフレンドリーな HPC システムを実行するプラットフォームを提供するオープンソースソリューションです。オフ・ザ・シェルフの選択肢を選択するのではなく、強力なビルダー文化とエンジニアリングの専門知識を取り入れるというチームのビジョンに沿ったオープンソースプラットフォームを選択します。

SOCA を使用すると、エンドユーザーは Web インターフェイスまたはコマンドラインインターフェイス (CLI) を介して、事前定義されたテンプレートを使用して SOCA で計算ジョブを送信できます。送信されると、ジョブはジョブ期間中に作成される Amazon EC2 インスタンスで実行されます。

さらに、SOCA には、ユーザー、プロジェクト、またはアプリケーションごとにクラスターの使用率を監視するためのダッシュボードがいくつか用意されています。ダッシュボードを使用して、管理者は予算を設定することもできます。オープンソースソリューションとして、SOCAはお客様自身で、または顧客に代わって運用するパートナーを通じて導入および運用することができます。(SOCA と同様の機能を持つ AWS がサポートするサービスを使用する場合は、AWS ParallelCluster を参照してください)。

図 1: SOCA に基づく Amgen の HPC クラスターアーキテクチャ

Amgen の AWS クラウド環境への SOCA のオンボーディング

Amgen は AWS Landing Zone をデプロイして、マルチアカウントの AWS 環境を管理しました。主要なセキュリティポリシーに準拠し、すべての Amgen のユーザーの認証を処理するクラウドベースの ID プロバイダーなどの重要な共有サービスと統合するように構成されています。オープンソースの SOCA ソリューションは、標準的な AWS アカウントではうまく機能しますが、Amgen 環境に理想的に適合するには、少しのカスタマイズが必要でした。

SOCA が Amgen の環境にぴったり合うように作られた主なカスタマイズは次のとおりです。

  1. クラウド接続
  2. IAM ロールとポリシー
  3. ユーザー認証

クラウド接続

Amgen ランディングゾーン環境では、AWS Direct Connect と共有 Amazon Virtual Private Cloud（Amazon VPC）と AWS Transit Gateway を活用して、メンテナンス性が高くスケーラブルな AWS ネットワークインフラストラクチャを提供します。各 Amazon VPC 内のサブネットは、中央チームによって管理されるプライマリネットワークアカウントから共有されるため、各アカウント所有者は独自のネットワークインフラストラクチャを設定する必要はありません。

セキュリティグループの作成以外では、ほとんどの VPC 設定は、AWS Identity and Access Management (IAM) のアクセス許可の境界を通じて禁止されています。ただし、SOCA は install-with-existing-resources.template にサンプル となるCloudFormation テンプレートがあり、プロビジョニング時に作成するのではなく、後述する他のリソースとともに、既存の VPC およびサブネット ID の使用を実証しています。これにより、Amgen は適切なShared VPC とサブネット情報を構成にプラグインするだけで済みます。

IAM ロールとポリシー

Amgen のランディングゾーン環境では、ユーザーが想定できるすべてのロールに対して設定する必要がある標準の IAM 境界ポリシーがあります。適用メカニズムの一環として、境界ポリシーでは、同じアクセス許可境界を持たない新しい IAM ロールの作成が禁止されています。これは、新しい IAM ロールをプロビジョニングしようとすると、SOCA などのソリューションの自動インストールが失敗することを意味します。これは、アクセス許可の境界ポリシーを指定する方法がないためです。

すべての新しいロールに標準のアクセス許可の境界がアタッチされているコンプライアンス要件に対応するために、Amgen チームは作成されたすべてのロールにアクセス許可の境界を追加しました。この問題を回避するために、SOCA に必要なロールは、先ほど参照した SOCA 前提条件テンプレートに事前に作成されており、各ロールが標準のアクセス許可の境界を含むように変更されています。IAM ロールの例を次の図に示します。

図 2: 信頼ポリシーを示す定義された IAM ロールのサンプル

ユーザー認証

Amgen は、ランディングゾーン環境のすべてのユーザー認証に標準のクラウドベースの ID プロバイダーを使用し、SOCA UI でも同じことを望んでいます。幸いなことに、SOCA には、ユーザーが認証用の Amazon Cognito ユーザープールを作成するオプションが含まれています。これは、ユーザープールを作成し、Amgen のクラウド ID プロバイダーを Amazon Cognito でフェデレーション IDP として設定し、認証に Amazon Cognito ユーザープールを使用するように SOCA ウェブアプリを設定するだけです。これにより、次の認証パスが可能になります。これは、見た目よりも速く、ユーザーの介入がほとんどまたはまったく必要ありません。

図 3: エンドツーエンドユーザ認証フロー

HPC システム運用

永続インフラストラクチャー

Amgen チームはまた、継続的なメンテナンスとパッチ適用を必要とする永続的な Amazon EC2 インスタンスを最小限に抑えたかったのです。SOCA のほとんどのデータとカスタムアプリケーションはマネージドインフラストラクチャ上に存在するため、Amgen と AWS チームは、SOCA のインフラストラクチャの更新を通じて持続する永続的なインフラストラクチャコンポーネントのセットをファクタリングするために協力することができました。

これにより、以下を含む SOCA の「前提条件」CloudFormation テンプレートが生まれました。

テストを通じて、Amgen のチームは、スケジューラノードに m5.large Amazon EC2 インスタンスを使用し、ワーカーノードに m5.12xlarge Amazon EC2 インスタンスを使用するのが最適であることを発見しました。この構成は、アプリケーションやデータセットによって、他のユースケースで異なる場合があります。一般的には、他のパラメータによって異なります。

SOCA プラットフォームは、NICE DCV を利用したリモートデスクトップセッションをユーザーに提供します。NICE DCV は、リモートデスクトップとアプリケーションストリーミングをセキュアに配信する高性能リモートディスプレイプロトコルです。これらのセッションは一般的なリモートデスクトップセッションに似ていますが、圧縮と暗号化をネイティブでサポートします。この Amazon EC2 インスタンスは、計算アプリケーションを実行し、追加のシミュレーションジョブを送信するためのユーザー自身のプライベート仮想マシンになります。3D 画像処理にグラフィカルプロセッシングユニット (GPU) を必要とするデスクトップノードは、g4dn.8xlarge Amazon EC2 インスタンスタイプを使用します。

計算ソフトウェアは、ベースの Amazon Machine Image（AMI）にインストールすることも、AWS Marketplace からビルド済みの AMI から使用することもできます。Amgen のイメージ管理ポリシーでは、Amgen アカウントでプライベート AMI を起動できます。このポリシーに準拠するために、Amgen チームは EC2 Image Builder パイプラインを設定して、SOCA が通常使用するデフォルトの AMI を軽く修正し、プラットフォーム管理者が新しい SOCA リリースを構築するときに、常に最新のパッチが適用された Amazon Linux 2 AMI を使用していることを確認します。

ほとんどのワークロードはスループットや入出力（I/O）を集中させないため、Amgen チームは Amazon Elastic File System（EFS）の使用を選択しました。アプリケーションの一貫したパフォーマンスを確保するために、Amgen は EFS ファイルシステムのプロビジョニングされたスループットを利用して、ファイルシステムのサイズが比較的小さい間、一貫したパフォーマンスを確保するため、バーストクレジットも多くありません。これは、ファイルシステムの使用率が高まるにつれ、必要が少なくなる場合があります。

図 4: エンドユーザー用の SOCA の UI

Blue-Green のデプロイとアップデート

残りのSOCAインフラストラクチャは、すぐに利用可能な CloudFormation テンプレートを使用してデプロイされました。前の画像の Amgen カスタマイズセクションにはいくつかの注目すべき例外があります。SOCA インフラストラクチャが本番環境に移行する準備ができているため、Amgen のチームはシステムのアップグレードプロセスにフォーカスを移し、エンドユーザーのダウンタイムを最小限に抑えて自動化されるようにしました。Amgen チームはBlue-Greenのアップグレードパターンを選択しました。

Blue-Greenのデプロイメントは、2 つの異なるが同一の環境を作成する戦略です。1 つの環境 (緑) が以前のアプリケーションバージョンを実行しており、1 つの環境 (青) が新しいアプリケーションバージョンを実行しています。Blue-Greenのデプロイ戦略を使用すると、デプロイが失敗した場合のロールバックプロセスが簡素化されるため、アプリケーションの可用性が向上し、デプロイメントのリスクが軽減されます。ブルー環境でのテストが完了すると、ライブアプリケーショントラフィックはBlue環境に転送され、Green環境は非推奨になります。

このアプローチにより、SOCAの新しいバージョンへの更新は、自動化可能ないくつかのステップに短縮され、ユーザーのダウンタイムを最小限に抑えることができます。

  1. アップグレード後に一貫性を維持するために、ユーザーおよびグループ情報をエクスポートする
  2. manual_build.py を実行して Amgen の特定のカスタマイズを再マージし、最新の SOCA ビルドをデプロイする
  3. 保存したユーザーおよびグループ情報を新しいスケジューラにインポートする
  4. ALB を切り替える前に新しい環境を検証する
  5. アプリケーションロードバランサー (ALB) ターゲット定義を新しいスタックに切り替える

環境を更新すると、承認されたパッチ適用の最新レベルにイメージをアップすることで、SOCA クラスターが常に最新の状態に保たれます。また、必要に応じて、最新の Amazon EC2 インスタンスタイプから恩恵を受けることができます。

図 5: SOCA エンドユーザーが使用できる NICE DCV リモートデスクトップセッションを使用した Bioreactor モデルの後処理レビュー

学んだ教訓

クラウドベースの HPC ソリューションを選択することで、Amgen チームは計算時間の可用性、シミュレーションを実行するためにさまざまな Amgen エンジニアリングチーム用のタイムスライスを構築する必要性、既存の HPC システムの再構築を検討する際にピーク使用率の HPC インフラストラクチャをオーバーサイズする必要性について心配する必要はありません。

プラットフォームの選択は、速度とフィードだけでなく、ユーザーエクスペリエンスにも焦点を当てる必要があります。この新しいプラットフォームは、3D レンダリングでシミュレーション結果を視覚化できる、インタラクティブなリモートデスクトップセッションへのアクセスを強化したエクスペリエンスをエンドユーザーに提供しました。これは、ディスクリートGPUがないローカルラップトップでビジュアライゼーションを実行する場合と比較して、シミュレーションソフトウェアのエンジニアリングユーザーにとって大きな利点です。これは、帯域幅が限られているネットワーク接続を介してモデルデータをダウンロードする必要があった場合にもメリットがあります。

プラットフォームのパフォーマンスは、エンドユーザーがプラットフォームとどの程度簡単にやり取りできるかに関するものです。SOCA プラットフォームは Web インターフェイスにより便利で、リモートデスクトップを使用して必要な 3D シミュレーションを実行する場合にもっと便利です。

“ハイパフォーマンスコンピューティング機能は、最適なコストでスピードとプロセス効率を向上させるための基礎となります。このイニシアチブの一環としてAmgenのHPC機能の進歩は、IS都市計画と建築基準に完全に一致しています。DIPTとFPT組織に利益をもたらすだけでなく、設計、方法論、経験は、次世代シーケンシングなど、他のプロジェクトや機能のHPC実装を加速するのに役立ちます。”

– Justin Porth & Venki Anantharam, OIS Sr. Manager & OIS Director, Amgen

まとめ

SOCAプラットフォームにより、Amgen DIPTとISチームは、計算流体力学シミュレーションを実行するための便利で使いやすいプラットフォームを科学者とエンジニアに提供し、医療機器開発およびバイオ医薬品プロセス開発を迅速化することができました。彼らは以下のことを達成しました。

  • エンドユーザーエクスペリエンスの向上 : SOCA が提供するシンプルな UI とリモートデスクトップセッションを利用することで、Amgen チームは HPC プラットフォームとのインタラクションを簡素化するエンドユーザーエクスペリエンスを強化することができました。また、科学者やエンジニアは、利用可能なラップトップで専門的な計算能力を必要とせずに、シミュレーションのテストと検証を実行することができました。
  • Amgen ガバナンス慣行の遵守 : SOCAプラットフォームを使用することで、Amgenチームはプラットフォームを既存の Amgen クラウドガバナンスプラクティスとシームレスに統合し、IS組織による承認と採用につながり、本番稼働までの時間を短縮できました。
  • コスト節約 : SOCA で HPC シミュレーションジョブを実行すると、従量制の料金モデルで AWS サービスが使用されるため、リソースの継続的な管理を処理するための内部サーバーや人員を管理するよりも、処理タスクのコストがはるかに低くなります。

Amgen はオープンソースコミュニティの活発なメンバーであり、Amgen IS チームは、コミュニティと分野の成長を支援するためのオープンソースプロジェクトに貢献する方法を特定しています。Amgenのデジタルイノベーションの機会の詳細については、creerers.amgen.com/Opportunities/digital-innovation-technology/ をご覧ください。

AWS でのヘルスケアとライフサイエンスに関する詳細については、thinkwithwp.com/health をご覧ください。

参考文献

1-Roush, David, Dilip Asthagiri, Deenesh K. Babi, Steve Benner, Camille Bilodeau, Giorgio Carta, Philipp Ernst, Fabrice Schlegel et al. “Toward in silico CMC: An industrial collaborative approach to model‐based process development.” Biotechnology and Bioengineering (2020).

執筆者について

Fabrice Schlegel

Fabrice Schlegel は Amgen のデータサイエンスのシニアマネージャーです。デジタル統合と予測技術（DIPT）チームの一員として、彼は最高の患者体験を達成するために、第一原理計算モデル、特に医療機器に関連する計算モデルの開発、展開、および維持を推進しています。ファブリスはMITで博士号を取得しています。

Ammar Latif

Ammar Latif は、アマゾンウェブサービス (AWS) のシニアソリューションアーキテクトです。彼は、お客様がクラウドテクノロジーを使用してビジネス上の課題に対処できるよう支援することを楽しんでいます。彼のキャリアを通じて、Ammarは世界中のヘルスケア、メディア、テレコムのお客様の大企業と協力してきました。Ammar はニュージャージー工科大学で博士号を取得しています。

Joao Alberto de Faria

ジョアン・アルベルト・デ・ファリア（Joao Alberto de Faria）は、Amgen のオペレーション情報システムグループのシニアアソシエイトソフトウェアエンジニアです。彼の現在の焦点は、SOCAを含むAmgenのプロセス開発サイエンティストを可能にするためのテクニカルスタックの設計、開発、サポートです。ジョアンはフロリダ工科大学で応用数学の学士号と修士号を取得しています。

Pierre-Yves Aquilanti

Pierre-Yves Aquilanti は、HPC ワークロードに焦点を当てたアマゾンウェブサービスのプリンシパルソリューションアーキテクトです。彼は、ヘルスケア、石油およびガス、自動運転車のお客様と協力して、クラウドで大規模な計算ワークロードを実行しています。AWS に入社する前は、Pierre-Yves は石油・ガス業界で働いていました。

 

本ブログの翻訳はソリューションアーキテクトの大井が担当しました。