Amazon SageMaker Inference Recommender を発表

2021 年 12 月 1 日（米国時間）、Amazon SageMaker Inference Recommender を発表できることを嬉しく思います。Amazon SageMaker Inference Recommender は、負荷テストを自動化し、機械学習 (ML) インスタンス全体でモデルのパフォーマンスを最適化する、まったく新しい Amazon SageMaker Studio 機能です。最終的には、機械学習モデルの開発から本番稼働までの時間が短縮され、運用に関連するコストが最適化されます。

これまで、MLOps エンジニアには、モデルに最適な機械学習インスタンスを選択する手段を提供するサービスはありませんでした。コストを最適化し、インスタンスの使用率を最大化するには、MLOps エンジニアは経験と直感を駆使して、実行要件を考慮し、自分とモデルに十分役立つ機械学習インスタンスタイプを選択する必要がありました。さらに、利用可能な機械学習インスタンスが豊富で、各モデルのニュアンスが事実上無限であるため、適切なインスタンスタイプを選択するには、適切なインスタンスタイプを選択するのに数回以上の試行が必要になる場合がありました。Amazon SageMaker Inference Recommender では、MLOps エンジニアがモデルの実行に最適なインスタンスタイプに関する最善の推奨事項を取得できるようになりました。インスタンスを選択すると、数回クリックするだけで、選択したインスタンスタイプにモデルを即座にデプロイできます。パフォーマンスベンチマークや負荷テストを実行するためのカスタムスクリプトを記述する時代は終わりました。

MLOps エンジニアが、本番環境に投入する前にモデルがどのように動作するかについてのデータを取得したい場合、Amazon SageMaker Inference Recommender では、シミュレートされた環境のモデルに対してロードテストを実行することもできます。デプロイの前に、必要なスループット、サンプルペイロード、レイテンシー制約などのパラメータを指定し、選択したインスタンスセットでこれらの制約に対してモデルをテストできます。これにより、MLOps エンジニアは、モデルが現実世界でどの程度うまく機能するかに関するデータを収集し、本番環境への投入に自信を持てるようになります。また、モデルを世界に出す前に対処しなければならない潜在的な問題をハイライトすることができます。

Amazon SageMaker Inference Recommender は、MLOps エンジニアの生活を楽にし、モデルが最適に動作し続けることを確認するために、さらに多くのトリックを備えています。MLOps エンジニアは、Amazon SageMaker Inference Recommender のベンチマーク機能を使用して、特定の要件が与えられた本番環境で、負荷がかかった状態でアクセスされた場合のモデルのパフォーマンスを推定するカスタム負荷テストを実行できます。これらのテストの結果は、SageMaker Studio、AWS SDK、または AWS CLI のいずれかで読み込むことができるため、MLOps エンジニアにはモデルのパフォーマンスの概要、および多数の設定の比較が提供され、その結果を関係者と共有することができます。

詳細はこちら
MLOps エンジニアは、Amazon SageMakerスタジオ、AWS SDK、および CLI を通じて、Amazon SageMaker Inference Recommender の使用を開始できます。Amazon SageMaker Inference Recommender は、SageMaker が利用可能なすべての AWS 商用リージョン (KIX を除く) で利用できます。詳細については、Amazon SageMaker Inference Recommender のランディングページを参照してください。

開始するには、Amazon SageMaker Inference Recommender のドキュメントを参照してください。

原文はこちらです。