AWS と Hugging Face は生成 AI をより利用しやすくコスト効率良くするため協力を拡大します

AWS と Hugging Face は、生成 AI に不可欠である大規模な事前学習済みモデルの学習と推論を加速するためより協力していくことを発表します。生成 AI の用途は幅広く、文書の要約、質問への回答、コードの生成、画像の生成、エッセイや記事の作成など、さまざまなタスクを実行できます。この発表は、AWS and Hugging Face collaborate to make generative AI more accessible and cost efficient で行われ本記事は日本語訳をした記事です。

AWS は生成 AI の活用に向けて長い間イノベーションを継続してきました。Amazon は AI を使用して Alexa との会話体験を提供しており、お客様との間で毎週何十億回も対話しています。 Create with Alexa は与えられた出だしのフレーズから、生成 AI を用いて続きのストーリーと、ストーリーに沿ったイラスト、音楽、効果音を生成します。さらに、 Amazon Search の M5 チームは、Amazon のさまざまなチームがアプリケーションに大規模なモデルを導入するのを支援し、 Amazon.com での検索結果を改善するために大規模モデルを学習しています。 AWS もまた 機械学習のインフラを含むあらゆる領域で革新を続けています。Amazon SageMaker の機能はもちろん、学習のための AWS Trainium 、推論のための AWS Inferentia を専用のアクセラレーターとして開発しています。これらの発明は、機械学習をより使いやすくコスト効率が良いものにしてきました。 さらに、 コードとコメントに基づき推奨されるコードを提案する Amazon CodeWhisperer を AI サービスとして提供し開発者の生産性向上に活用頂いています。

Hugging Face が AWS を選んだ理由は、 Amazon SageMaker、AWS Trainium、AWS Inferentia など、 Hugging Face のモデルを学習、微調整 (Fine Tuning) 、デプロイするための最先端のツールを柔軟に利用できるからです。Hugging Face を使用する開発者は、パフォーマンスを簡単に最適化しコスト効率良くかつ迅速に生成 AI を本番環境へ移行できるようになりました。

高性能でコスト効率の高い生成 AI を開発者に

大規模な言語や画像のモデルを構築し、学習、デプロイすることは機械学習に関する専門知識だけでなく費用と時間がかかるプロセスです。何千億ものパラメータを含むモデルはとても複雑で扱いが困難なため、多くの開発者にとって生成 AI の開発は手が届かないものになっています。

このギャップを埋めるために、Hugging Face は現在 AWS と協力して、開発者が AWS のサービスを通じ生成 AI アプリケーション専用の Hugging Face モデルを簡単にデプロイできるようにしています。利点は、学習が速くなり、低レイテンシーで高スループットの推論をスケーリングできることです。たとえば、 AWS Trainium を搭載した Amazon EC2 Trn1 インスタンスは、同等の GPU ベースのインスタンスに比べて、学習にかかるコストを最大 50% 削減しつつ学習時間も短縮します。 最新世代の AWS Inferentia を搭載した Amazon EC2 の新しい Inf2 インスタンスは、近年の大規模な言語や画像のモデルについて Inf1 よりも最大 4 倍のスループットと最大 10 倍のレイテンシーを実現しています。開発者は、機械学習用のツールとワークフローを備えたサービスである Amazon SageMaker などのマネージドサービスを通じ、 AWS Trainium と AWS Inferentia を使用できます。もちろん、Amazon EC2 で自己管理することもできます。

生成 AI の開発を始める

AWS で Hugging Face を始める方法は 3 つあります。 SageMaker JumpStart 、Hugging Faceの AWS ディープラーニングコンテナ (DLC) 、 AWS Trainium のチュートリアル または AWS Inferentia のチュートリアル です。Hugging Face DLC には、最適化された transformers 、datasets 、 tokenizers のライブラリがインストールされているため、最小限のコード変更で、生成 AI アプリケーションを数時間で微調整し大規模に展開できます。SageMaker JumpStart と Hugging Face DLC は、Amazon SageMaker が利用できるすべてのリージョンで追加費用なしに利用ができます。ドキュメントやフォーラムを読むことで詳細を確認し、サンプルノートブックからすぐに試すことができます。

次の日本語のブログもぜひご参照ください。

• 画像生成 AI の実装例
  • 画像生成 AI を使ってお題に近い猫の画像を生成しよう ! の巻
• AWS Trainium の実装例
  • 独自設計チップ AWS Trainium 搭載 Amazon EC2 Trn1 インスタンスで ML トレーニングを高速実行（基礎編）
  • 独自設計チップ AWS Trainium 搭載 Amazon EC2 Trn1 インスタンスで ML トレーニングを高速実行（実践編）
  • Amazon EC2 Trn1 UltraClusters を使って大規模言語モデル(LLM)学習をスケールする
• AWS Inferentia の実装例
  • AWS CDK で作る AWS Inferentia と Amazon ECS を利用した推論環境（Part 1）
  • AWS CDK で作る AWS Inferentia と Amazon ECS を利用した推論環境（Part 2）
  • Amazon Search がAWS Inferentiaで検索システムのコストを85%削減

翻訳は機械学習 Developer Relations の久保が担当しました。

原文はこちらです。