Amazon Bedrock でモデルの推論をするには、はじめにモデルアクセスの有効化が必要です。また、デフォルトで割り当てられた制限を超えて推論等を行う場合は Quotas と呼ばれる制限値を引き上げる必要があります。デフォルトの制限値はサービスの適正な利用とパフォーマンスの維持向上を図るため継続的に調整が行われており、その中であなたの AWS アカウントのモデルアクセスの有効化や推論等の制限値に影響が発生する場合があります。影響を受けた際、どのように対応すればよいのかを示すのが本記事の目的です。

生成 AI の注目が高まるにつれ、生成 AI 、Amazon Bedrock をきっかけに初めて AWS を利用する方もいらっしゃると思います。そうした場合、想定外の影響を受けたとき AWS でどのように対応や問い合わせをすればよいのか戸惑うことも多いと理解しています。本記事はその戸惑いを解消するためにあり、生成 AI で AWS を活用いただく誰もが、詰まることなく影響を解消するための手順を説明します。はじめに Amazon Bedrock を利用するための基本的な手順をおさらいし、その後影響が発生した際の対応手順を示します。

モデルアクセスの有効化をする方法

Amazon Bedrock は複数の基盤モデルに対し統一された API でのアクセスを提供します。「複数」の中のどのモデルを利用するかは、Amazon Bedrock の「モデルアクセス」で設定します。最小特権の原則に基づき利用できるモデルを明示的に選択する方式で、会社や開発組織の規約や性能要件に合致したモデルのみアクセスを許可できます。

Amazon Bedrock で「モデルアクセス」を有効化する方法は、“Amazon Bedrock のはじめ方” の「1. Amazon Bedrock の準備」にまとめています。手順が不案内な場合は、こちらの記事を参照ください。注意点として、手順を進める前に、Amazon Bedrock を利用するリージョンを選択していることを確認してください。リージョンとはデータセンターが集積されている物理的ロケーションをさし、AWS Console の右上で設定できます。利用可能なリージョンは、こちらのページで確認できます。利用可能なモデルはリージョンごとに異なり、Model support by AWS Region にて確認ができます。

制限値を引き上げする方法

Amazon Bedrock のモデルに対し送信および受信できるトークン数の上限は、制限がかけられています。デフォルトの制限値は “Amazon Bedrock endpoints and quotas” を参照ください。これは予想外の利用が発生して使用料金が急増するリスクの対処に役立つ一方、頻繁な実験や一定の使用量が必要なユースケースの実現には制限値を超えた利用を申請しておく必要があります。

制限値の上限緩和を申請する場合は、AWS Console から “quotas” と検索し、“Service Quotas” を選択してください。この操作をする場合も、Amazon Bedrock を利用するリージョンを選択していることを確認してください。設定値はリージョンごとに設定されています。

“Service Quotas” の画面に遷移したら、AWS のサービスとして “Amazon Bedrock” を選択し、「クォータの表示」を押下します。

概ね、“On-demand” の requests per minute が問題となると思います。該当モデルの制限値を選択し、遷移後に「アカウントレベルでの引き上げをリクエスト」することで新しい上限値をリクエストできます。必要な設定値は、ユースケース等からの見積りを基に算出ください。

トラブルへの対処方法

上記でご説明したモデルアクセスの有効化や制限値の引き上げは通常時の方法です。ここから本題として、通常の手順通りではできなくなってしまった場合の対応方法を説明します。

モデルアクセスの有効化ができない場合

モデルアクセスの有効化ができない場合、モデルのチェックボックスがグレーアウトされて選択できなくなっているか、そもそもモデルが有効化のページに表示されないケースがあり得ます。

まず、利用可能なモデルはリージョンごとに異なるため、現在 AWS Console で選択しているリージョンと、Model support by AWS Region を見比べモデルのアクセスが該当リージョンで提供されているかご確認をお願いいたします。

モデルが提供されているにもかかわらず、グレーアウトあるいは表示されていない場合、「サポートセンター」から「ケースの起票」をお願いいたします。サポートセンターは、AWS Console の右上の❔のアイコンからアクセスできます。

サポートセンターの画面から「ケースの作成」を押下してください。

Enterprise および Business, Developer など、サポート契約されている場合は「技術」が選択できますので、そこから Amazon Bedrock のサービスを指定してケース起票をお願いいたします。サポート契約されていない方は、下図のように「アカウントと請求」「Account Activation」「Bedrock Allowlisting」を選択しケースの作成をしてください (※2024/11/12 更新 : 以前は「アカウントと請求」「一般情報及び使用開始に当たって」「AWS および各種サービスの利用」を案内していましたが、正式なケースのカテゴリが出来ました)。

「追加情報」を押し、件名と説明を例示します ( ※この通りに書かないといけないというわけではありません )。本番稼働予定など、早急に解消が必要な背景はぜひ追記ください。

件名
Amazon Bedrock でモデルアクセスの有効化ができない

説明
Amazon Bedrock で XXX のリージョンで YYY のモデルを利用するためにモデルアクセスの有効化を行おうとしたところ、チェックボックスがグレーアウトされている/リストに表示されておらず、有効化ができませんでした。該当リージョンでモデルが提供されていることは Model support by AWS Region で確認済みです。

本番環境での稼働を x/x に予定しており、検証をスケジュールに沿い進めるため有効化が行えるよう対応いただいてもよろしいでしょうか ?

制限値未満の利用にもかかわらずエラーが出る場合

Amazon Bedrock のモデルの利用制限は “Amazon Bedrock endpoints and quotas” に記載されていますが、ここで記載されている Quotas 未満の使用にも関わらず上限を超えた旨のエラーが発生する場合があります。

初手の対応方法として、クロスリージョン推論の利用を検討ください。Amazon Bedrock のリソース及び Quota はリージョンごとに設定されているため、複数リージョンの Quotas を有効に活用するのが効果的です。Amazon Bedrock は特定リージョンで推論に必要なリソースが枯渇していた場合、他のリージョンに推論をオフロードする “クロスリージョン推論” が実装されています。こちらの機能を実装することで、よりリソースを冗長化した推論を行うことが出来ます。詳細は “Amazon Bedrock の Cross Region Inference を試す” などをご参照ください。

クロスリージョン推論を試してもエラーが発生する、あるいは国内にとどめる必要があるなどオフロードできない要件がある場合、上記同様にサポートセンターからケースの起票をお願いいたします。本番稼働予定など、早急に解消が必要な背景はぜひ追記ください。

件名
Amazon Bedrock で Quotas 未満にもかかわらずエラーが発生する

説明
Amazon Bedrock で XXX のリージョンで YYY のモデルを Quotas 未満で利用しているにもかかわらず、ThrottlingExceptionが発生します。デフォルトの Quotas は “Amazon Bedrock endpoints and quotas” で確認済みです。クロスリージョン推論はすでに試していますが、エラーの発生頻度はお客様向けの提供に問題がないレベルには至っていません or アプリケーションの要件として ZZ のリージョンに閉じる必要があり、クロスリージョン推論は利用できません。本番環境での稼働を x/x に予定しており、検証をスケジュールに沿い進めるため有効化が行えるよう対応いただいてもよろしいでしょうか ?

制限値の引き上げができない場合

Quotas のラジオボタンがグレーアウトされている場合、“Service Quotas” の画面から制限値の引き上げを行うことが出来ません。「調整可能ではない」と記載されている場合は引き上げができません。

この場合、上限緩和したいクォータ名のリンクにアクセスすると Support Center に問い合わせるよう誘導があります。それに従い、モデルアクセスと同様にケースを作成し上限の緩和を申請します。なお、申請は必ず認可されるわけではない点はご了承ください。

件名と説明を例示します ( ※この通りに書かないといけないというわけではありません )。Quota の名前は適宜変更してください。本番稼働予定など、早急に解消が必要な背景はぜひ追記ください。

件名
Amazon Bedrock で “On-demand InvokeModel requests per minute for Anthropic Claude 3 Haiku” の Quotas 変更ができない

説明
Amazon Bedrock で XXX のリージョンで件名のモデルの Quotas 上限を引き上げようとしたところ、アカウントレベルでの調整ができなかったためケースを起票させていただきました。現在、プロジェクトの検証のため・・・(以下、個別事情と希望する制限値について記載ください)

おわりに

生成 AI のポテンシャルをすべてのデベロッパーの方に届けるため、AWS では日々リソースの最適化に努めています。その過程で意図しない影響が発生した際は、本手順に沿い解決を頂ければ幸いです。