Amazon Bedrock モデル評価でカスタムモデルのインポートモデルの評価がサポートされるようになりました
Amazon Bedrock のモデル評価では、ユースケースに最適な基盤モデルを評価、比較、選択することができます。Amazon Bedrock では、自動評価と人間による評価を選択できます。精度、堅牢性、毒性などのメトリクス用の事前定義されたをアルゴリズムを備えた自動評価を使用できます。さらに、これらのメトリクス、または親しみやすさ、スタイル、ブランド音声との整合性など、主観的なメトリクスやカスタムメトリクスについては、数回クリックするだけで人間による評価のワークフローを設定できます。人間による評価のワークフローでは、自社の従業員や AWS が管理するチームをレビュー担当者として活用できます。モデル評価には、厳選されたデータセットが組み込まれていますが、独自のデータセットを持ち込むこともできます。
お客様は、カスタムモデルのインポート機能を使用して Amazon Bedrock にインポートした独自のモデルを評価できるようになりました。これにより、お客様は基本モデルを選択し、カスタマイズして評価し、必要に応じて再度カスタマイズするか、評価結果に満足したら本番環境に移行するというサイクルを実行できます。インポートしたモデルを評価するには、評価ジョブの作成時にモデルセレクターツールで評価するカスタムモデルをモデルのリストから選択するだけです。
Amazon Bedrock のモデル評価は、これらの商用リージョンと AWS GovCloud (米国西部) リージョンで一般利用可能になりました。
Amazon Bedrock でのモデル評価の詳細については、Amazon Bedrock のデベロッパーエクスペリエンスのウェブページをご覧ください。開始するには、AWS マネジメントコンソールで Amazon Bedrock にサインインするか、Amazon Bedrock API を使用してください。