Amazon SageMaker Ground Truth の特徴

教師あり学習を通じて、モデルには望ましい成果の具体例が提供されます。このような例はデモンストレーションデータと呼ばれ、モデルが将来直面する未知のユーザーリクエストへの対応方法や回答方法を学習できるようにします。SageMaker Ground Truth Plus を使用すると、専門のアノテーターで構成される AWS チームが、お客様の具体的な指示に基づいて新しい高品質のデモンストレーションデータを生成できます。デモンストレーションデータの例には、画像や動画のキャプション、テキストの要約、質問への回答などがあります。デモンストレーションデータを使用して、既存の FM をユースケースに合わせてカスタマイズしたり、ゼロから構築したモデルを微調整したりできます。

• 質問と回答: 質問と回答のペアを使うと、大規模言語モデルに質問への回答方法をトレーニングするためのデモンストレーションデータセットを作成できます。

• 画像キャプション: 画像キャプションを使用すると、画像内のシーンやオブジェクトを詳細に説明するデータセットを用意して、テキストから画像への変換モデルをトレーニングして、意図に沿った正確で創造的な画像を作成することができます。また、画像からテキストへのモデルのトレーニングに使用して、画像シーンの正確な説明を出力することもできます。
  

• 動画キャプション: 動画キャプションを使用すると、テキストから動画への変換モデルをトレーニングするために、動画のアクションやシーンを詳細に説明するデータセットを用意できます。高品質の動画キャプショントレーニングデータにより、お客様の意図に沿った、より正確でクリエイティブな動画を作成できます。また、動画からテキストへの変換モデルをトレーニングして、動画を正確に説明するためにも使用できます。
  

人間のフィードバックによる強化学習 (RLHF) では、データアノテーターは、応答をランク付けしたり分類したりして、モデルが生成した出力に直接フィードバックやガイダンスを与えることができます。このデータは、比較データおよびランキングデータと呼ばれ、モデルのトレーニングに使用されます。比較データおよびランキングデータの例には、正確性、関連性、明確性などの基準に基づいて、テキスト回答を最高から最低までランク付けすることが含まれます。比較データやランキングデータを使用して、既存の FM をユースケースに合わせてカスタマイズしたり、ゼロから構築したモデルを微調整したりできます。

人間のフィードバックを活用して、モデルの出力を、お客様にとって最も重要な基準 (正確性、関連性、毒性、偏見、ブランドボイス、スタイルなど) のカスタマイズ可能なリストと照らし合わせて評価および比較し、ユースケースに最適なモデルを選択します。AWS には、モデル評価をすぐに開始するためのさまざまな方法が用意されています。AWS が管理するチームを活用して、SageMaker Ground Truth を通じてモデルの評価、比較、選択を行うことができます。また、SageMaker Studio、SageMaker Jumpstart、Amazon Bedrock からモデル評価機能にアクセスできるようになり、社内チームが数回クリックするだけでモデルの評価を開始できます。

意図的にモデルから有害な反応を引き出し、その出力を体系的に見直して脆弱性を発見し、全体的な安全性、堅牢性、信頼性を向上させます。

SageMaker Ground Truth では、画像、データ、動画、テキスト、3D 点群の複数のアノテーションユースケースに 30 種類以上の専用ラベリングワークフローを使用できます。

• 画像分類: 画像分類ワークフローでは、あらかじめ定義されたラベルのセットに基づいて画像を分類できます。画像の分類は、シーンの検出など、画像の背景を考える必要があるモデルに最適です。例えば、画像分類モデルを構築できます
  

• 画像オブジェクトの検出: オブジェクト検出ワークフローを使用して、画像内の任意のオブジェクト (車両、歩行者、犬、猫など) を識別し、ラベル付けすることができます。ラベル付けタスクでは、画像内の任意の対象物の周囲に 2 次元 (2D) の境界ボックスを描画します。コンピュータビジョンのモデルは、境界ボックスにラベルが付けられた画像でトレーニングされており、ボックス内のピクセルが特定のラベルに対応していることを学習します。
  

• 画像セマンティックセグメンテーション: セマンティックセグメンテーションワークフローを使用して、モデルが学習する必要のあるラベルに対応する画像の特定の部分に正確にラベルを付けることができます。個々のピクセルがラベル付けされるため、精度の高い学習データを得ることができます。例えば、画像内の車の不規則な形状は、セマンティックセグメンテーションで正確にとらえることができます。
  

• 動画オブジェクトの検出: 動画オブジェクト検出ワークフローにより、一連の動画フレーム内で目的のオブジェクトを識別できます。例えば、自律型車両の知覚システムを構築する場合、車両の周囲のシーンによって他の車両を検出できます。
  

• 動画オブジェクトのトラッキング: 動画オブジェクト追跡ワークフローを使用すると、一連の動画フレームにわたって対象オブジェクトを追跡できます。例えば、スポーツゲームのユースケースでは、プレイ期間全体にわたってプレイヤーに正確なラベルを付けることができます。
  

• 動画クリップの分類: 動画クリップ分類ワークフローを使用すれば、動画ファイルを事前に指定されたカテゴリに分類できます。例えば、スポーツのプレイや混雑した交差点での交通渋滞など、動画を最もよく表す事前指定のカテゴリを選択できます。
  

• テキストの分類: テキストの分類では、事前に定義された複数のラベルのいずれかにテキスト文字列を分類します。テキストの分類は、自然言語処理 (NLP) モデルで製品の説明、映画のレビューなどのトピックや感情などを特定する際によく使用されます。
  

• 名前付きエンティティの認識: 名前付きエンティティ (NER) は、テキストデータから名前付きエンティティと呼ばれるフレーズを探し出し、「人」、「組織」、「ブランド」などのラベルを付けて分類します。
  

• 3D 点群オブジェクトの検出: オブジェクト検出ワークフローを使用すると、3D 点群内の任意オブジェクトを識別してラベル付けすることができます。例えば、自律型走行車のユースケースでは、車両、車線、歩行者を正確にラベリングすることができます。
  

• 3D 点群オブジェクトのトラッキング: オブジェクトトラッキングワークフローを使用すると、任意のオブジェクトの軌跡を追跡することができます。例えば、自律型走行車は、他の車両、車線、歩行者の動きを追跡する必要があります。
  

• 3D 点群のセマンティックセグメンテーション: セマンティックセグメンテーションのワークフローを使用すると、3D 点群のポイントを事前に指定したカテゴリにセグメンテーションすることができます。例えば、自律型走行車の場合、Ground Truth は道路、葉っぱ、構造物を分類することができます。
  

SageMaker Ground Truth では、独自のカスタムラベリングワークフローを作成できます。ワークフローは次のもので構成されます。(1) 人間のラベル作成者にラベル付け作業を完了するための指示とツールを提供する UI テンプレート。豊富な UI テンプレートが利用可能なほか、独自の Javascript/HTML テンプレートをアップロードすることも可能です。(2) AWS Lambda 関数にカプセル化されたすべての前処理ロジック。Lambda 関数では、ラベル付けされるデータに任意のコンテキストを追加してラベル付け担当者に提供できます。また、(3) AWS Lambda 関数にカプセル化された任意の後処理ロジックを使用して、精度向上アルゴリズムを追加することもできます。このアルゴリズムは、人が行ったアノテーションの品質を評価したり、同じデータが複数のラベル付け担当者に提供された場合に、何が「正しい」かについてのコンセンサスを見つけることができます。

SageMaker Ground Truth では、承認ワークフローの設定、アノテーションのレビューと変更、タスクのルーティング、マシン検証の活用、品質メトリクスの追跡などの品質保証手順を実装することで、アノテーションタスクの品質を検証できます。また、タスクレビューを複数の担当者にルーティングするアルゴリズムを使用することで、ワークフロー内でコンセンサスを作成してデータの正確性のレベルについて合意することもできます。

SageMaker Ground Truth には、お客様に代わって AWS に従業員を管理してもらいたい場合でも、社内の既存の労働力を活用したい場合でも、SageMaker Ground Truth には選択肢と柔軟性があります。

SageMaker Ground Truth Plus により、お客様に代わって、スケーラブルでドメインのエキスパートであるワークフォースを採用し、管理することができます。例えば、音声ファイルのラベル付けの経験があるチームや、特定の言語に堪能なチームが必要な場合があります。より高度なユースケースでは、デモンストレーションデータ用の文書コンテンツを生成できる作業チームが必要になる場合があります。AWS は、さまざまな期間が設けられた世界中のプロジェクトのために、あらゆる規模のチームを募集、雇用、訓練、管理できます。AWS が管理するワークフォースは、お客様のセキュリティ、プライバシー、コンプライアンス要件を満たすことができます。

社内に既存のデータ運用チームがある場合は、SageMaker Ground Truth のツールとワークフローを活用して、さまざまなユースケースにわたってデータにアノテーションを付けることができます。これは、自分のチームの専門知識を活かしたい場合や、特定のデータ機密保持要件がある場合の選択肢になります。

AWS Marketplace から希望のアノテーションベンダーを選択して、SageMaker Ground Truth でタスクを完了することができます。これにより、個々の作業者を見つけてチームを構築する手間を省けます。

Amazon Mechanical Turk を使用してアノテーション作業をクラウドソーシングすることは、小規模プロジェクトでも大規模プロジェクトでも、費用対効果が高くスケーラブルなアプローチになります。地理的に分散している多数の作業者を利用したり、タスクを迅速に設計して反復処理したり、特定の要件に合わせてワークフローを調整したりできます。

SageMaker Ground Truth に組み込まれた支援ツールを使用すると、ラベルを付けるのに必要な労力を軽減し、作業者がヒューマンインザループタスクを効率的に進めることができるため、時間とコストを節約できます。

SageMaker Ground Truth Plus は、インタラクティブなダッシュボードとユーザーインターフェイスを提供しており、複数のプロジェクトにおけるトレーニングデータセットの進捗状況のモニタリング、日々のスループットなどのプロジェクトメトリクスの追跡、ラベルの品質検査、ラベル付きデータへのフィードバックなどを行うことができます。