AWS Glue が ML を活用した新しい Glue データ品質機能の一般提供開始を発表

投稿日: 2024年8月8日

AWS Glue は、ML を活用した異常検出アルゴリズムを使用して、見つけにくいデータ品質の問題や異常を検出する新しい AWS Glue Data Quality(Glue DQ) 機能の一般提供開始を発表しました。この機能は、お客様がデータ品質に関する問題を事前に特定して解決するのに役立ちます。

データエンジニアとアナリストは、Glue DQ のルールを使用してデータを測定および監視します。Glue DQ の既存のルールベースのアプローチは既知のデータパターンではうまく機能しますが、予期しない異常は見逃す可能性があります。データエンジニアとアナリストは、Glue DQ の異常検出機能を使用することで、予期しないデータ品質問題を簡単に検出できるようになりました。この機能を使用するには、ルールまたはアナライザーを記述し、Glue ETL で異常検出を有効にします。Glue DQ は、ルールとアナライザーで指定された列の統計情報を収集し、ML アルゴリズムを適用して異常を検出し、検出された問題をわかりやすく視覚的に説明する観測結果を生成します。お客様は推奨ルールを使用して異常パターンをキャプチャし、より正確な検出のために ML モデルを調整するためのフィードバックを提供できます。

詳細については、ブログを読むか、紹介ビデオを視聴するか、ドキュメントを参照してください。この機能は、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、欧州 (アイルランド)、欧州 (ストックホルム)、欧州 (フランクフルト)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京) で利用できます。