AWS Glue で Apache Spark 向けの生成 AI トラブルシューティングを発表 (プレビュー)

投稿日: 2024年11月22日

AWS Glue が Apache Spark 向けの生成 AI トラブルシューティングを発表しました。これは、データエンジニアやデータサイエンティストが Spark ジョブの問題をすばやく特定して解決するのに役立つ新機能です。Spark トラブルシューティングは、機械学習と生成 AI のテクノロジーを使用して、Spark ジョブの問題の根本原因を自動的に分析し、特定された問題を解決するための実行可能な推奨事項を提供します。

AWS Glue は、サーバーレスのスケーラブルなデータ統合サービスで、分析、機械学習、アプリケーション開発に使用するデータの検出、準備、結合をより簡単に行うことができます。Spark トラブルシューティングを使用して、AWS Glue コンソールで 1 回クリックするだけで、失敗したジョブの自動分析を開始できます。この機能は、メモリエラー、データスキューの問題、リソースが見つからないという例外など、診断が難しい Spark の問題の根本原因分析と修復手順を提供します。これにより、重要なデータパイプラインのダウンタイムを削減できます。Amazon Bedrock を活用した Spark トラブルシューティングにより、デバッグ時間が数日から数分に短縮されます。

Apache Spark 向けの生成 AI トラブルシューティングのプレビューは、AWS Glue 4.0 で実行されているジョブで、米国東部 (バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド)、米国東部 (オハイオ) などの AWS リージョン利用できます。詳細については、AWS Glue のウェブサイトにアクセスするか、リリースブログを読むか、ドキュメントをご覧ください。