投稿日: Aug 4, 2021
Amazon EKS での Apache Spark を使用した SQL ベースの ETL をセットアップできるようになりました。このソリューション実装は、宣言型データ処理サポート、コードレス抽出 - 変換 - ロード (ETL) 機能、およびワークフローオーケストレーションのオートメーションを提供し、データサイエンティストとアナリストがデータにアクセスし、手動の IT プロセスを必要とせずに有意義なインサイトを作成できるようにします。
このソリューションは、データセットのフォーマット、パーティション化、および変換などの一般的な ETL アクティビティを、設定可能で生産的なデータプロセスに抽象化します。この抽象化により、データ駆動型のビジネス上の意思決定を加速するのに役立つ実用的なインサイトが迅速に得られます。さらに、このソリューションは、オープンソースの Arc データ処理フレームワークを使用し、Apache Spark とコンテナテクノロジーを利用して、Spark アプリケーションの開発とデプロイを簡素化します。
詳細と開始方法については、ソリューション実装のウェブページにアクセスしてください。
AWS ソリューション実装は、AWS プラットフォームを使用し、一般的な問題を解決してより迅速に構築できるように設計されています。追加の AWS ソリューション実装は AWS ソリューション実装のウェブページで入手できます。ここでは、AWS アーキテクトが精査したテクニカルリファレンス実装を閲覧でき、詳細なアーキテクチャとデプロイ手順を利用できます。