Amazon Data Firehose が、Amazon S3 の Apache Iceberg テーブルへのデータベース変更の継続的なレプリケーションをサポート
Amazon Data Firehose で、Amazon S3 の Apache Iceberg テーブルに対するデータベース変更のキャプチャとレプリケーションが可能になりました (プレビュー)。この新機能により、お客様は簡単に MySQL および PostgreSQL データベースからのリアルタイムデータを Apache Iceberg テーブルに直接ストリーミングできます。
フルマネージド型のサーバーレスストリーミングサービスである Firehose を使用すると、お客様はデータストリームを取得し、変換して、Amazon S3、Amazon Redshift、OpenSearch、Splunk、Snowflake、および他の宛先に配信して、分析を行えます。この機能により、Firehose は選択したデータベーステーブルから最初の完全なデータコピーを実行し、その後、Apache Iceberg テーブルに対する挿入、更新、削除を反映するために Change Data Capture (CDC) の更新を継続的にストリーミングします。この合理化されたソリューションにより、複雑なデータパイプラインの設定が不要になり、データベーストランザクションのパフォーマンスへの影響が最小限に抑えられます。
主な機能は次のとおりです。• ソースデータベースのスキーマと一致する Apache Iceberg テーブルの自動作成 • ソースの変更に応じたスキーマの自動更新 • 特定のデータベース、テーブル、列の選択的レプリケーション
このプレビュー機能は、中国、AWS GovCloud (米国)、およびアジアパシフィック (マレーシア) リージョンを除くすべての AWS リージョンで利用できます。利用規約については、AWS サービス規約に記載のベータサービスへの参加に関する内容をご覧ください。
はじめに、Amazon Data Firehose のドキュメントとコンソールをご覧ください。
この機能の詳細については、こちらの AWS ブログ投稿をご覧ください。