[AWS Black Belt Online Seminar] AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス- 資料及び QA 公開

先日 (2021/03/30) 開催しました AWS Black Belt Online Seminar「AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-

AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます）

Q. S3 経由で PostgreSQL Database に Java プログラムで加工? データ保管をするプログラムを運用しています。DB に保管せず、Athena 上で複雑な SQL を書いて置き換えができないか検討していましたが、Amazon Glue（やStudio）を使って、S3 のデータを加工できるということでしょうか？ 目的の加工データが S3 上にできれば、あとは色々なモジュールで表示するだけなのかなと考えています。
A. はい、Glue や Glue Studio をご利用いただくことで、S3 上のデータを加工し、S3 や RD に保存するジョブを作成することが可能です。また Athena には CREATE TABLE AS SELECT 構文で、既存の表(S3)を読み込んで変形し、別の S3 バケットに出力する機能がございます。

Q. KMS を使って暗号化したデータを S3 に保管していたとすると、Glue の場合はどこで複合化するべきですか？
A. Glue には KMS と連携し、データ保存時に暗号化する機能がありますので、そちらを使っていただくのが一般的です。こちらの参考文献をご参照ください。

Q. Redshift のカタログを持つことは可能でしょうか？
A. Glue data catalog で保管したカタログは、Redshift からは Spectrum 経由で参照し、S3 上のデータをクエリすることが可能です。

Q. Glue Studio で、Redshift のデータの加工は可能でしょうか？
A. はい、データソースとして Redshift を利用することは可能です。

Q. 基本的なことなのかもしれませんが、以下のようなユースケースが一般的なのでしょうか？ ①Glue Studio でデータソースから初期のクレンジングやカスタマイズを行って、②①で作成したデータを Glue DataBrew で分析する。
A. はい、Glue Studio と DataBrew は併用可能ですので、初期処理を Glue Studio で実施し、後段で DataBrew を活用いただくことは可能です。

Q. クラウドではなくオンプレミスからのデータはどのように取り込みますか？
A. JDBC 接続が可能な DB であればオンプレミスの DB も指定可能です。その他のストレージに格納されているデータに関してもカスタムコネクターを使用いただくことで取り込みができる場合があります。

—–

今後の AWS Webinar | イベントスケジュール

直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。

——
2021 AWS Summit Online 登録開始しました！

AWS Summit Online は 5 月 11 日（火）、12 日（水）に AWS クラウドを活用してイノベーションを目指すエグゼクティブや IT プロフェッショナルの方向けに開催されます。1 日目と 2 日目に配信される基調講演では、AWS のビジョンやサービスの優位性、ビジネスの変化に対するクラウドが果たす役割、人材育成など、幅広いテーマを取り上げます。ブレイクアウトセッションでは AWS サービス最新情報、お客様によるクラウド活用事例、AWS パートナー様の先進的なソリューションなど 150 以上のセッションが自由に視聴できます。

日程： 2021 年 5 月 11 日・12 日｜詳細・ご登録はこちら 2021 AWS Summit Online 公式サイト≫

——

AWSome Day Online Conference

「AWSome Day Online」は、AWSの主要サービスや基礎知識を約 3 時間という短い時間で、ポイントを押さえて紹介いたします。技術的な面だけではなく、AWS クラウドを学ぶために必要となる知識を身に付けたい方、エンジニアのみならず、営業職、プリセールス職、学生まで幅広い方々におすすめします。

※ この回では AWS エキスパートによる技術的な内容についてチャット形式での Q&A を実施します。
※ AWS サービスの導入に関するご相談も同時にチャット形式にて対応します。
※ 2021 年は毎月第一水曜日に開催します。

日時：2021 年 6 月 2 日（水） 15:00 – 18:00 終了予定 | 詳細・お申込みについてはこちら≫

——

AWS Black Belt Online Seminar

＜重要なお知らせ＞
ライブ配信による Black Belt Online Seminar は 3 月一杯で終了し、今後はオンデマンドによる定期配信に変更いたします。今後もコンテンツを拡充して行きますので、楽しみにお待ちください。
オンデマンドでの配信開始時期は、AWS Blog や AWS クラウドサービス活用資料集ページでお知らせいたします。
（ 5 月 中旬を予定しています）