【開催報告】Amazon Redshift事例祭り（移行編）～Let’s Modernize Our Data Warehouses!

こんにちは。アマゾンウェブサービスジャパン株式会社事業開発担当甲谷です。

6/4に、「Amazon Redshift事例祭り（移行編）～Let’s Modernize Our Data Warehouses!」を開催いたしました。本ブログ記事では、本イベントの内容について簡単にご紹介するとともに、詳細に関しては各発表スライドへのリンクを設けておりますので、ご関心の有る方はダウンロードください。

今回はデータウェアハウス(DWH) Modernizationということで、既存のオンプレミスのデータウェアハウス(DWH)環境から、AWSの高速かつ完全マネージド型のDWHであるAmazon Redshiftへ移行されたお客様に、移行の決め手や移行後の効果について「本音」でお話ししていただきました。セミナーではオンライン形式で、お客様の移行体験談を中心に、AWSソリューションアーキテクトから移行に関するTIPS、DWH Migration Program、APNプログラムについてもご紹介しました。

DWH Modernization ガイド [slides]

アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト
平間大輔

平間からは、オンプレミスから Amazon Redshift への移行を例に、DWH Modernizationのメリットと、必要な検討内容や移行手法についてご説明しました。

まず従来型のオンプレミスDWHが抱えている課題について概観し、その課題を解決するモダンなDWHアーキテクチャとは、クラウドDWHだけでなく、データレイクと組み合わせることが重要であることをお話しました。データレイクとは、クラウド上で多様なデータを一元的に保存するためのもので、分析対象のデータが爆発的に増加するとともに、データ分析要件が多様化することで必要となるものです。

Amazon Redshiftは、そのようなデータレイクと組み合わせてモダンなDWHアーキテクチャを実現するための有力な解であることをお伝えしました。その理由として、1. Elastic Resize、同時実行スケーリングによって必要なときに必要なだけのリソースを確保できる点、2. Redshift Spectrum、データレイクエクスポート等データレイクとの連携機能が充実している点、3. バックアップ、モニタリング、自動パッチ適用等、構築・運用の負荷を軽減する機能が充実している点の3点の理由を挙げさせていただきました。

実際にクラウドDWHに移行するにあたり、環境を容易に作成・破棄できるクラウドのメリットを活かしたPOCが重要である点をお伝えしました。POCの中で、既存のオンプレミスDWHとのアーキテクチャ・対応機能の比較、周辺アプリケーションの移行方式の検討、データ転送方式の検討等、必要な検証項目を列挙させていただきました。その中で、ソースデータベースのスキーマ等を自動的にターゲットデータベース互換フォーマットに変換できる、AWS Schema Conversion Tool (SCT)についても紹介を行いました。これらの検証結果を踏まえた移行計画の策定方法についても言及しました。

最後に、ここまで話してきた内容を総括し、本セッションを締めくくりました。

Netezza→Amazon Redshift 変化への瞬発力と日々の安定運用に向けて [slides]

株式会社ココカラファイン管理本部 IT・物流開発部 IT開発チーム
中川淳様

ココカラファイン社では、約1,400店舗の売上、仕入、在庫、アプリのログデータなどを各システムから連携してDWHに蓄積しております。同社中川様からは、このDWHついて、NetezzaからAmazon Redshiftへの移行の背景、工夫点、移行後から安定稼働するまでの課題、移行後3年運用した上での使用感について共有いただきました。

Netezzaからの移行の背景には、オンプレミスのDWHならではの運用負荷があったそうです。具体的には、1. ハード選定、データセンタ搬入、ラッキング、インストール作業などの初期構築時間・コスト、2. バックアップ処理にかかる時間、3. 障害発生から復旧までに必要な、ファームウェア更新や部品交換のためのシステム停止時間の長さ、4. ビジネス要件とシステムライフサイクルのタイミングの不一致、の4つだったそうです。

NetezzaからAmazon Redshiftに移行いただくにあたり、いくつか工夫された点についてお話しいただきました。まず、3TBものデータを一度に移行する必要があったため、エクスポートしてネットワーク経由でのS3アップロードでは時間がかかりすぎたため物理的なハードディスクを当社データセンタに持ち込むサービス、AWS Snowballをお使いいただきました。また、NetezzaとAmazon Redshiftを並行稼動する時期を設けていただき、その間テーブル毎に件数と合計、サンプリングチェックを行っていただくことで、システムおよび業務における不具合発生のリスクを抑えていただきました。最後に、NetezzaとAmazon Redshiftの間でわずかに発生するクエリ修正のTIPSも共有いただきました。

移行後直後は、セッションの滞留によるクラスタの再起動（これは当時の事象で、現在は改善されている点）や、参照されているVIEWの元TABLEをDROPしようとすることによるエラーが発生していました。これらについて、夜間のバッチ処理の直前にabort sessionをするようにし、不要なセッションを消すことで不具合を解決されたそうです。また、それ以外にも性能を安定させるため、BIツールとDBのキャッシュを活用されたとのことでした。

ココカラファイン社にてAmazon Redshiftを3年運用されてみて、1. ハードウェア障害に関するリスク・コストを考慮する必要がなくなったこと、2. オンプレミスDWHでは時間に伴い性能が劣化したがAmazon Redshiftではアップデートによりむしろ性能が改善されたこと、3. ビジネス要件に応じて柔軟に構成変更できること、をメリットと感じていただいているようでした。

最後に、今後のAmazon Redshiftのさらなる活用として、Amazon Redshiftの次世代インスタンスタイプ、RA3に興味を持っていただいているお話をしていただきました。

DWH Migration Program のご紹介 [slides]

アマゾンウェブサービスジャパン株式会社シニアソリューションアーキテクト
大薗純平

大薗からは、DWH Modernization, DWHのマイグレーションのプロジェクトの進捗を大きく妨げうる、アセスメントからPOCまでの間のギャップと、当社ソリューションアーキテクトにてそのギャップを埋めより精度の高い移行計画の作成を支援する、DWH Migration Programについて紹介しました。

DWH Migration Programでは、1. アセスメント、2. ワークショップ、3. POCの3つのフェーズに分け、ご支援させていただきます。アセスメントフェーズでは、現行DWHおよび周辺システム試算に関するアセスメントにより現状を把握します。ワークショップフェーズでは、アセスメント結果を元に、移行リスクやPOC項目を洗い出すためのディスカッションをワークショップ型式で行います。そして実際のPOCでは、ワークショップのアウトプットをもとにお客様でのPOCの計画と実行を支援します。

また、本セッションでは3つのフェーズにおいてそれぞれお客様の中で参加いただきたい方のロールと、プログラムの中で弊社が提供できるコンテンツについてもご紹介いたしました。

データウェアハウスの移行で不安や懸念がある場合は、ぜひDWH Migration Programをご活用いただきたい旨のメッセージで、本セッションを締めくくりました。

APNプログラムのご紹介 [slides]

アマゾンウェブサービスジャパン株式会社パートナーソリューションアーキテクト
大林加奈子

大林からは、AWS上で革新的なビジネス構築を志向する企業のために、ビジネス・技術・マーケティング・市場開拓の面で支援を提供する、AWS パートナーネットワーク (APN) をご紹介するとともに、APN プログラムのうち、お客さまが安心して任せられるパートナー選びをサポートするプログラムである AWS コンピテンシープログラムおよび AWS サービスデリバリー／サービスレディプログラムについてご紹介しました。

AWS コンピテンシープログラムは AWS を活用した構築能力やソリューションの適合性、優位性を監査し認定するプログラムで、お客様の業種やサービスにより、2020年6月現在で26種類のプログラムで構成されています。今回はAmazon Redshift関連ということで、データと分析コンピテンシーについてご紹介しました。

APN コンサルティングパートナー向けデータと分析コンピテンシーは、APN パートナーが規模を問わずデータを効率的に処理するためのツール、手法、技術の評価と使用においてお客さまを適切にサポートしてきた実績を評価し認定するプログラムとなっており、認定には、1. 事例4件（うち公開事例が2件以上）、2. 関連する1つ以上の AWS サービスデリバリープログラムの認定取得、3. 50項目以上の技術要件のクリアが主な要件となります。

AWS サービスデリバリープログラムは、APN コンサルティングパートナーの AWS の各種サービスをデリバリーする能力を評価し認定するプログラムで、Amazon Redshiftについては2020年6月現在、日本のパートナーでは9社が認定を受けております。認定には、1. 事例2件以上、2. 25項目以上の技術要件のクリアが主な要件となります。

AWS サービスレディプログラムは、AWS サービスにインテグレーションされた APN テクノロジーパートナーのソリューションを検証し認定するために新規に開設されたプログラムで、Amazon Redshift もその対象となっていることを紹介しました。

最後に、お客様が AWS パートナーを見つけるためのポータルサイトである AWS パートナーソリューションファインダーについてご紹介し、本セッションを締めくくりました。

某金融機関様向け顧客情報分析基盤におけるRedshift活用事例

SCSK株式会社基盤サービス事業本部クラウド基盤サービス部
安彦洋樹様

本セッションではSCSK社安彦様より、顧客情報分析基盤を、Amazon Redshift を中心に DataLake はS3、その他主要 AWS サービスとして EC2、RDS、KMS、CloudWatch 等を用いて構築した際の事例について、実際にプロジェクトの中で問題となったポイント（パフォーマンス、運用、移行等）を中心に紹介いただきました。

まずは、個々のデータが多数のシステム散在しているためデータの管理負荷が高く、また総量も見積もりづらいという状況下で、データを一元管理すべく、さらにはデータの総量に応じて柔軟に構成を検討できるという点からAmazon RedshiftへのDWHモダナイゼーションを行った、というお話をいただきました。

その上で、Amazon Redshift構築の上でパフォーマンスを出すためのTIPS（分散キー設定の重要性、Workload Managementの設定、列指向を意識したクエリの書き方等）と、Amazon Redshiftへの移行にあたってのTIPS（主キーに対するAmazon Redshiftの仕様のご説明、ロードファイルの内部スライス数を意識した分割等）を共有いただきました。

最後に、Amazon Redshift移行プロジェクトから得た教訓と、Amazon Redshiftで良かった点を総括として、本セッションを締めくくっていただきました。

Amazon Japanにおける Amazon Redshift 最適化の事例紹介

アマゾンジャパン合同会社輸送企画統括部
山本雄介様

本セッションでは、Amazon Japan 山本様より、Oracle で運用していた DWH を Amazon Redshift に移行した際の体験談についてお話いただきました。S3データレイク、Amazon Redshift を中心とした Amazon Japan でのデータ環境をご紹介いただいた上で、1. 運用体制、2. 移行後のAmazon Redshiftで起きていたパフォーマンスの課題、課題をどう深掘りしたか、3. 課題をどう解決したか、また苦労した点、4. パフォーマンスの改善結果とAmazon Redshiftの現状、5. 今後試そうとしているAmazon Redshiftの新機能、についてご紹介いただきました。

まずは最初に、Redshiftに移行したことにより、これまで1～2時間かかっていたクエリが数分で完了したこと、またこのパフォーマンス改善の副次的な効果として分析対象のデータを拡大した、以前では実行できていなかったクエリが実行可能になったことについて、ご紹介いただきました。

一方で、Redshift移行直後、Jobが滞留するという課題に直面されたそうです。そこで暫定対策として、ノードの追加等いくつか手を打ったのですが、結局改善されなかった、とのことでした。

恒久対処のために、原因分析をされたそうです。結果問題だったこととして、一部のクエリによるディスク逼迫、S3からのCOPYの滞留、不要Job、ノード間偏りがあったこと、などがわかったそうです。

解決策として、不要Jobの整理、Workload Management (WLM)によるクエリのAbort処理の導入、Redshift Spectrumの活用、Amazon Redshift Advisorを使った分散キー、ソートキーの見直し等を実行されたとのことでした。結果、パフォーマンスが大幅に改善されたそうです。

Redshiftにはさまざまな機能があり解決策を簡単に実行できる一方で、社内システムならではの、ユーザ部門との調整の難しさもご共有いただけました。最後に、今後はAmazon Redshiftをさらに活用するために新機能についても試されたい、とのメッセージで本セッションを締めくくっていただきました。

まとめ

今回は、既存のオンプレミスDWHから Amazon Redshift へ移行したお客様、パートナー様より、貴重な生の体験談をお話しいただきました。Amazon Redshift への移行に興味を持っていただいたお客様、また Amazon Redshift に限らず、AWS のサービスを利用することをご検討いただいているお客様がいらっしゃいましたら、無料で個別相談会を開催しておりますので、こちらのリンクからぜひお申し込みください。

Amazon Web Services ブログ