Amazon EMR の Amazon S3 上の Apache HBase への移行: ガイドラインとベストプラクティス

このブログ記事では HDFS 上の Apache HBase から、Amazon EMR の Amazon S3 上の Apache HBase に移行する方法のガイダンスとベストプラクティスについて解説します。

Amazon EMR の Amazon S3 上の Apache HBase

Amazon EMR のバージョン 5.2.0 以降では、Amazon S3 上で Apache HBase を実行できます。Apache HBase のデータストアとして Amazon S3 を使用することにより、クラスターのストレージとコンピューティングノードを分割できます。コンピューティング要件のためにクラスターのサイジングをすることになるので、コスト削減につながります。クラスター上の HDFS に 3 倍のレプリケーションでデータセット全体をストアするために料金を払うわけではありません。

多くのお客様が データストレージのために Amazon S3 上で Apache HBase を実行するという長所を利用してきました。コストの削減、データの耐久性、より効率的なスケーラビリティなども、この長所に含まれます。金融取引業規制機構 (FINRA) などのカスタマーは、Apache HBase を Amazon S3 アーキテクチャに移行することで、60% のコスト削減を達成しました。コンピューティングからストレージを切り離し、ストレージレイヤーとして Amazon S3 を使用した結果、運用上のメリットも見られました。

Amazon EMR の Amazon S3 上の Apache HBase に移行するためのホワイトペーパー

このホワイトペーパーでは、移行のステージについて順を追って解説しています。また、Amazon EMR 上の Amazon S3 の Apache HBase を選ぶタイミングの決定、プラットフォームセキュリティの計画、アプリケーション SLA をサポートするための Apache HBase および EMRFS のチューニング、データの移行および復元のオプションの特定、本番環境でのクラスターの管理などにも役立ちます。

詳細については、Amazon EMR の Amazon S3 上の Apache HBase に移行するためのホワイトペーパーを参照してください

その他の参考資料

この投稿が参考になった場合は、Setting up Read Replica Clusters with HBase on Amazon S3 および Tips for Migrating to Apache HBase on Amazon S3 from HDFS もぜひご覧ください。

今回のブログ投稿者について

Francisco Oliveira は AWS プロフェッショナルサービスのシニアビッグデータエンジニアです。オープンソーステクノロジーと AWS を使用したビッグデータソリューションの構築に力を注いでいます。余暇には、新しいスポーツに挑戦したり、旅行や国立公園に出かけたりします。