Amazon MSK Express ブローカーが Intelligent Rebalancing をサポートし、操作パフォーマンスが 180 倍高速に

本記事は 2025年11月10日 に公開された「Amazon MSK Express brokers now support Intelligent Rebalancing for 180 times faster operation performance | AWS Big Data Blog」を翻訳したものです。

本日より、Amazon Managed Streaming for Apache Kafka (Amazon MSK) Provisioned クラスターで Express ブローカーを使用するすべての新規クラスターで、追加料金なしで Intelligent Rebalancing がサポートされます。この新機能により、Apache Kafka クラスターのスケールアップまたはスケールダウン時に自動的なパーティションバランシング操作を実行できます。Intelligent Rebalancing は、Express ブローカーを使用する Amazon MSK クラスターの Kafka リソースを最適にリバランスすることで、キャパシティ使用率を最大化し、パフォーマンスを向上させます。これにより、パーティションを個別に管理したり、サードパーティツールを使用したりする必要がなくなります。Amazon MSK Express ブローカーの Intelligent Rebalancing は、Standard ブローカーと比較して最大 180 倍高速にこれらの操作を実行します。

Amazon MSK Express ブローカーは、使いやすさ、クラス最高の価格性能比、予測可能な可用性を実現するために Apache Kafka を再設計し、2024年11月にリリースしました。Amazon MSK Express ブローカーは、Apache Kafka を実行する Standard ブローカーと比較して、ブローカーあたり最大 3 倍のスループットを提供し、最大 20 倍高速にスケールし、復旧時間を 90% 短縮するように設計されています。リリース以降、Amazon MSK Express ブローカーを追加の AWS リージョンやインスタンスタイプに拡大し、最近では Express ブローカーあたりのパーティション数を 5 倍に増加し、パーティションに制約されるワークロードの価格性能比を最大 50% 向上させました。

Intelligent Rebalancing により、Amazon MSK Express ブローカークラスターは、クラスターパフォーマンスを最大化するためのインテリジェントな Amazon MSK のデフォルト設定に基づいて、リソースの不均衡や過負荷を継続的に監視されます。必要に応じて、クライアントがデータを生成および消費するためのクラスターの可用性に影響を与えることなく、ブローカーが効率的にスケールされます。お客様は、クラスター管理操作を簡素化しながら、Express ブローカー向け Amazon MSK Provisioned クラスターのスケーリングとパフォーマンスのメリットを最大限に活用できるようになりました。

この記事では、Intelligent Rebalancing 機能を紹介し、操作パフォーマンスを向上させる仕組みの例を示します。

Intelligent Rebalancing を使用するタイミング

Intelligent Rebalancing により、Amazon MSK Express ブローカーは、追加のツールや設定を必要とせずに、Kafka クラスターを管理およびスケールするための完全に自動化されたソリューションを提供するようになりました。Intelligent Rebalancing は、すべての新しい Amazon MSK Express ブローカークラスターでデフォルトで有効になっているため、常に有効にしておくことをお勧めします。Intelligent Rebalancing は、Amazon MSK のベストプラクティスを使用して、以下の状況で自動リバランシングをトリガーします。

• クラスターのスケールインとスケールアウト: お客様が Amazon MSK Express ブローカークラスターにブローカーを追加または削除すると、Intelligent Rebalancing は自動的にパーティションを再分散し、ブローカー間でリソース使用率のバランスを取ります。これにより、クラスターは最高のパフォーマンスで動作し続け、単一の更新操作でスケールインとスケールアウトが可能になります。
• 定常状態のリバランシング: 通常の運用中でも、Intelligent Rebalancing は Amazon MSK Express ブローカークラスターを継続的に監視し、リソースの不均衡やホットスポットを検出するとリバランシングをトリガーします。たとえば、パーティションの不均等な分散や偏ったトラフィックパターンにより特定のブローカーが過負荷になった場合、Intelligent Rebalancing は自動的にパーティションを使用率の低いブローカーに移動してバランスを回復します。

Intelligent Rebalancing の使用方法

Intelligent Rebalancing の威力を示すために、Amazon MSK Express ブローカークラスターでいくつかのテストを実行してみましょう。

スケーリングテスト: まず、3 つのブローカーを持つ Amazon MSK Express ブローカークラスターを作成します。次に、ワークロードの急激な増加をシミュレートするために、クラスターを 6 つのブローカーに急速にスケールアップし、その後 3 つのブローカーに戻します。Intelligent Rebalancing が有効になっていると、パーティションのリバランシングが 5〜10 分以内に完了し、クラスターがパフォーマンスを低下させることなく増加したスループットを維持できることがわかります。

RebalanceInProgress メトリクスを使用して、現在および過去のリバランシング操作を追跡できます。下の画像では、このリバランシング中にプロデューサー側のクライアントが影響を受けていないことも確認できます。

次に、トラフィックの大部分を単一のブローカーに向けることで、クラスターに不均衡を作成します。Intelligent Rebalancing がこの不均衡を数分以内に検出し、自動的にパーティションを再分散して、クラスターを最適な状態に復元することがわかります。

Intelligent Rebalancing 機能はホットスポットを検出し、影響を受けたパーティションを他のブローカーに自動的に再分散して、リソース使用率を最適化します。Intelligent Rebalancing がなければ、リソースの不均衡は持続し、パフォーマンスの問題やお客様による手動介入の必要性につながる可能性があります。

これらのテストは、Amazon MSK Express ブローカーの Intelligent Rebalancing により、さまざまなワークロード条件下でも一貫して高いパフォーマンスを維持しながら、Kafka クラスターをシームレスにスケールできることを示しています。

まとめ

Express ブローカーを使用する Amazon MSK Provisioned クラスター向けの Intelligent Rebalancing は、今後数週間にわたって Amazon MSK Express ブローカーがサポートされているすべての AWS リージョンで展開されています。この機能は、Express ブローカーを使用するすべての新しい Amazon MSK Provisioned クラスターで追加料金なしで自動的に有効になります。

開始するには、Amazon MSK コンソールにアクセスしてください。詳細については、Amazon MSK デベロッパーガイドを参照してください。

著者について

Swapna Bandla は、AWS のシニアストリーミングソリューションアーキテクトです。リアルタイムデータ処理と分析に関する深い理解を持ち、AWS Well-Architected のベストプラクティスに沿ったスケーラブルでクラウドネイティブなソリューションの設計においてお客様をサポートしています。Swapna は、組織がデータの可能性を最大限に引き出してビジネス価値を創出することを支援することに情熱を注いでいます。仕事以外では、家族との時間を大切にしています。

Masudur Rahaman Sayem は、AWS のストリーミングデータアーキテクトで、IT 業界で 25 年以上の経験があります。世界中の AWS のお客様と協力して、複雑なビジネス課題に対応する高度なデータストリーミングソリューションを設計・実装しています。分散アーキテクチャに強い関心と情熱を持ち、インターネット規模のエンタープライズグレードソリューションの設計に活かしています。

Shakhi Hali は、AWS の Amazon Managed Streaming for Apache Kafka (Amazon MSK) のプリンシパルプロダクトマネージャーです。お客様がリアルタイムデータからビジネス価値を生み出すことを支援することに情熱を注いでいます。MSK に参加する前は、Amazon S3 のプロダクトマネージャーでした。余暇には、旅行、料理、家族との時間を楽しんでいます。

この記事は Kiro が翻訳を担当し、ソリューションアーキテクト の 榎本 貴之 がレビューしました。