Amazon Managed Service for Apache Flink Blueprints を使用して、ワンクリックでエンドツーエンドのストリーミングパイプラインを構築します。詳細をご覧ください。
当社は、当社のサイトおよびサービスを提供するために必要な必須 Cookie および類似のツールを使用しています。当社は、パフォーマンス Cookie を使用して匿名の統計情報を収集することで、お客様が当社のサイトをどのように利用しているかを把握し、改善に役立てています。必須 Cookie は無効化できませんが、[カスタマイズ] または [拒否] をクリックしてパフォーマンス Cookie を拒否することはできます。
お客様が同意した場合、AWS および承認された第三者は、Cookie を使用して便利なサイト機能を提供したり、お客様の選択を記憶したり、関連する広告を含む関連コンテンツを表示したりします。すべての必須ではない Cookie を受け入れるか拒否するには、[受け入れる] または [拒否] をクリックしてください。より詳細な選択を行うには、[カスタマイズ] をクリックしてください。
Essential Cookie は、当社のサイトおよびサービスを提供するために必要であり、無効にすることはできません。通常、プライバシー設定の選択、サインイン、フォームへの入力など、サイトでのアクションに応じてのみ設定されます。
Performance Cookie は、お客様によるサイトの操作方法に関する匿名の統計を提供するため、サイトのエクスペリエンスとパフォーマンスを向上させることができます。承認された第三者は、当社に代わって分析を行う場合がありますが、データを独自の目的で使用することはできません。
Functional Cookie は、有用なサイト機能の提供、ユーザーの嗜好の記憶、関連コンテンツの表示に役立ちます。承認された第三者は、特定のサイト機能を提供するためにこれらのクッキーを設定する場合があります。これらのクッキーを許可しない場合、サービスの一部またはすべてが適切に機能しない可能性があります。
Advertising Cookie は、当社の広告パートナーによって当社のサイトを通じて設定され、関連するマーケティングコンテンツの配信に役立ちます。これらの Cookie を許可しないと、広告の関連性が低くなります。
一部の種類の Cookie をブロックすると、サイトの操作に影響する可能性があります。Cookie の設定は、このサイトのフッターにある [Cookie preferences] をクリックすることで、いつでも変更できます。当社および承認された第三者が Cookie をどのように使用しているかについては、「AWS Cookie Notice」をお読みください。
クロスコンテキスト行動広告を含む、AWS サイトやその他のプロパティでのお客様の興味に関連する広告を表示します。クロスコンテキスト行動広告では、1 つのサイトまたはアプリのデータを使用して、別の会社のサイトまたはアプリでお客様に対して広告を行います。
Cookie または同様のテクノロジーに基づく AWS のクロスコンテキスト行動広告を許可しない場合は、下の [許可しない] と [プライバシーに関する選択肢を保存] を選択するか、グローバルプライバシーコントロールなど、法的に認められた拒否シグナルが有効になっている AWS サイトにアクセスしてください。Cookie を削除したり、別のブラウザまたはデバイスからこのサイトにアクセスしたりした場合は、再度選択を行う必要があります。Cookie とその使用方法の詳細については、AWS Cookie クッキーに関する通知をお読みください。
その他すべての AWS クロスコンテキスト行動広告を許可しないようにするには、E メールでこのフォームに記入を行ってください。
AWS によるお客様の情報の取り扱い方法の詳細については、AWS プライバシー通知をお読みください。
Cookie の設定を保存できなかったため、現時点では不可欠な Cookie のみを保存します。
Cookie の設定を変更する場合は、AWS コンソールのフッターにあるリンクを使用して後でもう一度お試しください。問題が解決しない場合は、サポートにお問い合わせください。
Amazon Managed Service for Apache Flink Blueprints を使用して、ワンクリックでエンドツーエンドのストリーミングパイプラインを構築します。詳細をご覧ください。
Amazon Managed Service for Apache Flink では、データストリームを処理するためのオープンソースのフレームワークおよびエンジンである Apache Flink を使用して、ストリーミングデータをリアルタイムに変換および分析できます。Amazon Managed Service for Apache Flink は、Apache Flink ワークロードの構築と管理を簡素化し、アプリケーションを他の AWS のサービスとより簡単に統合できるようにします。
Amazon Managed Service for Apache Flink では、使用した分についてのみお支払いいただきます。自分でリソースをプロビジョニングする必要もなければ、初期費用もありません。アプリケーションの実行に使用された Kinesis 処理単位 (Kinesis Processing Unit、KPU) の数に基づいて時間あたりの課金が発生します。1 つの KPU は、1 vCPU のコンピューティングと 4 GB のメモリで構成されています。
Apache Flink アプリケーションの場合、オーケストレーションに使用された KPU がアプリケーションあたり 1 単位追加される方式で課金されます。また、アプリケーションは、ストレージや永続的バックアップに対しても課金されます。稼働アプリケーションストレージは Amazon Managed Service for Apache Flink のステートフル処理機能のために使用され、GB 単位で毎月課金されます。永続的バックアップは任意です。これはアプリケーションバックアップにポイントインタイムリカバリを与え、GB 単位で毎月課金されます。
ストリーミングモードでは、Amazon Managed Service for Apache Flink では、メモリやコンピューティングの要求が変動すると、ストリーミング処理アプリケーションによって必要とされる KPU の数を自動的に拡大縮小されます。必要な数の KPU でアプリケーションを プロビジョニングすることを選択できます。
インタラクティブモードでは、1 つの Studio アプリケーションにつき、2 つの追加 KPU が課金されます。1 つの KPU は、Apache Flink のアプリケーションオーケストレーションに、もう1 つの KPU は、サーバーレスのインタラクティブな開発環境に使用されています。また、ステートフルな処理機能に使用されるアプリケーションストレージの稼働にも課金されます。稼働アプリケーションストレージは、GB 単位で毎月課金されます。
Studio ノートブックにおける開発では、永続的アプリケーションバックアップを作成するオプションはありません。ただし、Studio ノートブックのアプリケーションを、インタラクティブモードからストリーミングモードにデプロイする場合、永続的アプリケーションバックアップを作成することができます。
アプリケーションに必要な KPU 数の正確な見積もりを得るには、本番負荷でアプリケーションをテストすることをお勧めします。KPU の使用は、データボリュームと速度、コードの複雑さ、統合などに基づいて大幅に異なる可能性があります。これは、Amazon Managed Service for Apache Flink で Apache Flink ランタイムを使用する場合に特に当てはまります。たとえば、内部テストを通じて、状態のない単純なアプリケーションでは KPU あたり数百 MB/1 秒のスループットが見られ、集約的な機械学習 (ML) アルゴリズムを使用する複雑なアプリケーションでは KPU あたり 1 MB 未満のスループットが見られました。これらの警告を念頭に置いた場合、アプリケーションをテストする前に提供する一般的なガイダンスは、KPU ごとに 1 MB/秒です。
Amazon Managed Service for Apache Flink Studio を使用して、Amazon Kinesis Data Streams でキャプチャされたストリーミングデータを継続的にフィルタリングし、興味のあるレコードのみを保持するものとします。レコードをリアルタイムで表示して視覚化する機能や、SQL や Python で簡単にクエリやプログラムを書き込む機能が求められています。永続的状態のバックアップは望んでいません。入力ストリームのスループットに基づいて、Studio ノートブックに 4 KPU をプロビジョニングします。Amazon Managed Service for Apache Flink の月額料金は、次のように計算されます。
月額料金
米国東部 (バージニア北部)リージョンでの料金は、ストリーミング処理アプリケーションに使用された KPU 時間あたり 0.11 USD となります。このシンプルなアプリケーションでは、4 KPU を使用して着信データストリームを処理します。Studio ノートブックのアプリケーション (例: インタラクティブモード) は、1 つのアプリケーションにつき 追加で 2 KPU の料金がかかります。KPU 月額料金 = 30日 × 24 時間 × ([4 KPU + 2 つの追加 KPU] × 0.11 USD/時間) = 475.20 USD
Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.10 USD/月で課金されます。
稼働アプリケーションストレージの月額料金 = 30日 × 24 時間 × 4 KPU × (50 GB × 0.10 USD/GB/月) = 20.00 USD
合計料金 = 475.20 USD + 20.00 USD = 495.20 USD
Amazon Managed Service for Apache Flink Studio を使用して、Amazon Managed Streaming for Apache Kafka (Amazon MSK) クラスター内のトピックで取得したストリーミングデータにスライディングウィンドウを構築しています。4 KPU の Studio ノートブックを 2 日間で 8 時間使用し、クエリの開発とテストを行います。開発後は、アプリケーションを、12 KPU のストリーミングアプリケーションとしてデプロイします。ストリーミングアプリケーションがデプロイされると、Studio ノートブックを停止します。ストリーミングアプリケーションは、永続的アプリケーション状態を使用することができ、永続的状態のバックアップを毎日作成します。
米国東部 (バージニア北部)リージョンでの料金は、ストリーミング処理アプリケーションに使用された KPU 時間あたり 0.11 USD となります。
月額料金
Amazon Managed Service for Apache Flink Studio のクエリの開発とテスト:
KPU の料金 = 2 日間 * 8 時間 * (4 KPU + Studio ノートブックのための追加の 2 KPU) * 0.11 USD/時間) = 10.56 USD
Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.10 USD/月で課金されます。
稼働アプリケーションのストレージ料金 = 2 日 × 8 時間 × 4 KPU × (50 GB × 0.10 USD/GB/月) = 0.44 USD
ストリーミングアプリケーションとしてデプロイし、継続的に実行し、アプリケーションのバックアップをとります。
KPU 料金 = 28 日 × 24 時間 × (2 KPU + ストリーミングアプリケーションのための 1 つの追加 KPU) × 0.11 USD/時間) = 221.76 USD
Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.121 USD/月で課金されます。
稼働アプリケーションのストレージ料金 = 28 日 × 24 時間 × 2 KPU × (50 GB × 0.10 USD/GB/月) = 9.33 USD
永続的アプリケーションストレージ料金 = 28 * × (1 MB/バックアップ * 1 GB/1,000 MB) * 0.023/GB/月 = 0.01 USD (最も近いペニーに切り上げられます)
合計料金 = 10.56 USD + 0.44 USD + 221.76 USD + 9.33 USD + 0.01 USD = 242.10 USD
Amazon Managed Service for Apache Flink の Apache Flink アプリケーションを使用して、Kinesis Data Streams でキャプチャされたログデータを Amazon Simple Storage Service (Amazon S3) に継続的に変換して配信します。ログデータは、さまざまなログイベントへのスキーマの適用、イベントのタイプ別のデータのパーティション化、タイムスタンプでのデータ分類、配信前の 1 時間分のデータのバッファリングなど、いくつかの演算子を使用して変換されます。アプリケーションには多くの変換ステップがありますが、計算集約的ではありません。このストリームは、1 日に 12 時間 2,000 レコード/秒でデータを取り込み、1 日あたり 12 時間 8,000 レコード/秒に増加します。永続的アプリケーションバックアップを作成しません。Amazon Managed Service for Apache Flink の月額料金は、次のように計算されます。
月額料金
米国東部 (バージニア北部)リージョンでの料金は、KPU 時間あたり 0.11 USD となります。Amazon Managed Service for Apache Flink では、KPU ごとに 50 GB の稼働アプリケーションストレージが割り当てられ、GB 単位で毎月 0.10 USD が課金されます。
大量のワークロード: 大量のワークロードを処理する必要がある 12 時間、Amazon Managed Service for Apache Flink アプリケーションは 8,000 件のレコード/秒を処理し、最大 8 KPU まで自動的にスケールアップします。作業負荷が大きい場合、Amazon Managed Service for Apache Flink アプリケーションは、スループットが 6 時間低下した後にアプリケーションをスケールダウンします。このアプリケーションは、1 日に合計 18 時間、8 KPU までスケールアップされています。
30 日/月 * 18 時間/日 = 540 時間/月
KPU 月額料金 = 540 時間/月 × 8 KPU × 0.11 USD/時間 = 475.20 USD
稼働アプリケーションストレージの月額料金 = 540 時間/月 × 8 KPU × 50 GB/KPU × 0.10 USD/GB/月 = 30.00 USD
KPU とストレージの月額料金 = 475.20 USD + 30.00 USD = 505.20 USD
少量のワークロード: ワークロードが少量である残りの 6 時間、Amazon Managed Service for Apache Flink アプリケーションは 2,000 件のレコード/秒を処理し、自動的に 2 KPU にスケールダウンします。
30 日/月 * 6 時間/日 = 180 時間/月
KPU 月額料金 = 180 時間/月 × 2 KPU × 0.11 USD/時間 = 39.60 USD
稼働アプリケーションストレージの月額料金 = 180 時間/月 × 2 KPU × 50 GB/KPU × 0.10 USD/GB/月 = 2.50 USD
KPU とストレージの月額料金 = 39.60 USD + 2.50 USD = 42.10 USD
各 Apache Flink アプリケーションでは、アプリケーションごとに使用された追加の KPU 時間に基づいて課金されます。
月額料金 = 30 * 24 * 1 KPU * 0.11 USD/時間 = 79.20 USD
合計料金 = 505.20 USD + 42.10 USD + 79.20 USD = 626.50 USD
Amazon Managed Service for Apache Flink Studio を使用して、Amazon Managed Streaming for Apache Kafka (Amazon MSK) クラスター内のトピックで取得したストリーミングデータにスライディングウィンドウを構築しています。クエリの開発とテストには、月の最初の日の 10 時 30 分に開始する、4 KPU の Studio ノートブックを使用します。開発後、17 時に、アプリケーションを 2 KPU のストリーミングアプリケーションとしてデプロイします。ストリーミングアプリケーションがデプロイされてから 1 時間後の 18 時に、Studio ノートブックを停止します。ストリーミングアプリケーションは、永続的アプリケーション状態を使用することができ、永続的状態のバックアップを毎日作成します。
米国東部 (バージニア北部)リージョンでの料金は、ストリーミング処理アプリケーションに使用された KPU 時間あたり 0.11 USD となります。
月額料金
Amazon Managed Service for Apache Flink Studio を使用したクエリの開発とテスト:
Studio アプリケーションは、該当の月に 450 分間実行されます (最初の日の 10 時 30 分~18 時)。
KPU の料金 = 450 分間 * (4 KPU + Studio ノートブックのための追加の 2 KPU) * 0.11 USD/時間) = 4.95 USD
Apache Flink アプリケーションは、KPU ごとに 50 GB の実行中のアプリケーションストレージを使用し、Studio ノートブックアプリケーションのために追加で 50 GB の実行中のストレージを使用します。US-East-1 では、0.10 USD/GB/月が課金されます。
実行中のアプリケーションストレージの料金 = 450 分間 * (4 KPU + Studio ノートブックのための追加の 1 KPU) * (50 GB * 0.10 USD/GB-月) = 0.26 USD
ストリーミングアプリケーションとしてデプロイし、継続的に実行し、アプリケーションのバックアップをとります。
ストリーミングアプリケーションは、該当の月内に 703 時間実行されます (初日の 17 時から)
KPU の料金 = 703 時間 * (2 KPU + ストリーミングアプリケーションのための追加の 1 KPU) * 0.11 USD/時間) = 231.99 USD
Apache Flink アプリケーションは、KPU あたり 50 GB の稼働アプリケーションストレージを使用し、米国東部-1 では GB あたり 0.121 USD/月で課金されます。
実行中のアプリケーションのストレージ料金 = 703 時間 * 2 KPU * (50 GB * 0.10 USD/GB-月) = 9.76 USD
永続的アプリケーションストレージ料金 = 703 時間 * (1 MB/バックアップ * 1 GB/1,000 MB) * 0.023 USD/GB-月 = 0.01 USD (セント単位で四捨五入されます)
合計料金 = 4.95 USD + 0.26 USD + 231.99 USD + 9.76 USD + 0.01 USD = 246.97 USD