投稿日: Apr 27, 2023
本日、Amazon OpenSearch Service が Amazon OpenSearch Ingestion を発表しました。これは、OpenSearch が管理するクラスターやサーバーレスコレクションにインデックスを付ける前に、ペタバイト規模のデータを取り込んで処理できる、新しいフルマネージド型のデータインジェストティアです。OpenSearch Ingestonを使用すると、OpenSearchでインデックス化する前に、データのフィルタリング、変換、編集、ルーティングをコードなしで実行できます。OpenSearch Ingestion は、基盤となるリソースを自動的にプロビジョニングおよびスケーリングするものであり、最も要求が厳しく予測不可能なワークロードもこの例外ではありません。
OpenSearch Ingeston は、OpenSearch Data Prepper を利用しており、これはテレメトリデータ (ログ、分散トレース、メトリクス) を前処理して OpenSearch での分析と視覚化に備えるためのオープンソースのデータパイプラインです。OpenSearch Ingeston は、自己管理型の Logstash やその他のストリーミングデータパイプラインの代わりに使用することができます。OpenSearch Ingeston はフルマネージド型のサーバーレスサービスであるため、適切なインスタンスタイプの選択、セキュリティパッチの適用、データ量の変動を最適化するためのノードの追加や削除など、データインジェストのためのマルチノードクラスターの管理の複雑さが解消されることで、チームはより重要な作業に集中できます。
OpenSearch Ingestion を使い始めるには、AWS マネジメントコンソールでパイプラインを作成し、ソース、プロセッサ、ターゲットクラスターまたはコレクションを定義します。また、最も一般的な取り込みユースケースのブループリントから始めることもできます。
OpenSearch Ingestion は現在、米国東部 (オハイオ)、米国東部 (バージニア北部)、米国西部 (オレゴン)、米国西部 (北カリフォルニア)、欧州 (アイルランド)、欧州 (ロンドン)、欧州 (フランクフルト)、アジアパシフィック (東京)、アジアパシフィック (シドニー)、アジアパシフィック (シンガポール) の AWS リージョンで利用可能です。
詳細については、Amazon OpenSearch Ingestion のウェブページ、および Amazon OpenSearch Service 開発者ガイドをご覧ください。