Category: Amazon OpenSearch Service

12 月 1 日、Amazon OpenSearch Service と Amazon Security La […]

12 月 1 日、Amazon Web Services (AWS) は、Amazon CloudWatch […]

本日、Amazon Bedrock Knowledge Bases と Amazon OpenSearch Serverless における Amazon Titan Text Embeddings V2 用のバイナリ埋め込みの提供開始を発表できることを嬉しく思います。Amazon Bedrock でのバイナリ埋め込みと OpenSearch Serverless でのバイナリベクトルストアのサポートにより、Amazon Bedrock Knowledge Bases でバイナリ埋め込みとバイナリベクトルストアを使用した Retrieval Augmented Generation (RAG) アプリケーションを構築し、メモリ使用量と全体的なコストを削減することができます。

本記事では、アクロクエストテクノロジー社の DocCollector を利用して Box 内のデータを AWS に取り込み、生成 AI アプリケーション開発のためのサービスである Amazon Bedrock を活用した RAG システムを構築する具体的な方法について解説します。

AWS ニュースブログは 20 周年を迎えました🎉🥳🎊! 2004 年 11 月 9 日、Jeff Barr […]

Amazon OpenSearch Service は、複数のデータソースにわたる包括的な可観測性を実現する、最新の運用分析機能をリリースしました。これにより、OpenSearch や他の統合されたデータソースから一括でインサイトを得ることができます。このリリースでは、メジャーなユースケースに合わせた体験を提供し、アクセス制御をサポートする OpenSearch Workspaces も導入されました。これにより、ユースケースに応じたプライベートスペースを作成し、コラボレーターだけと共有することが可能です。次世代のユーザーインターフェース（UI）では、Discover 機能が改善され、インタラクティブな分析が簡素化されました。自然言語クエリ生成などの機能を利用して、簡単にデータからインサイトを得ることができます。

Amazon OpenSearch Service は、アプリケーション監視、ログ分析、オブザーバビリティ、Web サイト検索などのユースケースで、ビジネスデータや運用データのリアルタイム検索、監視、分析を安全に実現にします。

この記事では、2023 年 11 月 29 日に導入された、OpenSearch 最適化インスタンスタイプ OR1 について検討します。

OR1 は Amazon OpenSearch Service のインスタンスタイプで、大量のデータを保存するためのコスト効率の高い方法を提供します。OR1 インスタンスを使用するドメインでは、Amazon Elastic Block Store (Amazon EBS) ボリュームをプライマリストレージとして使用し、データが書き込まれるとすぐに Amazon Simple Storage Service (Amazon S3) に同期的にコピーされます。OR1 インスタンスは、高い耐久性と共に、インデックス作成スループットが向上します。

OR1 の詳細については、紹介ブログ記事をご覧ください。

インデックスに対して書き込みを行っている間は、レプリカを 1 つ維持することをお勧めします。ただし、ロールオーバー後にインデックスに対する書き込みが行われなくなった後は、レプリカを 0 に切り替えることができます。

これは、データが Amazon S3 に永続化されているため、安全に行えます。

ノードの障害と交換が発生した場合、データは Amazon S3 から自動的に復元されますが、修復操作中は一部利用できなくなるため、アクティブに書き込まれていないインデックスの検索に高可用性が必要な場合は、この機能を使用しないでください。

サーバーログ、サービスログ、アプリケーションログ、クリックストリーム、イベントストリームなどの時間制限のあるデータに Amazon OpenSearch Service を使用する場合、ストレージコストはソリューション全体のコストの主要な要因の 1 つです。昨年、OpenSearch Service では、ログデータを様々な階層に保存できる新機能がリリースされ、データの待機時間、耐久性、可用性のトレードオフが可能になりました。2023 年 10 月、OpenSearch Service は最大 30TB の NVMe SSD ストレージを備えた im4gn データノードのサポートを発表しました。2023 年 11 月、OpenSearch Service は OpenSearch 最適化インスタンスファミリー or1 を導入し、社内ベンチマークで既存インスタンスに比べ最大 30% のパフォーマンス価格比の改善を実現し、Amazon Simple Storage Service (Amazon S3) を使用してイレブンナインの耐久性を提供しました。最後に、2024 年 5 月、OpenSearch Service は Amazon OpenSearch Service と Amazon S3 の zero-ETL 統合 の一般提供を発表しました。これらの新機能は、既存の UltraWarm インスタンス (GB あたりのストレージコストを最大 90% 削減) と、UltraWarm のコールドストレージ オプション (UltraWarm インデックスを分離し、アクセス頻度の低いデータを Amazon S3 に永続的に保存できる) に加わります。

Amazon OpenSearch Serverless の今までより安価な新しいエントリーコストを発表できることを喜ばしく思います。
インデクシングと検索のワークロードに対して 0.5 OpenSearch Compute Unit (OCU) がサポートされたことで、エントリーコストが半分になりました。

はじめに 2024 年 10 月 10 日、新聞・出版・メディア業界のお客様向けに、「AWS Media Se […]