Amazon OpenSearch Ingestion 现在支持从 Amazon MSK 无服务器摄取流数据

发布于: 2024年6月6日

Amazon OpenSearch Ingestion 现在允许您从 Amazon Managed Streaming for Apache Kafka (MSK) 无服务器中提取流数据，从而无需任何第三方数据连接器即可将来自 Amazon MSK 无服务器集群的数据无缝索引到 Amazon OpenSearch Service 托管集群或无服务器集合中。通过这种集成，您现在可以使用 Amazon OpenSearch Ingestion 对从 Amazon MSK 无服务器提取的数据执行近乎实时的聚合、采样和异常检测，从而帮助您构建高效的数据管道，为复杂的可观测性和分析使用案例提供支持。

Amazon OpenSearch Ingestion 管道可以使用 Amazon MSK 无服务器集群中一个或多个主题的数据，并在将数据写入 Amazon OpenSearch Service 或 Amazon S3 之前对其进行转换。通过 Amazon OpenSearch Ingestion 从 Amazon MSK 无服务器读取数据时，您可以配置每个主题的消费者数量，并针对高优先级和低优先级数据调整不同的提取参数。此外，您还可以选择使用 AWS Glue Schema Registry 来指定您的数据架构，以便在采集时动态读取自定义数据架构。

此功能适用于目前提供 Amazon OpenSearch Ingestion 和 Amazon MSK 无服务器的所有 13 个 AWS 商业区域：美国东部（俄亥俄州）、美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（法兰克福）、亚太地区（东京）、亚太地区（新加坡）、亚太地区（孟买）、亚太地区（首尔）、加拿大（中部）和欧洲地区（斯德哥尔摩）。

要了解更多信息，请参阅 Amazon OpenSearch Ingestion 网页和 Amazon OpenSearch Service 开发人员指南。