亚马逊AWS官方博客
Amazon Elasticsearch Service 现更名为 Amazon OpenSearch Service 并支持 OpenSearch 1.0
2015 年,我们推出了 Amazon Elasticsearch Service (Amazon ES),它是一项完全托管式服务,可让您轻松执行交互式日志分析、实时应用程序监控、网站搜索等。
Amazon ES 一直是一项受欢迎的日志分析服务,因为它能够提取大量日志数据。此外,借助 UltraWarm 和冷存储层,您在 Amazon ES 上可以将成本降低到传统热存储的十分之一。由于 Amazon ES 与 Logstash、Amazon Kinesis Data Firehose、Amazon CloudWatch Logs 和 AWS IoT 集成,您可以选择符合使用案例要求的安全数据提取工具。
开发人员之所以接受开源软件,原因有很多。最重要的原因之一是能够自由地以想要的方式在想要的位置使用该软件。2021 年 1 月 21 日,Elastic NV 宣布他们将变更软件许可策略。在 Elasticsearch 版本 7.10.2 和 Kibana 7.10.2 之后,他们将不会根据宽松的 Apache 许可证 2.0 版本(Alv2)发布 Elasticsearch 和 Kibana 的新版本。相反,Elastic NV 根据 Elastic 许可证发布 Elasticsearch 和 Kibana,源代码根据 Elastic 许可证或 Server Side Public License (SSPL) 提供。这些许可证不是开源的,不为用户提供同样的自由。
出于这个原因,我们决定创建和维护 OpenSearch,它是一个社区推动的开源分叉,来自 Elasticsearch 和 Kibana 的最后一个 Alv2 版本。我们正对 OpenSearch 项目和近期发布的 1.0 版本进行长期投资。
OpenSearch 提供了一个高度可扩展的系统,通过集成的可视化工具 OpenSearch 控制面板,可以快速访问和响应大量数据,使用户能够轻松浏览其数据。OpenSearch 和 OpenSearch 控制面板最初来自 Elasticsearch 7.10.2 和 Kibana 7.10.2。与 Elasticsearch 和 Apache Solr 一样,OpenSearch 由 Apache Lucene 搜索库提供支持。
推出 Amazon OpenSearch Service
今天,我们将 Amazon Elasticsearch Service 重命名为 Amazon OpenSearch Service,因为该服务现支持 OpenSearch 1.0。虽然名称改变,但我们将继续提供相同的体验,而不会对正在进行的运维、开发方法或商业性使用产生任何负面影响。
Amazon OpenSearch Service 提供了一系列可供部署和运行的开源引擎,包括当前可用的 19 个版本的 Alv2 Elasticsearch(包括 7.10 及更早版本)以及 OpenSearch 1.0。我们将继续支持和维护 Alv2 Elasticsearch 版本,包括提供安全和错误修复。我们将通过 OpenSearch 和 OpenSearch 控制面板提供全新的特性和功能。Amazon OpenSearch Service API 将与现有的服务 API 向后兼容,因此,您无需更新当前的客户端代码或应用程序。我们将使 OpenSearch 的客户端与开源兼容。
要开始使用,请在 AWS 管理控制台中选择 Create a domain(创建域)。在步骤 1:选择部署类型中,选择 OpenSearch 1.0(最新版本)。
如果您要部署新集群并访问最新功能和增强功能,我们建议使用 OpenSearch 1.0。OpenSearch 1.0 与开源 Elasticsearch 7.10 API 和大多数客户端兼容。
升级到 OpenSearch 1.0
Amazon OpenSearch Service 提供从现有 Elasticsearch 6.x 和 7.x 托管式集群到 OpenSearch 的无缝就地升级路径。要在 AWS 管理控制台中将域升级到 OpenSearch 1.0,请选择要升级的域,选择 Actions(操作),然后选择 Upgrade domain(升级域)。
接下来,您可以从现有域中选择要升级到 OpenSearch 1.0 的版本,而无需创建单独的域并迁移数据。
升级过程不可逆,也无法暂停或取消。在升级期间,您无法更改域的配置。在开始升级之前,您可以选择 Check upgrade eligibility(检查升级资格)来执行升级前检查,发现可能阻碍升级的问题,并拍摄集群的快照。
Amazon OpenSearch Services 开始升级,完成升级可能需要 15 分钟到几个小时。要了解详情,请参阅 Amazon OpenSearch Service 开发人员指南中的升级 Elasticsearch 和 服务软件升级。
OpenSearch 的功能
OpenSearch 提供了以下功能,开源 Elasticsearch 之前不具备这些功能。
功能 | 描述 |
高级安全 | 提供加密、身份验证、授权和审计功能。包括与 Active Directory、LDAP、SAML、Kerberos、JSON web token 等的集成。OpenSearch 还提供对索引、文档和字段的基于角色的精细访问控制。 |
SQL 查询语法 | 提供熟悉的 SQL 查询语法。使用聚合、分组依据和 where 子句调查您的数据。以 JSON 文档或 CSV 表的形式读取数据,使您能够灵活采用最适合的格式。 |
报告 | 计划、导出和共享来自控制面板的报告、保存的搜索、警报和可视化内容。 |
异常检测 | 使用基于随机森林 (RCF) 算法的机器学习异常检测功能,在数据被提取时自动检测异常。与警报结合使用,近乎实时地监控数据并自动发送警报通知。 |
索引管理 | 定义自定义策略来自动执行例行的索引管理任务,例如滚动和删除、将它们应用于索引和索引模式,以及转换。 |
Performance Analyzer 和 RCA 框架 | 查询大量的集群性能指标和聚合。使用 PerfTop 命令行界面 (CLI) 快速显示和分析这些指标。使用根本原因分析 (RCA) 框架调查集群中的性能和可靠性问题。 |
异步搜索 | 运行复杂的查询,而不必担心在后台运行的异步搜索查询会超时。跟踪查询进度并检索可用的部分结果。 |
跟踪分析 | 为分布式应用程序提取和可视化 OpenTelemetry 数据。可视化这些应用程序之间的事件流,以识别性能问题。 |
警报 | 自动监控数据并向利益相关者发送警报通知。通过直观的界面和强大的 API,可轻松设置、管理和监控警报。使用 OpenSearch 完整的查询语言和脚本功能创建非常具体的警报条件。 |
k-NN 搜索 | 使用机器学习可以对成千上万个维度的数十亿文档运行最近邻搜索算法,与普通的 OpenSearch 查询一样轻松。使用聚合和筛选子句进一步优化相似性搜索操作。K-NN 相似性搜索为产品建议、欺诈侦测、图像和视频搜索、相关文档搜索等使用案例提供支持。 |
竖线分隔的处理语言 | 提供熟悉的查询语法来查询数据,其中包含一组由竖线 (|) 分隔的命令。 |
控制面板笔记本 | 将控制面板、可视化、文本等结合起来,在分析数据时提供上下文和详细说明。 |
OpenSearch 1.0 提供三项新功能,而 Amazon OpenSearch Service 支持的现有 Elasticsearch 版本不具备这些功能,它们分别是:OpenSearch 控制面板中的 Transforms(转换)、Data Streams(数据流)和 Notebooks(笔记本)。
为了与 OpenSearch 社区互动,我们欢迎通过 GitHub 提出拉取请求,以修复错误、提高性能和稳定性或添加新功能。您可以在 OpenSearch 社区论坛中留下反馈。
现已推出
从今天开始,Amazon Elasticsearch Service 在所有 AWS 区域重命名为 Amazon OpenSearch Service。有关更多信息,请参阅 Amazon OpenSearch Service 页面。
您可以发送反馈至 Amazon OpenSearch Service 的 AWS 论坛,或通过 AWS Support 联系人发送反馈。
– Channy