发布于: Nov 22, 2023
OpenSearch 服务 2.11 现已具备 OpenSearch 神经稀疏检索功能。搜索从业者现在可以使用另一种搜索方法来改善语义理解,同时保持较低的计算成本和计算延迟,并且更符合词法搜索的要求。
神经稀疏检索是一种新型稀疏嵌入方法,在许多方面与经典的基于术语的索引类似,但可以更好地理解低频词和短语。神经稀疏检索使用基于转换器的模型(例如 GPT 或 BERT)来构建信息丰富的嵌入内容,能够以可扩展的方式解决词汇不匹配带来的词法问题。OpenSearch Service 提供的这项新的稀疏检索功能提供纯文档模式和双编码器模式,每种模式都有不同的优势。纯文档模式可以提供比词法搜索更低的延迟,但与密集方法相比,高级语法存在局限性。双编码器模式可以最大限度地提高搜索相关性,同时在更高的延迟下发挥效果。利用这一更新,用户现在可以选择最符合其性能、准确性和成本要求的方法。
Neural Sparse Retrieval 现已在所有提供 Amazon OpenSearch Service 的 AWS 区域推出。有关升级到 OpenSearch Service 2.11 的信息,请参阅文档。
要了解有关 Amazon OpenSearch Service 的更多信息,请访问产品页面。