Elasticsearch:使用 semantic_text 进行语义搜索

2024-08-23 23:52

本文主要是介绍Elasticsearch:使用 semantic_text 进行语义搜索,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

警告:截止 8.15 版本,此功能处于测试阶段,可能会发生变化。设计和代码不如官方 GA 功能成熟,并且按原样提供,不提供任何保证。测试版功能不受官方 GA 功能的支持 SLA 约束。

本教程向你展示如何使用 semantic text 功能对数据执行语义搜索。

语义文本通过在提取时提供推理并自动提供合理的默认值来简化推理工作流程。你无需定义与模型相关的设置和参数,也无需创建推理提取管道。

在 Elastic Stack 中使用 semantic search 的推荐方法是遵循 semantic_text 工作流程。当你需要更好地控制索引和查询设置时,你仍然可以使用完整的推理工作流程(请参阅本教程以查看该过程)。

本教程使用 elser service 进行演示,但你可以使用 inference API 提供的任何服务及其支持的模型。

要求

要使用 semantic_text 字段类型,你必须使用 Create inference API 在集群中部署推理端点。如果你还不知道如何部署 ELSER 到你的集群里,请参考文章 “Elasticsearch:部署 ELSER - Elastic Learned Sparse EncoderR”。

更多阅读:Elasticsearch:使用 semantic_text 简化语义搜索。

创建推理端点

使用 Create inference API 创建推理端点:

PUT _inference/sparse_embedding/my-elser-model /* 1 */
{"service": "elser", /* 2 */"service_settings": {"num_allocations": 1,"num_threads": 1}
}

如果你已经安装完毕并部署好,你可以在机器学习页面查看:

  • 任务类型为路径中的 sparse_embedding,因为将使用 elser 服务,并且 ELSER 创建稀疏向量。inference_id 为 my-elser-model。
  • 本示例中使用了 elser 服务。

注意:使用 Kibana 控制台时,你可能会在响应中看到 502 bad gateway 错误。此错误通常仅反映超时,而模型在后台下载。你可以在机器学习 UI 中检查下载进度。如果使用 Python 客户端,你可以将超时参数设置为更高的值。

创建索引映射

必须创建目标索引的映射 - 包含推理端点将根据你的输入文本生成的嵌入的索引。目标索引必须具有具有 semantic_text 字段类型的字段,以索引所用推理端点的输出。

PUT semantic-embeddings
{"mappings": {"properties": {"semantic_text": { /* 1 */"type": "semantic_text", /* 2 */ "inference_id": "my-elser-model" /* 3 */ },"content": { /* 4 */"type": "text","copy_to": "semantic_text" }}}
}
  • 包含生成的嵌入的字段的名称。
  • 包含嵌入的字段是 semantic_text 字段。
  • inference_id 是你在上一步中创建的推理端点。它将用于根据输入文本生成嵌入。每次你将数据导入相关的 semantic_text 字段时,此端点都将用于创建文本的向量表示。
  • 用于存储在重新索引数据步骤中从源索引 Reindex 的文本的字段。
  • 存储在内容字段中的文本数据将被复制到 semantic_text 并由推理端点处理。semantic_text 字段将存储基于输入数据生成的嵌入。

加载数据

在此步骤中,你将加载稍后用于从中创建嵌入的数据。

使用 msmarco-passagetest2019-top1000 数据集,它是 MS MARCO Passage Ranking 数据集的子集。它由 200 个查询组成,每个查询都附有相关文本段落列表。所有唯一段落及其 ID 都已从该数据集中提取并编译为 tsv 文件。

下载文件并使用机器学习 UI 中的数据可视化工具将其上传到你的集群。将名称 id 分配给第一列,将内容分配给第二列。索引名称为 test-data。上传完成后,你可以看到一个名为 test-data 的索引,其中包含 182469 个文档。

如果你想了解加载数据的完整步骤,请参阅文章 “Elasticsearch:使用 ELSER 进行语义搜索 - sparse_vector”。

重新索引数据

通过将数据从 test-data 索引重新索引到 semantic-embeddings 索引,从文本创建嵌入。content 字段中的数据将重新索引到目标索引的 content 字段中。内容字段数据将作为索引映射创建步骤中设置的 copy_to 参数的结果复制到 semantic_text 字段。复制的数据将由与 semantic_text 语义文本字段关联的推理端点处理。

POST _reindex?wait_for_completion=false
{"source": {"index": "test-data","size": 10  /* 1 */},"dest": {"index": "semantic-embeddings"}
}
  • 重新索引的默认批次大小为 1000。将大小减小到较小的数字可以加快重新索引过程的更新速度,从而使你能够密切跟踪进度并尽早发现错误。

该调用返回一个任务 ID 来监控进度:

GET _tasks/<task_id>
GET _tasks/022z5o7HRqaGwOTjIMMZSw:1469327

如果你不想等到重新索引过程完全完成,建议取消重新索引过程,这对于分配了少量资源的推理端点来说可能会花费很长时间:

POST _tasks/<task_id>/_cancel

语义搜索

在数据集通过嵌入丰富后,你可以使用语义搜索查询数据。在语义查询类型中提供 semantic_text 字段名称和查询文本。用于生成 semantic_text 字段嵌入的推理端点将用于处理查询文本。

GET semantic-embeddings/_search
{"query": {"semantic": {"field": "semantic_text", /* 1 */"query": "How to avoid muscle soreness while running?"  /* 2 */}}
}
  1. 你要执行搜索的 semantic_text 字段。
  2. 查询文本。

结果,你将收到来自语义嵌入索引的、含义与查询最接近的前 10 个文档:

这篇关于Elasticsearch:使用 semantic_text 进行语义搜索的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1100854

相关文章

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

hdu1240、hdu1253(三维搜索题)

1、从后往前输入,(x,y,z); 2、从下往上输入,(y , z, x); 3、从左往右输入,(z,x,y); hdu1240代码如下: #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#inc

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma