Elasticsearch：相关性工作台 - BM25 及 ELSER 的相关性比较

2023-12-19 15:01
文章标签 比较 elasticsearch 相关性 工作台 elser bm25

本文主要是介绍Elasticsearch：相关性工作台 - BM25 及 ELSER 的相关性比较，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

我们知道 Elastics Learned Sparse EncoderR (ELSER) 可以被用来做语义搜索。它是一个 out-of-domain 的语义搜索模型。无需训练，我们就可以得到很好的相关性。有关 ELSER 的更多知识，请参考文章 “Elastic Learned Sparse Encoder 简介：Elastic 用于语义搜索的 AI 模型”。在传统的 BM25 搜索中，我们可以对所需要搜索的文字进行分词。它也可以得到很好的召回率。那么，他们在实际的使用中，有什么区别呢？在今天的文章中，我们将通过一个实际的例子来进行展示。我们针对同样一段文字，同时使用 BM25 及 ELSER 来对它们进行搜索，我们可以看看他们的相关性如何。

在本展示中，我们将使用最新的 Elastic Stack 8.11 来进行展示。你将需要部署 Elasticsearch (> 8.11) 并部署 ELSER 模型。

安装

安装 Elasticsearch 及 Kibana

如果你还没有安装好自己的 Elasticsearch 及 Kibana，那么请参考一下的文章来进行安装：

  • 如何在 Linux，MacOS 及 Windows 上进行安装 Elasticsearch

  • Kibana：如何在 Linux，MacOS 及 Windows 上安装 Elastic 栈中的 Kibana

在安装的时候，请选择 Elastic Stack 8.x 进行安装

为了能够正确使用 ELSER，我们必须订阅白金版或试用：

部署 ELSER

我们可以参考文章 “Elasticsearch：部署 ELSER - Elastic Learned Sparse EncoderR” 来部署 ELSER。

安装 Enterprise Search

我们可以参考文章 “Enterprise：使用 MySQL connector 同步 MySQL 数据到 Elasticsearch” 来安装 Enterprise Search。这里就不再累述了。

装载数据

最好的方法是使用企业搜索创建新索引并配置摄取管道以丰富数据。从 Kibana 的登录页面导航至 “Search”。

创建索引

在上面我们创建一个叫做 search-movies 的索引。

配置 ingest pipeline

在索引配置屏幕上，导航到 “Pipelines” 选项卡，然后单击 “Copy and customize”。

运行脚本来摄入数据

转到文件夹 data 并运行 python 脚本 index-data.py 以提取电影数据集。

为了将其连接到正确的 Elasticsearch 实例，我们需要需要把相应的 Elasticsearch 证书拷贝到当前的目录中。

$ pwd
/Users/liuxg/python/elasticsearch-labs/example-apps/relevance-workbench/data
$ cp ~/elastic/elasticsearch-8.11.0/config/certs/http_ca.crt .
$ ls
http_ca.crt           movies-sample.json.gz requirements.txt
index-data.py         movies.json.gz

我们按照如下的步骤来运行脚本：

python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

接下来，我们使用如下的命令来写入数据：

 python3 index-data.py --es_password=o6G_pvRL=8P*7on+o6XH --es_url=https://localhost:9200
$ python3 index-data.py --es_password=o6G_pvRL=8P*7on+o6XH --es_url=https://localhost:9200
Init Elasticsearch client
{'name': 'liuxgm.local', 'cluster_name': 'elasticsearch', 'cluster_uuid': 'n1BjmRPcR2GObT6ZMbJ9xA', 'version': {'number': '8.11.0', 'build_flavor': 'default', 'build_type': 'tar', 'build_hash': 'd9ec3fa628c7b0ba3d25692e277ba26814820b20', 'build_date': '2023-11-04T10:04:57.184859352Z', 'build_snapshot': False, 'lucene_version': '9.8.0', 'minimum_wire_compatibility_version': '7.17.0', 'minimum_index_compatibility_version': '7.0.0'}, 'tagline': 'You Know, for Search'}
Indexing movies data, this might take a while...
100%|█████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [00:12<00:00,  8.19documents/s, success=100]
Indexing completed! Success percentage: 100.0%
Done indexing movies data

你需要根据自己的 Elasticsearch 密码进行相应的修改。请注意，这里的密码默认的是超级用户 elastic 的密码。

请注意，默认情况下，仅对数据集的子集（100 部电影）建立索引。 如果你有兴趣对整个数据（7918 部电影）建立索引，可以通过在命令行中添加选项 --gzip_file=movies.json.gz 来选择 movie.json.gz 文件。 请注意，索引完整数据集可能需要长达 1 小时的时间。

等写入完数据，我们可以在 Kibana 中进行查看：

运行应用

一旦数据成功建立索引，你就可以运行应用程序来开始比较相关性模型。

该应用程序由后端 Python API 和 React 前端组成。 你可以使用 Docker compose 在本地运行整个应用程序。

编辑 docker-compose.yml 文件以替换其值。 重复使用用于加载数据的相同信息。

为了能够使得 docker 能够针对自签名的 Elasticsearch 部署起作用，我们把证书拷贝到当前的目录中：

(.venv) $ pwd
/Users/liuxg/python/elasticsearch-labs/example-apps/relevance-workbench
(.venv) $ cp ~/elastic/elasticsearch-8.11.0/config/certs/http_ca.crt .
(.venv) $ ls
LICENSE            app-api            data               http_ca.crt
README.md          app-ui             docker-compose.yml images

在运行之前，我们必须确认你的 elaser id：

它必须和 app-api/app.py 里的 model_id 是一致的：

然后，我们需要使用如下的命令来启动应用：

docker-compose up

我们使用的 docker-compose.yml 文件如下：

docker-compose.yml

version: '3.7'services:api:build:context: ./app-apidockerfile: Dockerfilevolumes:- './app-api:/usr/src/app'- './http_ca.crt:/usr/share/certs/http_ca.crt:ro'ports:- 8000:8000environment:- CLOUD_ID=<cloud_id>- ELASTICSEARCH_USERNAME=elastic- ELASTICSEARCH_PASSWORD=o6G_pvRL=8P*7on+o6XH- ELASTICSEARCH_URL=https://192.168.0.3:9200client:build:context: ./app-uidockerfile: Dockerfilevolumes:- './app-ui:/usr/src/app'ports:- 3000:3000environment:- NEXT_API_URL=http://host.docker.internal:8000depends_on:- api

在上面，你需要根据自己的 Elasticsearch 配置来修改上面的环境变量。你需要传入相应的证书信息。

我们可以在浏览器中输入地址 localhost:3000:

一旦应用成功启动，我们可以看到有两个容器正在运行中。如果你只看到其中的一个，则表明你的运行是有问题的：

$ docker ps
CONTAINER ID   IMAGE                        COMMAND                  CREATED          STATUS          PORTS                    NAMES
ffda44fa148b   relevance-workbench-client   "./entrypoint.sh yar…"   59 seconds ago   Up 59 seconds   0.0.0.0:3000->3000/tcp   relevance-workbench-client-1
6970577e8278   relevance-workbench-api      "python3 -m flask ru…"   59 seconds ago   Up 59 seconds   0.0.0.0:8000->8000/tcp   relevance-workbench-api-1
$

搜索一下

我们搜索一下 super hero:

我们再搜索一下 animated movies：

我们发现 ELSER 可以得到更加满意的语义搜索结果。

这篇关于Elasticsearch：相关性工作台 - BM25 及 ELSER 的相关性比较的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/512643。

相关文章

基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
百度/小米/滴滴/京东，中台架构比较

百度/小米/滴滴/京东，中台架构比较

小米中台建设实践 01 小米的三大中台建设：业务+数据+技术 业务中台--从业务说起 在中台建设中，需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况，判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等，再结合其业务发展历程及业务现状，整理了中台架构的核心方法论，一是企业如何共享服务，二是如何为业务提供便利。
阅读更多...
关键字synchronized、volatile的比较

关键字synchronized、volatile的比较

关键字volatile是线程同步的轻量级实现，所以volatile性能肯定比synchronized要好，并且volatile只能修饰于变量，而synchronized可以修饰方法，以及代码块。随着JDK新版本的发布，synchronized关键字的执行效率上得到很大提升，在开发中使用synchronized关键字的比率还是比较大的。多线程访问volatile不会发生阻塞，而synchronize
阅读更多...
ElasticSearch的DSL查询⑤（ES数据聚合、DSL语法数据聚合、RestClient数据聚合）

ElasticSearch的DSL查询⑤（ES数据聚合、DSL语法数据聚合、RestClient数据聚合）

目录 一、数据聚合 1.1 DSL实现聚合 1.1.1 Bucket聚合  1.1.2 带条件聚合 1.1.3 Metric聚合 1.1.4 总结 2.1 RestClient实现聚合 2.1.1 Bucket聚合 2.1.2 带条件聚合 2.2.3 Metric聚合 一、数据聚合 聚合（aggregations）可以让我们极其方便的实现对数据的统计、分析、运算。例如：
阅读更多...
stl的sort和手写快排的运行效率哪个比较高？

stl的sort和手写快排的运行效率哪个比较高？

STL的sort必然要比你自己写的快排要快，因为你自己手写一个这么复杂的sort，那就太闲了。STL的sort是尽量让复杂度维持在O(N log N)的，因此就有了各种的Hybrid sort algorithm。 题主你提到的先quicksort到一定深度之后就转为heapsort，这种是introsort。 每种STL实现使用的算法各有不同，GNU Standard C++ Lib
阅读更多...
研究生生涯中一些比较重要的网址

研究生生涯中一些比较重要的网址

Mali GPU相关： 1.http://malideveloper.arm.com/resources/sdks/opengl-es-sdk-for-linux/ 2.http://malideveloper.arm.com/resources/tools/arm-development-studio-5/ 3.https://www.khronos.org/opengles/sdk/do
阅读更多...
性能测试工具 wrk,ab,locust,Jmeter 压测结果比较

性能测试工具 wrk,ab,locust,Jmeter 压测结果比较

前言 在开发服务端软件时，经常需要进行性能测试，一般我采用手写性能测试代码的方式进行测试，那有什么现成的好的性能测试工具吗？ 性能测试工具 wrk,ab,locust,Jmeter 压测结果比较 详见： 性能测试工具 wrk,ab,locust,Jmeter 压测结果比较 Jmeter性能测试 入门
阅读更多...
【docker】基于docker-compose 安装elasticsearch + kibana + ik分词器(8.10.4版本)

【docker】基于docker-compose 安装elasticsearch + kibana + ik分词器(8.10.4版本)

记录下，使用 docker-compose 安装 Elasticsearch 和 Kibana，并配置 IK 分词器，你可以按照以下步骤进行。此过程适用于 Elasticsearch 和 Kibana 8.10.4 版本。 安装 首先，在你的工作目录下创建一个 docker-compose.yml 文件，用于配置 Elasticsearch 和 Kibana 的服务。 version:
阅读更多...
ElasticSearch底层原理简析

ElasticSearch底层原理简析

1.ElasticSearch简述 ElastiaSearch(以下简称ES)是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，支持RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。ES设计用于云计算中，能够进行实时搜索，支持PB级搜索，具有稳定，可靠，快速，安装使用方便等
阅读更多...
MongoDB学习—（6）MongoDB的find查询比较符

MongoDB学习—（6）MongoDB的find查询比较符

首先，先通过以下函数向BookList集合中插入10000条数据 function insertN(obj,n){var i=0;while(i<n){obj.insert({id:i,name:"bookNumber"+i,publishTime:i+2000})i++;}}var BookList=db.getCollection("BookList")调用函数，这样，BookList
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2