Elasticsearch-Suggest API

2023-10-18 13:59
文章标签 elasticsearch api suggest

本文主要是介绍Elasticsearch-Suggest API,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

什么是搜索建议

Elasticsearch Suggester API

Term Suggester

Phrase Suggester

The Complete Suggester

使用Completion Suggester的一些步骤

 Context Suggester

实现Context Suggester

精准度和召回率


什么是搜索建议

  • 现代的搜索引擎,一般会提供一个Suggest as you type 功能

  • 帮助用户在输入搜索的工程中,进行自动补全或者纠错.通过协助用户输入更加精确的关键词,提高后续搜索阶段文档匹配的长度

  • 在google上搜索,一开始会自动补全.当输入到一定长度,如果因为单词拼写错误无法补全,就会开始提示相似的词或者句子

Elasticsearch Suggester API

  • 搜索引擎中类似的功能,在ES中是通过Suggester API实现的

  • 原理:将输入的文本分解为Token,然后在索引的字典里查找相似的Term并返回

  • 根据不同的场景,ES设计了四种类别的Suggesters

    • Term & Phrase Suggester

    • Complete & Context Suggester

Term Suggester

  • Suggester就是一种特殊类型的搜索,"text"里是调用时候提供的文本,通常来自于用户界面上用户输入的内容

  • 用户输入的"lucen"是一个错误的拼写

  • 会到指定的字段"body"上搜索,当无法搜索到结果时(missing),返回建议的词

POST /atricles/_bulk
{"index":{}}
{"body":"lucene is very cool"}
{"index":{}}
{"body":"ES builds on top of lucene"}
{"index":{}}
{"body":"ES rocks"}
{"index":{}}
{"body":"es is the company behind ELK stack"}
{"index":{}}
{"body":"ELK stack rocks"}
{"index":{}}
{"body":"es is rock solid"}

POST /atricles/_search
{
  "size":1,
  "query": {
    "match": {
      "body": "lucen rock"
    }
  },
  "suggest": {
    "term-suggestion": {
      "text": "lucen rock",
      "term": {
        "suggest_mode": "missing",
        "field":"body"
      }
    }
  }
}

  • 搜索"lucen rock"

    • 每个建议都包含了一个算分,相似性是通过Levenshtein Edit Distance的算法来实现的.核心思想就是一个词改动多少字符就可以和另外一个词一致.提供了很多可选参数来控制相似性的模糊度.例如"max_edits"

  • 几种Suggestion Mode

    • Missing -- 如果索引中已经存在,就不提供建议(上面的rock就已经存在了,不会提供建议)

    • Polular -- 推荐出现频率更高的词

    • Always -- 无论是否存在,都提供建议

 POST /atricles/_search
{
  "size":1,
  "query": {
    "match": {
      "body": "lucen rock"
    }
  },
  "suggest": {
    "term-suggestion": {
      "text": "lucen rock",
      "term": {
        "suggest_mode": "popular",
        "field":"body"
      }
    }
  }
}

 POST /atricles/_search
{
  "size":1,
  "query": {
    "match": {
      "body": "lucen rock"
    }
  },
  "suggest": {
    "term-suggestion": {
      "text": "lucen hock",
      "term": {
        "suggest_mode": "always",
        "field":"body"
      }
    }
  }
}

POST /atricles/_search
{
  "size":1,
  "query": {
    "match": {
      "body": "lucen rock"
    }
  },
  "suggest": {
    "term-suggestion": {
      "text": "lucen hock",
      "term": {
        "suggest_mode": "always",
        "prefix_length":0,
        "field":"body"
      }
    }
  }

 

Phrase Suggester

  • Phrase Suggester在Term Suggester上增加了一些额外的逻辑

  • 一些参数

    • Suggest Mode : missing,popular,always

    • Max Errors : 最多可以拼错的Terms数

    • Confidence : 限制返回结果数,默认为1

  • 自定义高亮

"highlight":{
          "pre_tag":"<b id='d1' class='t1' style='color:red;font-size:18px;'>",
          "post_tag":"</b>"
        }

参考文档

  • Elasticsearch - phrase suggester - 听雨危楼 - 博客园 (cnblogs.com)

  • (31条消息) 09.phrase_suggester_寒夜-CSDN博客

The Complete Suggester

  • Completion Suggester提供了"自动完成"(Auto Complete)的功能,用户每输入一个字符,就需要及时发送一个查询请求到后台查找匹配项

  • 对性能要求比较苛刻,ElasticSearch采用了不同的数据结构,并非通过倒排索引来完成.而是将Analyze的数据编码成FST和索引放在一起存放.FST会被ES整个加载进内存,速度很快

  • FST只能用于前缀查找

使用Completion Suggester的一些步骤

  • 定义Mapping,使用"completion"type(针对某个字段)

  • 索引数据

  • 运行"suggest"查询,得到搜索建议

    • 在任意的查询字符串中增加pretty参数,会让Elasticsearch美化输出(pretty-print)JSON响应以便更加容易阅读。_source 字段不会被美化,它的样子与我们输入的一致。

 Context Suggester

  • Completion Suggester的扩展

  • 可以在搜索中加入更多的上下文信息,例如"star"

    • 咖啡相关 : 建议"Starbucks"

    • 电影相关 : "star wars"

实现Context Suggester

  • 可以定义两种类型的Context

    • Category --任意的字符串

    • GEO -- 地理位置信息

  • 实现Context Suggester的具体步骤
    • 定制一个 Mapping

  • 索引数据,并且为每个文档加入Context信息 如果 comment属于movies的上下文的时候就给他推荐"star wars";如果 comment属于coffee的上下文的时候就给他推荐"starbucks"

  • 结合Context进行Suggestion

精准度和召回率

  • 精确度

    • Completion > Phrase > Term

  • 召回率

    • Term > Phrase > Completion

  • 性能

    • Completion > Phrase > Term

这篇关于Elasticsearch-Suggest API的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/233014

相关文章

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署

Java调用DeepSeek API的最佳实践及详细代码示例

《Java调用DeepSeekAPI的最佳实践及详细代码示例》:本文主要介绍如何使用Java调用DeepSeekAPI,包括获取API密钥、添加HTTP客户端依赖、创建HTTP请求、处理响应、... 目录1. 获取API密钥2. 添加HTTP客户端依赖3. 创建HTTP请求4. 处理响应5. 错误处理6.

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

浅析如何使用Swagger生成带权限控制的API文档

《浅析如何使用Swagger生成带权限控制的API文档》当涉及到权限控制时,如何生成既安全又详细的API文档就成了一个关键问题,所以这篇文章小编就来和大家好好聊聊如何用Swagger来生成带有... 目录准备工作配置 Swagger权限控制给 API 加上权限注解查看文档注意事项在咱们的开发工作里,API

一分钟带你上手Python调用DeepSeek的API

《一分钟带你上手Python调用DeepSeek的API》最近DeepSeek非常火,作为一枚对前言技术非常关注的程序员来说,自然都想对接DeepSeek的API来体验一把,下面小编就来为大家介绍一下... 目录前言免费体验API-Key申请首次调用API基本概念最小单元推理模型智能体自定义界面总结前言最

JAVA调用Deepseek的api完成基本对话简单代码示例

《JAVA调用Deepseek的api完成基本对话简单代码示例》:本文主要介绍JAVA调用Deepseek的api完成基本对话的相关资料,文中详细讲解了如何获取DeepSeekAPI密钥、添加H... 获取API密钥首先,从DeepSeek平台获取API密钥,用于身份验证。添加HTTP客户端依赖使用Jav

C#使用DeepSeek API实现自然语言处理,文本分类和情感分析

《C#使用DeepSeekAPI实现自然语言处理,文本分类和情感分析》在C#中使用DeepSeekAPI可以实现多种功能,例如自然语言处理、文本分类、情感分析等,本文主要为大家介绍了具体实现步骤,... 目录准备工作文本生成文本分类问答系统代码生成翻译功能文本摘要文本校对图像描述生成总结在C#中使用Deep

Java实现Elasticsearch查询当前索引全部数据的完整代码

《Java实现Elasticsearch查询当前索引全部数据的完整代码》:本文主要介绍如何在Java中实现查询Elasticsearch索引中指定条件下的全部数据,通过设置滚动查询参数(scrol... 目录需求背景通常情况Java 实现查询 Elasticsearch 全部数据写在最后需求背景通常情况下

5分钟获取deepseek api并搭建简易问答应用

《5分钟获取deepseekapi并搭建简易问答应用》本文主要介绍了5分钟获取deepseekapi并搭建简易问答应用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需... 目录1、获取api2、获取base_url和chat_model3、配置模型参数方法一:终端中临时将加