【搜索引擎分析策略（Analyzer = Tokenizer + Filter）】种瓜得豆？

2024-02-19 12:50
文章标签 分析 策略 filter 搜索引擎 analyzer tokenizer 得豆 种瓜

本文主要是介绍【搜索引擎分析策略（Analyzer = Tokenizer + Filter）】种瓜得豆？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

你晓得伐？Solr的文本分析链

  <analyzer type="index或者query"><tokenizer class="solr.StandardTokenizerFactory"/> 只会有一个分词器！<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" /> 可以有多个过滤器！<filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> 可以有多个过滤器！<filter class="org.apache.lucene.analysis.core.LowerCaseFilterQueryFactory"/> 可以有多个过滤器！</analyzer>
单词含义拓展
term词项被分词器分词出来的独立的词项
analyzer分析器（整部剧叫做鹿鼎记）一般包含了一个tokenizer和多个filter
tokenizer分词器（有且只有一个韦小宝）首先，将文档分成一个一个单独的单词，也就是词项
filter过滤器（韦小宝的妻妾成群）其次，对词项进行自定义处理，比如去除停词，筛选同义词，大写转小写等

你晓得伐？ES的文本分析步骤

步骤描述举例个数
1. 字符过滤（character filtering）调整或者过滤文本字段的字符HTMLStripCharFilter可配置多个字符过滤器
2. 分词处理（tokenization）原生文本会被转换成一连串的token，基本方法是采用标准分词器，利用“空格”和“标点符号”将文本切分成token。StandardTokenizer任何给定的分析链上，只可能有一个分词器（有且只有一个韦小宝）
3. token过滤（token filtering）通过对token的添加、删除和修改，对“token流”加以调整LowerCaseFilter，SynonymFilter和StopWordFilter可配置多个token过滤器（韦小宝的妻妾成群）
  • 各个行业，各个垂直领域需要根据具体业务场景选用或者开发适合自己的analyzer，比如Lucene为NLP领域提供的analyzers-opennlp工具包。
    The Apache OpenNLP library is a machine learning based toolkit for the processing of natural language text.
  • ES为各种语言提供了简便易用的Analysis Plugins文本分析工具，比如ayalysisc-icu和analysis-kuromoji插件。

索引输入

id,title,name
1234,a the mazhaohui CCC,a the mazhaohui this Apple

期望查询结果

索引时被过滤的字段（比如停用词），仍然在查询时保留作为查询条件。

优化思路

  1. fieldType支持配置analyzer作为文本解析器，同时analyzer可以分“index”和“query”两个场景。analyzer中支持配置tokenizer和filter对词项进行定制化操作，比如Solr自带的StandardTokenizer，它是TokenStream类的实现类，各种Filter比如StopFilterFactory和LowerCaseFilter，他们也都是TokenStream的子类（本是同根生，相煎何太急）。
  2. 每个TokenStream的实现类都必须必须实现incrementToken方法，对词项进行自定义修改。因此可以考虑在query场景的分词过滤器中自定义是否将查询词项过滤或者保留，以实现和索引不一样的分词逻辑。
  3. 某些查询词项在索引时被分词器或者过滤器过滤，现在需要将某些特定的查询词项保留，使得该查询条件仍然在查询时生效。
  • 在索引时，可以减少索引的存储量，减少磁盘占用空间，提升索引的性能；
  • 在查询时，带上了早已被过滤的查询条件，可能带来查询性能的提升，无论是AND（减少结果集，减少带宽占用）还是OR（至少不会增大结果集）操作。

managed-schema配置分析器

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100"><analyzer type="index"><tokenizer class="solr.StandardTokenizerFactory"/><filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" /><!-- in this example, we will only use synonyms at query time<filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>--><filter class="solr.LowerCaseFilterFactory"/></analyzer><analyzer type="query"><tokenizer class="solr.StandardTokenizerFactory"/><filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" /><filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/><filter class="org.apache.lucene.analysis.core.LowerCaseFilterQueryFactory"/></analyzer>
</fieldType>

设置停词表stopwords.txt

更新停词表stopwords.txt，更新配置集，索引重新加载配置集，重启Solr服务才能生效。
停词stopwords.txt

本是同根生，相煎何太急

StandardTokenizer是一个TokenStream，各种Filter比如LowerCaseFilter也是一个TokenStream，也就是说他们拥有共同的父类。
每个TokenStream的实现类都必须必须实现incrementToken方法，对词项进行自定义的修改。
Do whatever you want.
incrementToken方法

首当其冲的是用StandardTokenizer将词项分出来

StandardTokenizer的scanner从Reader里逐个读出每个分词出来的词项。

  • a
  • the
  • mazhaohui
  • CCC
    分词出来
    StandardTokenizer

取其精华，去其糟粕

在StandardTokenizer和FilteringTokenFilter完成incrementToken之后，“a the mazhaohui”这些停词已经被过滤掉了，
接下来，在LowerCaseFilter的incrementToken（基类TokenStream的抽象方法）成功将词项CCC，转成了小写的ccc。
ccc
因此，最终title字段会索引ccc词项以供查询(indexed)，而a the mazhaohui词项被设置为停词，不会被索引，只会被查询ccc的结果带出(stored)。分词过滤逻辑到此结束，接着由DefaultIndexingChain继续索引流程。
DefaultIndexingChain继续索引流程

样例测试

  1. 在停词表stopwords.txt中增加abcdefg
  2. 设置查询条件为title:abcdefg

结果展示

经过调试可以看到，在索引时会被直接当做停词过滤的词项"abcdefg"，在查询时被当做查询条件接受了。这时词项“abcdefg”就会存活下来，作为查询条件继续后续的查询流程。
org.apache.lucene.analysis.core.StopFilterQueryFactory

Exception

ClassNotFoundException: solr.StopFilterQueryFactory类找不到？！简写包名看起来不行~
java.lang.ClassNotFoundException: solr.StopFilterQueryFactory

Solution

managed-schema配置query场景下的分词过滤器，使用刚刚新建出来的StopFilterQueryFactory类，注意写上完整包名。
org.apache.lucene.analysis.core.StopFilterQueryFactory

Reference

https://github.com/apache/lucene-solr/blob/master/solr/core/src/test-files/solr/collection1/conf/stopwords.txt
https://github.com/magese/ik-analyzer-solr7
https://www.ibm.com/support/knowledgecenter/en/SSZLC2_9.0.0/com.ibm.commerce.tutorials.doc/tutorial/tsd_search3_solrconfig.htm
https://www.cnblogs.com/immortal-ghost/p/6954360.html

这篇关于【搜索引擎分析策略（Analyzer = Tokenizer + Filter）】种瓜得豆？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/724717。

相关文章

性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

1. 单例模式（Singleton Pattern） 确保一个类只有一个实例，并提供一个全局访问点。 示例代码： class Singleton {constructor() {if (Singleton.instance) {return Singleton.instance;}Singleton.instance = this;this.data = [];}addData(value)
阅读更多...
SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型，它综合考虑了土壤-水分-大气以及植被间的相互作用；是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程，使其能够精确的模拟土壤中水分的运动，而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者
阅读更多...
MOLE 2.5 分析分子通道和孔隙

MOLE 2.5 分析分子通道和孔隙

软件介绍 生物大分子通道和孔隙在生物学中发挥着重要作用，例如在分子识别和酶底物特异性方面。 我们介绍了一种名为 MOLE 2.5 的高级软件工具，该工具旨在分析分子通道和孔隙。 与其他可用软件工具的基准测试表明，MOLE 2.5 相比更快、更强大、功能更丰富。作为一项新功能，MOLE 2.5 可以估算已识别通道的物理化学性质。 软件下载 https://pan.quark.cn/s/57
阅读更多...
衡石分析平台使用手册-单机安装及启动

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境，如果是隔离环境，无法连接互联网时，请先按照 离线环境安装依赖的指导进行依赖包的安装，然后按照本文的指导继续操作。如果网络环境可以连接互联网，请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud
阅读更多...
线性因子模型 - 独立分量分析（ICA）篇

线性因子模型 - 独立分量分析（ICA）篇

序言 线性因子模型是数据分析与机器学习中的一类重要模型，它们通过引入潜变量（ latent variables \text{latent variables} latent variables）来更好地表征数据。其中，独立分量分析（ ICA \text{ICA} ICA）作为线性因子模型的一种，以其独特的视角和广泛的应用领域而备受关注。 ICA \text{ICA} ICA旨在将观察到的复杂信号
阅读更多...
【软考】希尔排序算法分析

【软考】希尔排序算法分析

目录 1. c代码2. 运行截图3. 运行解析 1. c代码 #include <stdio.h>#include <stdlib.h> void shellSort(int data[], int n){// 划分的数组，例如8个数则为[4, 2, 1]int *delta;int k;// i控制delta的轮次int i;// 临时变量，换值int temp;in
阅读更多...
三相直流无刷电机(BLDC)控制算法实现：BLDC有感启动算法思路分析

三相直流无刷电机(BLDC)控制算法实现：BLDC有感启动算法思路分析

一枚从事路径规划算法、运动控制算法、BLDC/FOC电机控制算法、工控、物联网工程师，爱吃土豆。如有需要技术交流或者需要方案帮助、需求：以下为联系方式—V 方案1：通过霍尔传感器IO中断触发换相 1.1 整体执行思路 霍尔传感器U、V、W三相通过IO+EXIT中断的方式进行霍尔传感器数据的读取。将IO口配置为上升沿+下降沿中断触发的方式。当霍尔传感器信号发生发生信号的变化就会触发中断在中断
阅读更多...
kubelet组件的启动流程源码分析

kubelet组件的启动流程源码分析

概述 摘要: 本文将总结kubelet的作用以及原理，在有一定基础认识的前提下，通过阅读kubelet源码，对kubelet组件的启动流程进行分析。 正文 kubelet的作用 这里对kubelet的作用做一个简单总结。 节点管理 节点的注册 节点状态更新 容器管理(pod生命周期管理) 监听apiserver的容器事件 容器的创建、删除(CRI) 容器的网络的创建与删除
阅读更多...
PostgreSQL核心功能特性与使用领域及场景分析

PostgreSQL核心功能特性与使用领域及场景分析

PostgreSQL有什么优点？ 开源和免费 PostgreSQL是一个开源的数据库管理系统，可以免费使用和修改。这降低了企业的成本，并为开发者提供了一个活跃的社区和丰富的资源。 高度兼容 PostgreSQL支持多种操作系统（如Linux、Windows、macOS等）和编程语言（如C、C++、Java、Python、Ruby等），并提供了多种接口（如JDBC、ODBC、ADO.NET等
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2