ElasticSearch7.17.5版本热更新同义词，扩展词停止词

2023-11-05 20:59
文章标签 更新 版本 扩展 停止 同义词 elasticsearch7.17

本文主要是介绍ElasticSearch7.17.5版本热更新同义词，扩展词停止词，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

ElasticSearch7.17.5热更新同义词及自定义ik分词器，集成SpringData4.3.4使用

  • 从ElasticSearch部署同义词热更新踩坑出来，写个博客记录一下
    • ik分词器
    • 同义词
    • SpringData集成

从ElasticSearch部署同义词热更新踩坑出来，写个博客记录一下

ElasticSearch版本更新得很快，对于同义词热更新官方版本只到5.1.1版本，这里是做了一个适用于7.16.3版本以上的插件，测试发现7.17.5也兼容。
ik分词器源码修改是参考以下博客实现：https://blog.csdn.net/zq199419951001/article/details/89884461

修改后的同义词代码和ik分词器源码如下，ik可从官网下载对应的版本，照着文档改写
ik分词器7.17.5源码下载地址：https://download.csdn.net/download/qq_41927845/87254019
7.17.5同义词源码：https://download.csdn.net/download/qq_41927845/87253959

ik分词器

参考代码的实现比较完善，需要修改的地方是config目录增加一个db.properties文件：
在这里插入图片描述
在这里插入图片描述
然后在Dictionary类下面修改
在这里插入图片描述
在这里插入图片描述

private final static  String FILE_NAME = "IKAnalyzer.cfg.xml";private final static  String EXT_DICT = "ext_dict";private final static  String REMOTE_EXT_DICT = "remote_ext_dict";private final static  String EXT_STOP = "ext_stopwords";private final static  String REMOTE_EXT_STOP = "remote_ext_stopwords";private final static  String DB_PROPERTIES="db.properties";private Path conf_dir;private Properties props;private Properties myProperties;private Dictionary(Configuration cfg) {this.configuration = cfg;this.props = new Properties();this.myProperties=new Properties();this.conf_dir = cfg.getEnvironment().configFile().resolve(AnalysisIkPlugin.PLUGIN_NAME);Path configFile = conf_dir.resolve(FILE_NAME);Path myFile = cfg.getConfigInPluginDir().resolve(DB_PROPERTIES);InputStream input = null;InputStream myInput = null;File file = myFile.toFile();logger.info("file文件:" + file);try {myInput = new FileInputStream(file);} catch (FileNotFoundException e1) {logger.error("db.properties未找到", e1);}try {logger.info("try load config from {}", configFile);input = new FileInputStream(configFile.toFile());} catch (FileNotFoundException e) {conf_dir = cfg.getConfigInPluginDir();configFile = conf_dir.resolve(FILE_NAME);try {logger.info("try load config from {}", configFile);input = new FileInputStream(configFile.toFile());} catch (FileNotFoundException ex) {// We should report origin exceptionlogger.error("ik-analyzer", e);}}if (input != null) {try {props.loadFromXML(input);} catch (IOException e) {logger.error("ik-analyzer", e);}}try {myProperties.load(myInput);} catch (IOException e) {logger.error("加载db.properties文件失败！", e);}}

增加加载数据库代码并自动加载字典

private String getUrl() {String url = myProperties.getProperty("url");return url;}private String getUser() {String user = myProperties.getProperty("user");return user;}private String getPassword() {String password = myProperties.getProperty("password");return password;}private int getInterval() {Integer interval = Integer.valueOf(myProperties.getProperty("interval"));return interval;}private String getExtWordSql() {String extWordSql = myProperties.getProperty("extWordSql");return extWordSql;}private String getStopWordSql() {String stopWordSql = myProperties.getProperty("stopWordSql");return stopWordSql;}private void loadMySQLExtDict() {Connection conn = null;Statement stmt = null;ResultSet rs = null;try {logger.info("query ext dict from mysql, " + getUrl());Class.forName("com.mysql.cj.jdbc.Driver");conn = DriverManager.getConnection(getUrl(), getUser(), getPassword());stmt = conn.createStatement();String extWordSql = getExtWordSql();if(extWordSql!=null && extWordSql!=""){rs = stmt.executeQuery(extWordSql);while (rs.next()) {String theWord = rs.getString("main_keyword");logger.info("main_keyword ext word from mysql: " + theWord);_MainDict.fillSegment(theWord.trim().toCharArray());}}} catch (Exception e) {logger.error("erorr", e);} finally {if (rs != null) {try {rs.close();} catch (SQLException e) {logger.error("error", e);}}if (stmt != null) {try {stmt.close();} catch (SQLException e) {logger.error("error", e);}}if (conn != null) {try {conn.close();} catch (SQLException e) {logger.error("error", e);}}}}private void loadMySQLStopDict() {Connection conn = null;Statement stmt = null;ResultSet rs = null;try {logger.info("query stop dict from mysql, " + getUrl());Class.forName("com.mysql.cj.jdbc.Driver");conn = DriverManager.getConnection(getUrl(), getUser(), getPassword());stmt = conn.createStatement();String stopWordSql = getStopWordSql();if(stopWordSql!=null && stopWordSql!=""){rs = stmt.executeQuery(stopWordSql);while (rs.next()) {String theWord = rs.getString("main_keyword");logger.info("main_keyword stop word from mysql: " + theWord);_StopWords.fillSegment(theWord.trim().toCharArray());}}} catch (Exception e) {logger.error("erorr", e);} finally {if (rs != null) {try {rs.close();} catch (SQLException e) {logger.error("error", e);}}if (stmt != null) {try {stmt.close();} catch (SQLException e) {logger.error("error", e);}}if (conn != null) {try {conn.close();} catch (SQLException e) {logger.error("error", e);}}}}public void reLoadMySqlDict() {logger.info("重新加载远程词典...");// 新开一个实例加载词典，减少加载过程对当前词典使用的影响Dictionary tmpDict = new Dictionary(configuration);tmpDict.configuration = getSingleton().configuration;tmpDict.loadMainDict();tmpDict.loadStopWordDict();tmpDict.loadMySQLExtDict();tmpDict.loadMySQLStopDict();_MainDict = tmpDict._MainDict;_StopWords = tmpDict._StopWords;logger.info("重新加载远程词典完毕...");}

如果保留默认的ik分词器，则给这个ik分词器重新命名
修改pom.xml文件elasticsearch.plugin.name命名，并且es的版本应与服务器一致
需要在pom文件增加mysql驱动文件
在这里插入图片描述
在这里插入图片描述

		<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.13</version></dependency>

修改plugin.xml
引入mysql驱动 在这里插入图片描述

<include>mysql:mysql-connector-java</include>

在AnalysisIkPlugin类修改分析器名称，PLUGIN_NAME需要和pom文件修改的地方保持一致
在这里插入图片描述
至此插件修改完毕，选择mvn clear，再compile package打包
将target/release目录下的压缩包复制，在es的安装目录下的plugin文件夹创建一个文件夹命名为ik-custom，粘贴至此处解压，解压完成后删除压缩包文件，注意看是否引入mysql驱动包
在这里插入图片描述

同义词

由于官网最新的同义词插件版本为5.1.1，这里是改了一个适用于7.16.3及7.17.5版本的数据
下载后使用idea打开项目
首先还是在源码的config文件夹中配置数据库及查询同义词，同义词更新版本的数据，每次同义词版本大于插件记录的版本就会加载同义词，频率是60秒扫描一次，具体使用可查看README.pd文件
在这里插入图片描述
修改pom文件中的es版本
在这里插入图片描述
就可以mvn clear，再compile package打包
将target/release目录下的压缩包复制，在es的安装目录下的plugin文件夹创建一个文件夹命名为ik-custom，粘贴至此处解压，解压完成后删除压缩包文件，注意看是否引入mysql驱动包（同以上一致）

打开es的日志，可看到同义词的加载结果
在这里插入图片描述

SpringData集成

这里要注意的是，springdata 和es有版本限制
在这里插入图片描述
我这边用到的springboot是2.6.8，es是7.17.5，暂时选择的springdata版本是4.3.4，目前还没发现什么问题，最好的是选择4.4.x版本

		<dependency><groupId>org.springframework.data</groupId><artifactId>spring-data-elasticsearch</artifactId><version>4.3.4</version></dependency>

配置es信息
在这里插入图片描述

elasticsearch:rest:uris: http://localhost:9200username: password: jackson:date-format: yyyy-MM-dd HH:mm:ss

加载同义词分析器：在项目resource目录下创建一个文件夹elasticsearch，建一个es.json文件，这里可以设置分析器用自定义的分词器，如ik_smart_custom
在这里插入图片描述

{"index" : {"analysis" : {"analyzer" : {"synonym" : {"tokenizer" : "ik_smart","filter" : ["remote_synonym"]}},"filter" : {"remote_synonym" : {"type" : "dynamic_synonym","synonyms_path" : "fromMySql","interval": 60},"local_synonym" : {"type" : "dynamic_synonym","synonyms_path" : "synonym.txt"},"synonym_graph" : {"type" : "dynamic_synonym_graph","synonyms_path" : "http://host:port/synonym.txt"}}}}
}

创建实体类，指定setting
在这里插入图片描述
这里是指定了索引名为dynamic1，需要注意的是参数设置了synonym同义词分析器才能使用同义词查询

创建dao层文件夹，继承ElasticsearchRepository
在这里插入图片描述
注意框起来的值必须和实体类的id类型一致

接下来创建controller即可测试
在这里插入图片描述
测试结果如下：
新增es文档数据
在这里插入图片描述

同义词查询：我这边配置了同义词组为 我爱,高德,书包,方法
在这里插入图片描述

可以看到查询效果

这篇关于ElasticSearch7.17.5版本热更新同义词，扩展词停止词的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/352482。

相关文章

Spring配置扩展之JavaConfig的使用小结

Spring配置扩展之JavaConfig的使用小结

《Spring配置扩展之JavaConfig的使用小结》JavaConfig是Spring框架中基于纯Java代码的配置方式,用于替代传统的XML配置,通过注解（如@Bean）定义Spring容器的组... 目录JavaConfig 的概念什么是JavaConfig？为什么使用 JavaConfig？Jav
阅读更多...
Python包管理工具uv下载python版本慢问题解决办法

Python包管理工具uv下载python版本慢问题解决办法

《Python包管理工具uv下载python版本慢问题解决办法》uv是一个非常快的Python包和项目管理器,用Rust编写,使用热缓存安装Trio的依赖项的速度对比,：本文主要介绍Python包... 目录发现问题对于 MACOS / linux 用户 (zsh/bash):对于 Windows 用户:总
阅读更多...
Python版本与package版本兼容性检查方法总结

Python版本与package版本兼容性检查方法总结

《Python版本与package版本兼容性检查方法总结》：本文主要介绍Python版本与package版本兼容性检查方法的相关资料,文中提供四种检查方法,分别是pip查询、conda管理、PyP... 目录引言为什么会出现兼容性问题方法一：用 pip 官方命令查询可用版本方法二：conda 管理包环境方法
阅读更多...
Python一次性将指定版本所有包上传PyPI镜像解决方案

Python一次性将指定版本所有包上传PyPI镜像解决方案

《Python一次性将指定版本所有包上传PyPI镜像解决方案》本文主要介绍了一个安全、完整、可离线部署的解决方案,用于一次性准备指定Python版本的所有包,然后导出到内网环境,感兴趣的小伙伴可以跟随... 目录为什么需要这个方案完整解决方案1. 项目目录结构2. 创建智能下载脚本3. 创建包清单生成脚本4
阅读更多...
Ubuntu如何升级Python版本

Ubuntu如何升级Python版本

《Ubuntu如何升级Python版本》Ubuntu22.04Docker中,安装Python3.11后,使用update-alternatives设置为默认版本,最后用python3-V验证... 目China编程录问题描述前提环境解决方法总结问题描述Ubuntu22.04系统自带python3.10，想升级
阅读更多...
MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

MySQL 数据库表操作完全指南:创建、读取、更新与删除实战

《MySQL数据库表操作完全指南:创建、读取、更新与删除实战》本文系统讲解MySQL表的增删查改（CURD）操作,涵盖创建、更新、查询、删除及插入查询结果,也是贯穿各类项目开发全流程的基础数据交互原... 目录mysql系列前言一、Create(创建)并插入数据1.1 单行数据 + 全列插入1.2 多行数据
阅读更多...
linux安装、更新、卸载anaconda实践

linux安装、更新、卸载anaconda实践

《linux安装、更新、卸载anaconda实践》Anaconda是基于conda的科学计算环境,集成1400+包及依赖,安装需下载脚本、接受协议、设置路径、配置环境变量,更新与卸载通过conda命令... 目录随意找一个目录下载安装脚本检查许可证协议，ENTER就可以安装完毕之后激活anaconda安装更
阅读更多...
更改linux系统的默认Python版本方式

更改linux系统的默认Python版本方式

《更改linux系统的默认Python版本方式》通过删除原Python软链接并创建指向python3.6的新链接,可切换系统默认Python版本,需注意版本冲突、环境混乱及维护问题,建议使用pyenv... 目录更改系统的默认python版本软链接软链接的特点创建软链接的命令使用场景注意事项总结更改系统的默
阅读更多...
Linux升级或者切换python版本实现方式

Linux升级或者切换python版本实现方式

《Linux升级或者切换python版本实现方式》本文介绍在Ubuntu/Debian系统升级Python至3.11或更高版本的方法,通过查看版本列表并选择新版本进行全局修改,需注意自动与手动模式的选... 目录升级系统python版本 (适用于全局修改)对于Ubuntu/Debian系统安装后，验证Pyt
阅读更多...
MySQL 升级到8.4版本的完整流程及操作方法

MySQL 升级到8.4版本的完整流程及操作方法

《MySQL升级到8.4版本的完整流程及操作方法》本文详细说明了MySQL升级至8.4的完整流程,涵盖升级前准备（备份、兼容性检查）、支持路径（原地、逻辑导出、复制）、关键变更（空间索引、保留关键字... 目录一、升级前准备 (3.1 Before You Begin)二、升级路径 (3.2 Upgrade
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2