ES之道：IK分词器的魔法般变身

2024-05-10 21:04
文章标签 es 之道 ik 分词器 魔法 变身

本文主要是介绍ES之道：IK分词器的魔法般变身，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

欢迎来到我的博客，代码的世界里，每一行都是一个故事


在这里插入图片描述

ES之道：IK分词器的魔法般变身

    • 前言
    • IK分词器简介
    • IK分词器原理
    • 创建索引和配置IK分词器
    • 实战(docker搭建的Es)
      • 下载ik插件
      • 创建一个ik分词器的索引
      • 如果希望将原来的索引覆盖
        • 重新索引数据
        • 删除旧索引重新命名新索引
      • 报错解决

前言

在数据的世界里，搜索就像是一位智慧的导航员，它能够帮助我们在海量信息中找到需要的答案。而Elasticsearch，就像是这位导航员的得力助手，它通过强大的文本处理能力，为我们提供了一个高效的搜索引擎。而IK分词器，则是Elasticsearch中的一枚利器，它能够帮助我们实现中文文本的精确分词和搜索。今天，就让我们一起来揭开IK分词器的神秘面纱，探索它在Elasticsearch中的魔法般变身吧！

IK分词器简介

IK 分词器是一个针对中文文本的开源分词器，特别适用于中文搜索引擎和文本分析领域。它的作用是将中文文本按照一定的规则进行切分，将连续的字符序列划分为具有语义的词语，从而实现中文文本的分词处理。

重要性：

  1. 中文分词的基础工具： 在中文文本处理领域，分词是非常基础且重要的工作。IK 分词器提供了一个高效准确的分词工具，为中文文本的处理提供了基础支持。
  2. 提高搜索效果： 在搜索引擎等应用中，分词的质量直接影响搜索结果的准确性和用户体验。使用 IK 分词器可以提高搜索引擎的检索效果，使用户能够更快速准确地找到所需信息。
  3. 支持领域专业词汇： IK 分词器支持用户自定义词典，可以灵活地增加领域专业词汇，提高分词的准确性和适用性。

与其他分词器的区别：

  1. 精准度和速度： IK 分词器在中文文本处理领域具有较高的精准度和速度，能够快速准确地进行分词处理。
  2. 自定义词典支持： IK 分词器支持用户自定义词典，可以灵活增加领域专业词汇，提高分词效果。一些其他分词器也支持自定义词典，但不是所有分词器都具备这个功能。
  3. 开源社区支持： IK 分词器是一个开源项目，有着活跃的开发社区和用户社区，可以获得丰富的技术支持和资源共享。

IK分词器原理

IK 分词器的分词原理基于中文文本的规则和词典匹配，主要包括正向最大匹配和逆向最大匹配两种算法。以下是 IK 分词器的基本工作流程：

  1. 正向最大匹配（Forward Maximum Matching）：

    • 正向最大匹配从文本的开头开始，按照最大匹配的原则进行切分。即从当前位置开始，选择最长的词语进行匹配，并将匹配成功的词语作为分词结果。
    • 此过程会在词典中查找匹配的词语，如果找到匹配的词语，则将其作为分词结果；如果没有找到匹配的词语，则缩小匹配窗口，继续查找下一个最长的词语。
    • 分词过程会重复执行，直到处理完整个文本。

  2. 逆向最大匹配（Reverse Maximum Matching）：

    • 逆向最大匹配从文本的末尾开始，按照最大匹配的原则进行切分。即从当前位置开始，选择最长的词语进行匹配，并将匹配成功的词语作为分词结果。
    • 此过程同样会在词典中查找匹配的词语，如果找到匹配的词语，则将其作为分词结果；如果没有找到匹配的词语，则缩小匹配窗口，继续查找下一个最长的词语。
    • 分词过程会重复执行，直到处理完整个文本。

  3. 合并分词结果：

    • 正向最大匹配和逆向最大匹配得到的分词结果可能不同，因此需要进行合并。
    • 通常情况下，可以选择分词结果中词数较少的作为最终结果，或者根据一定的评分算法来选择最合适的分词结果。

  4. 处理未登录词：

    • IK 分词器支持用户自定义词典，用户可以添加自己的词汇到词典中。当分词器无法识别某些词语时，会尝试在用户词典中查找匹配的词汇。

总体而言，IK 分词器通过正向最大匹配和逆向最大匹配两种算法来切分中文文本，并结合用户自定义词典进行分词处理，从而实现对中文文本的准确分词。

创建索引和配置IK分词器

在 Elasticsearch 中创建索引并配置 IK 分词器，可以通过以下步骤完成：

  1. 创建索引： 首先，在 Elasticsearch 中创建一个新的索引，可以使用 Elasticsearch 的 REST API 或者 Kibana 工具进行操作。

  2. 配置 IK 分词器： 针对需要进行中文分词的字段，配置相应的 IK 分词器。

下面是一个示例，演示如何使用 Elasticsearch 的 REST API 在创建索引时配置 IK 分词器：

PUT /my_index
{"settings": {"analysis": {"analyzer": {"my_analyzer": {"tokenizer": "ik_max_word", // 使用 IK 分词器 ik_max_word"filter": ["my_synonym_filter"] // 可选：添加同义词过滤器}},"filter": {"my_synonym_filter": {"type": "synonym","synonyms_path": "analysis/synonyms.txt" // 同义词文件路径}}}},"mappings": {"properties": {"content": {"type": "text","analyzer": "my_analyzer" // 使用自定义的 IK 分词器}}}
}

在上面的示例中：

  • 创建了一个名为 my_index 的索引。
  • 在索引的设置中，定义了一个名为 my_analyzer 的分析器，使用 IK 分词器 ik_max_word 进行分词，并且可以选择添加同义词过滤器。
  • 创建了一个 content 字段，并将其配置为使用自定义的 IK 分词器 my_analyzer 进行分词。

常见的 IK 分词器配置示例包括：

  • ik_max_word：最大化地切分词语，适合搜索应用。
  • ik_smart：精准地切分词语，适合索引和分析应用。

根据实际需求，可以选择合适的 IK 分词器进行配置，并根据需要添加额外的分词器设置，如同义词过滤器等。

实战(docker搭建的Es)

下载ik插件

docker搭建的Es如果下载ik分词器插件可以执行以下命令,下面的版本要选择你的es版本

docker exec -it your_elasticsearch_container_name /bin/bash -c "elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.16.3/elasticsearch-analysis-ik-7.16.3.zip"

创建一个ik分词器的索引

curl -XPUT "http://localhost:9200/acowbo_new" -H 'Content-Type: application/json' -d '
{"settings": {"analysis": {"analyzer": {"my_analyzer": {"type": "custom","tokenizer": "standard","filter": ["lowercase"]},"ik_analyzer": {"type": "custom","tokenizer": "ik_smart"}}}},"mappings": {"properties": {"id": {"type": "keyword"},"searchKey": {"type": "text","analyzer": "ik_analyzer"},"searchValue": {"type": "text","analyzer": "ik_analyzer"},"typeName": {"type": "text","analyzer": "my_analyzer"}}}
}'

如果希望将原来的索引覆盖

重新索引数据
curl -XPOST "http://localhost:9200/_reindex" -H 'Content-Type: application/json' -d '
{"source": {"index": "acowbo"},"dest": {"index": "acowbo_new"}
}'
删除旧索引重新命名新索引
curl -XDELETE "http://localhost:9200/acowbo"
curl -XPOST "http://localhost:9200/acowbo_new/_alias/acowbo"

报错解决

  1. Can’t update non dynamic settings [[index.analysis.analyzer.my_analyzer.type, index.analysis.analyzer.my_analyzer.filter, index.analysis.analyzer.ik_analyzer.tokenizer, index.analysis.analyzer.my_analyzer.tokenizer, index.analysis.analyzer.ik_analyzer.type]] for open indices

    Elasticsearch不允许直接更新这些非动态设置。
curl -XPOST "http://localhost:9200/acowbo/_close"

这篇关于ES之道：IK分词器的魔法般变身的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/977545。

相关文章

Python中的属性装饰器：解锁更优雅的编程之道

Python中的属性装饰器：解锁更优雅的编程之道

引言 在Python的世界里，装饰器是一个强大的工具，它允许我们以一种非侵入性的方式修改函数或方法的行为。而当我们谈论“属性装饰器”时，则是在探讨如何使用装饰器来增强类中属性的功能。这不仅让我们的代码更加简洁、易读，同时也提供了强大的功能扩展能力。本文将带你深入了解属性装饰器的核心概念，并通过一系列实例展示其在不同场景下的应用，从基础到进阶，再到实际项目的实战经验分享，帮助你解锁Python编程
阅读更多...
ElasticSearch的DSL查询⑤（ES数据聚合、DSL语法数据聚合、RestClient数据聚合）

ElasticSearch的DSL查询⑤（ES数据聚合、DSL语法数据聚合、RestClient数据聚合）

目录 一、数据聚合 1.1 DSL实现聚合 1.1.1 Bucket聚合  1.1.2 带条件聚合 1.1.3 Metric聚合 1.1.4 总结 2.1 RestClient实现聚合 2.1.1 Bucket聚合 2.1.2 带条件聚合 2.2.3 Metric聚合 一、数据聚合 聚合（aggregations）可以让我们极其方便的实现对数据的统计、分析、运算。例如：
阅读更多...
OpenGL ES学习总结：基础知识简介

OpenGL ES学习总结：基础知识简介

什么是OpenGL ES? OpenGL ES (为OpenGL for Embedded System的缩写） 为适用于嵌入式系统的一个免费二维和三维图形库。 为桌面版本OpenGL 的一个子集。 OpenGL ES管道(Pipeline) OpenGL ES 1.x 的工序是固定的，称为Fix-Function Pipeline,可以想象一个带有很多控制开关的机器，尽管加工
阅读更多...
OpenGL ES 2.0渲染管线

OpenGL ES 2.0渲染管线

http://codingnow.cn/opengles/1504.html Opengl es 2.0实现了可编程的图形管线，比起1.x的固定管线要复杂和灵活很多，由两部分规范组成：Opengl es 2.0 API规范和Opengl es着色语言规范。下图是Opengl es 2.0渲染管线，阴影部分是opengl es 2.0的可编程阶段。   1. 顶点着色器(Vert
阅读更多...
【docker】基于docker-compose 安装elasticsearch + kibana + ik分词器(8.10.4版本)

【docker】基于docker-compose 安装elasticsearch + kibana + ik分词器(8.10.4版本)

记录下，使用 docker-compose 安装 Elasticsearch 和 Kibana，并配置 IK 分词器，你可以按照以下步骤进行。此过程适用于 Elasticsearch 和 Kibana 8.10.4 版本。 安装 首先，在你的工作目录下创建一个 docker-compose.yml 文件，用于配置 Elasticsearch 和 Kibana 的服务。 version:
阅读更多...
探索Python的数学魔法：Numpy库的神秘力量

探索Python的数学魔法：Numpy库的神秘力量

文章目录 探索Python的数学魔法：Numpy库的神秘力量背景：为什么选择Numpy？Numpy是什么？如何安装Numpy？五个简单的库函数使用方法场景应用常见Bug及解决方案总结 探索Python的数学魔法：Numpy库的神秘力量 背景：为什么选择Numpy？ 在Python的世界中，数据处理和科学计算是不可或缺的一部分。但原生Python在处理大规模数据时可能会显
阅读更多...
玩转Python Turtle库，实现满屏飘字的魔法!

玩转Python Turtle库，实现满屏飘字的魔法!

前言     本文将教你如何使用Python的Turtle库，通过简单的编程实现满屏飘字的炫酷效果。无需复杂的编程知识，跟着我们的步骤，你也可以成为编程小达人！ 效果展示 开发过程 一、准备工作 首先，确保你的电脑上已经安装了Python环境。然后，你需要安装或更新Turtle库（通常Python安装时自带了Turtle库）。 二、编写代码 接下来，我们将通过编写一个简单的P
阅读更多...
重复采样魔法：用更多样本击败单次尝试的最强模型

重复采样魔法：用更多样本击败单次尝试的最强模型

这篇文章探讨了通过增加生成样本的数量来扩展大型语言模型（LLMs）在推理任务中的表现。 研究发现，重复采样可以显著提高模型的覆盖率，特别是在具有自动验证工具的任务中。研究还发现，覆盖率与样本数量之间的关系可以用指数幂律建模，揭示了推理时间的扩展规律。尽管多数投票和奖励模型在样本数量增加时趋于饱和，但在没有自动验证工具的任务中，识别正确样本仍然是一个重要的研究方向。 总体而言，重复采样提供了一种
阅读更多...
Elastic Stack--ES集群加密及Kibana的RBAC实战

Elastic Stack--ES集群加密及Kibana的RBAC实战

前言：本博客仅作记录学习使用，部分图片出自网络，如有侵犯您的权益，请联系删除 学习B站博主教程笔记：  最新版适合自学的ElasticStack全套视频（Elk零基础入门到精通教程）Linux运维必备—ElasticSearch+Logstash+Kibana精讲_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1VMW3e6Ezk/?sp
阅读更多...
什么才是相处之道

什么才是相处之道

人与人的相处需要很多的技巧，也许很多人都不懂，可是，不懂不要紧，只要你有心，努力去学习就行，在学习中逐渐积累自己与人相处的经验，让自己在与人相处中逐渐游鱼得水。其实，相处之道很简单，就是互相信任，互相理解，可是现代的社会，这些还存在吗？
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2