搜索引擎-02-分词与全文索引

2024-04-03 01:52
文章标签 02 分词 搜索引擎 全文索引

本文主要是介绍搜索引擎-02-分词与全文索引，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

拓展阅读

搜索引擎-01-概览

搜索引擎-02-分词与全文索引

搜索引擎-03-搜索引擎原理

Crawl htmlunit 模拟浏览器动态 js 爬虫入门使用简介

Crawl jsoup 爬虫使用 jsoup 无法抓取动态 js 生成的内容

Crawl WebMagic 爬虫入门使用简介 webmagic

搜索引擎

查询，想必你不会陌生。

如何更好的查询，本文将持续记录一些点滴。

对于大部分不是专门研究搜索引擎的同学，记住以下几点即可：

1) 全网搜索引擎系统由spider， search&index， rank三个子系统构成

2) 站内搜索引擎与全网搜索引擎的差异在于，少了一个spider子系统

3) spider和search&index系统是两个工程系统，rank系统的优化却需要长时间的调优和积累

4) 正排索引（forward index）是由网页url_id快速找到分词后网页内容list<item>的过程

5) 倒排索引（inverted index）是由分词item快速寻找包含这个分词的网页list<url_id>的过程

6) 用户检索的过程，是先分词，再找到每个item对应的list<url_id>，最后进行集合求交集的过程

7) 有序集合求交集的方法有

a) 二重for循环法，时间复杂度O(n*n)

b) 拉链法，时间复杂度O(n)

c) 水平分桶，多线程并行

d) bitmap，大大提高运算并行度，时间复杂度O(n)

e) 跳表，时间复杂度为O(log(n))

Original Design

原来自己的博客进行检索。采用的是如下方式

分词->拼音->全文检索(MySQL)

友情提示:

  1. 本段较长，主要用来日后查看，可自行过滤性查看。

分词

分词-知乎

例子：

当用户输入个人博客这个关键词检索时，可以在后台进一步分为个人、博客。

  • jar
<!--结巴分词-->
<dependency><groupId>com.huaban</groupId><artifactId>jieba-analysis</artifactId><version>${jieba.version}</version>
</dependency>
  • FenCiUtil.java
import com.huaban.analysis.jieba.JiebaSegmenter;
import com.huaban.analysis.jieba.SegToken;
import com.ryo.blog.service.util.constant.AppConstant;
import org.apache.commons.lang3.StringUtils;import java.util.List;/*** @author houbinbin* @since 1.7*/
public class FenCiUtil {/*** 分词器*/private static final JiebaSegmenter SEGMENTER = new JiebaSegmenter();/*** 中文分词, 并转成拼音** @param data* @return*/public static String process(String data) {if (StringUtils.isEmpty(data)) {return StringUtils.EMPTY;}data = data.replaceAll("\\s", AppConstant.BLANK);data = data.replaceAll(AppConstant.SINGLE_QUOTES, AppConstant.BLANK);List<SegToken> list = SEGMENTER.process(data, JiebaSegmenter.SegMode.INDEX);StringBuilder sb = new StringBuilder();for(SegToken segToken : list) {sb.append(PinYinUtil.converterToSpellWithMuti(segToken.word)).append(AppConstant.COMMA);}sb.deleteCharAt(sb.lastIndexOf(AppConstant.COMMA));return sb.toString();}
}
  • AppConstant.java
/*** @author houbinbin* @since 1.7*/
public class AppConstant {/*** 默认编码格式*/public static final String DEFAULT_CHARSET = "UTF-8";/*** 逗号*/public static final String COMMA = ",";/*** 圆点*/public static final String DOT = ".";/*** 空格*/public static final String BLANK = " ";/*** 单引号*/public static final String SINGLE_QUOTES = "'";/*** 下划线*/public static final String UNDERLINE = "_";}

拼音

例子:

比如查询用户老马啸西风，为了更好的用户体验。用户输入laomaxiaoxifeng、lmxxf都应该返回对应的结果。

  • jar
<!--拼音4j-->
<dependency><groupId>com.belerweb</groupId><artifactId>pinyin4j</artifactId><version>${pinyin4j.version}</version>
</dependency>
  • PinYinUtil.java
import com.ryo.blog.service.util.constant.AppConstant;
import net.sourceforge.pinyin4j.PinyinHelper;
import net.sourceforge.pinyin4j.format.HanyuPinyinCaseType;
import net.sourceforge.pinyin4j.format.HanyuPinyinOutputFormat;
import net.sourceforge.pinyin4j.format.HanyuPinyinToneType;
import net.sourceforge.pinyin4j.format.exception.BadHanyuPinyinOutputFormatCombination;
import org.apache.commons.lang3.StringUtils;
import org.apache.commons.lang3.math.NumberUtils;import java.util.ArrayList;
import java.util.Hashtable;
import java.util.List;
import java.util.Map;/*** @author houbinbin* @since 1.7*/
public class PinYinUtil {/*** 汉字转换位汉语拼音首字母，英文字符不变，特殊字符丢失 支持多音字，生成方式如（长沙市长:cssc,zssz,zssc,cssz）** @param chines 汉字* @return 拼音*/public static String converterToFirstSpell(String chines) {StringBuffer pinyinName = new StringBuffer();char[] nameChar = chines.toCharArray();HanyuPinyinOutputFormat defaultFormat = new HanyuPinyinOutputFormat();defaultFormat.setCaseType(HanyuPinyinCaseType.LOWERCASE);defaultFormat.setToneType(HanyuPinyinToneType.WITHOUT_TONE);for (int i = 0; i < nameChar.length; i++) {if (nameChar[i] > 128) {try {// 取得当前汉字的所有全拼String[] strs = PinyinHelper.toHanyuPinyinStringArray(nameChar[i], defaultFormat);if (strs != null) {for (int j = 0; j < strs.length; j++) {// 取首字母pinyinName.append(strs[j].charAt(0));if (j != strs.length - 1) {pinyinName.append(AppConstant.COMMA);}}}// else {// pinyinName.append(nameChar[i]);// }} catch (BadHanyuPinyinOutputFormatCombination e) {e.printStackTrace();}} else {pinyinName.append(nameChar[i]);}pinyinName.append(AppConstant.BLANK);}return parseTheChineseByObject(discountTheChinese(pinyinName.toString()));}/*** 汉字转换位汉语全拼，英文字符不变，特殊字符丢失* 不支持多音字，生成方式如（重当参:zhongdangcen）** @param chines 汉字* @return 拼音*/public static String converterToSpell(String chines) {StringBuffer pinyinName = new StringBuffer();char[] nameChar = chines.toCharArray();HanyuPinyinOutputFormat defaultFormat = new HanyuPinyinOutputFormat();defaultFormat.setCaseType(HanyuPinyinCaseType.LOWERCASE);defaultFormat.setToneType(HanyuPinyinToneType.WITHOUT_TONE);for (int i = 0; i < nameChar.length; i++) {if (nameChar[i] > 128) {try {// 取得当前汉字的所有全拼String[] strs = PinyinHelper.toHanyuPinyinStringArray(nameChar[i], defaultFormat);if (strs != null && strs.length > 0) {pinyinName.append(strs[0]);}} catch (BadHanyuPinyinOutputFormatCombination e) {e.printStackTrace();}} else {pinyinName.append(nameChar[i]);}pinyinName.append(AppConstant.BLANK);}return parseTheChineseByObject(discountTheChinese(pinyinName.toString()));}/*** 汉字转换位汉语全拼，英文字符不变，特殊字符丢失* 支持多音字，生成方式如（重当参:zhongdangcen,zhongdangcan,chongdangcen* ,chongdangshen,zhongdangshen,chongdangcan）** @param chines 汉字* @return 拼音*/public static String converterToSpellWithMuti(String chines) {StringBuffer pinyinName = new StringBuffer();char[] nameChar = chines.toCharArray();HanyuPinyinOutputFormat defaultFormat = new HanyuPinyinOutputFormat();defaultFormat.setCaseType(HanyuPinyinCaseType.LOWERCASE);defaultFormat.setToneType(HanyuPinyinToneType.WITHOUT_TONE);for (int i = 0; i < nameChar.length; i++) {if (nameChar[i] > 128) {try {// 取得当前汉字的所有全拼String[] strs = PinyinHelper.toHanyuPinyinStringArray(nameChar[i], defaultFormat);if (strs != null) {for (int j = 0; j < strs.length; j++) {pinyinName.append(strs[j]);if (j != strs.length - 1) {pinyinName.append(AppConstant.COMMA);}}}} catch (BadHanyuPinyinOutputFormatCombination e) {e.printStackTrace();}} else {pinyinName.append(nameChar[i]);}pinyinName.append(AppConstant.BLANK);}return parseTheChineseByObject(discountTheChinese(pinyinName.toString()));}/*** 去除多音字重复数据** @param theStr* @return*/private static List<Map<String, Integer>> discountTheChinese(String theStr) {// 去除重复拼音后的拼音列表List<Map<String, Integer>> mapList = new ArrayList<Map<String, Integer>>();// 用于处理每个字的多音字，去掉重复Map<String, Integer> onlyOne = null;String[] firsts = theStr.split(AppConstant.BLANK);// 读出每个汉字的拼音for (String str : firsts) {onlyOne = new Hashtable();String[] china = str.split(AppConstant.COMMA);// 多音字处理for (String s : china) {Integer count = onlyOne.get(s);if (count == null) {onlyOne.put(s, NumberUtils.INTEGER_ONE);} else {onlyOne.remove(s);count++;onlyOne.put(s, count);}}mapList.add(onlyOne);}return mapList;}/*** 解析并组合拼音，对象合并方案(推荐使用)** @return*/private static String parseTheChineseByObject(List<Map<String, Integer>> list) {Map<String, Integer> first = null; // 用于统计每一次,集合组合数据// 遍历每一组集合for (int i = 0; i < list.size(); i++) {// 每一组集合与上一次组合的MapMap<String, Integer> temp = new Hashtable<String, Integer>();// 第一次循环，first为空if (first != null) {// 取出上次组合与此次集合的字符，并保存for (String s : first.keySet()) {for (String s1 : list.get(i).keySet()) {String str = s + s1;temp.put(str, 1);}}// 清理上一次组合数据if (temp != null && temp.size() > 0) {first.clear();}} else {for (String s : list.get(i).keySet()) {String str = s;temp.put(str, 1);}}// 保存组合数据以便下次循环使用if (temp != null && temp.size() > 0) {first = temp;}}String returnStr = StringUtils.EMPTY;if (first != null) {// 遍历取出组合字符串for (String str : first.keySet()) {returnStr += (str + AppConstant.COMMA);}}if (returnStr.length() > 0) {returnStr = returnStr.substring(0, returnStr.length() - 1);}return returnStr;}
}
  • 全文检索

1、博客表

原来设计如下的表存储自己写的博客文章

DROP TABLE IF EXISTS `blog_view`.`article`;
CREATE TABLE `blog_view`.`article`
(id            BIGINT(20) AUTO_INCREMENT NOT NULLCOMMENT '主键, 自增',title         VARCHAR(256)              NOT NULLCOMMENT '标题',summary       VARCHAR(512)              NOT NULL         DEFAULT ''COMMENT '摘要',body          LONGTEXT                  NOT NULLCOMMENT '内容',category_code VARCHAR(16)               NOT NULLCOMMENT '栏目代码',category_name VARCHAR(32)               NOT NULLCOMMENT '栏目名称',created_time  DATETIME                  NOT NULLCOMMENT '创建时间',updated_time  DATETIME                                   DEFAULT NULLCOMMENT '最后更新时间',PRIMARY KEY (`id`)
)COMMENT '文章表';

2、索引表

为自己的博客表建立对应的索引表

使用方式:

每次修改文章时，对文章的title、summary、category_name、body 使用分词分成多个单词，在用拼音工具保存在article_index表。

DROP TABLE IF EXISTS `blog_view`.`article_index`;
CREATE TABLE `blog_view`.`article_index`
(id            BIGINT(20) AUTO_INCREMENT NOT NULLCOMMENT '主键, 自增',article_id    BIGINT(20)                NOT NULLCOMMENT '文章ID',title         LONGTEXT                  NOT NULLCOMMENT '标题',summary       LONGTEXT                  NOT NULL DEFAULT ''COMMENT '摘要',category_name LONGTEXT                  NOT NULLCOMMENT '栏目名称',body          LONGTEXT                  NOT NULLCOMMENT '内容',PRIMARY KEY (`id`),UNIQUE KEY `uk_article_id` (article_id)
)ENGINE = MyISAMCOMMENT '文章检索表';-- 只修复索引树
ALTER TABLE `blog_view`.`article_index`ADD FULLTEXT INDEX (`title`, `category_name`, `body`, `summary`);
REPAIR TABLE `blog_view`.`article_index` QUICK;
  • 查询实战

比如用户输入关键词个人博客

1、分词

个人 博客

2、变为拼音

geren、boke

3、检索

SELECT a.id, a.title, a.summary, a.category_code, a.category_name, a.created_time
FROM article a
WHERE AND a.id IN(SELECTai.article_idFROMarticle_index aiWHERE match(ai.title, ai.body, ai.category_name, ai.summary) against(#{key} IN BOOLEAN MODE))
ORDER BY
a.id DESC

  1. 文章的检索表是设定为 MyISAM 的, 原来我也以为 MySQL只有这个才支持 全文检索。INNODB 在5.6之后是支持的,且自带分词器。

More

架构师之路

MySQL索引背后的数据结构及算法原理

深入浅出搜索架构引擎、方案与细节（上）

个人小结

  1. 对于最简单的查询，可以使用 jiebe 进行分词。结合 pinyin 对存储的核心字段的拼音全拼写，简拼写进行存储，然后索引即可。

  2. 对于文章等常见信息，如果想使用全文索引，就可以采用数据库自带的全文索引。

这篇关于搜索引擎-02-分词与全文索引的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/871626。

相关文章

中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
Git 的特点—— Git 学习笔记 02

Git 的特点—— Git 学习笔记 02

文章目录 Git 简史Git 的特点直接记录快照，而非差异比较近乎所有操作都是本地执行保证完整性一般只添加数据 参考资料 Git 简史 众所周知，Linux 内核开源项目有着为数众多的参与者。这么多人在世界各地为 Linux 编写代码，那Linux 的代码是如何管理的呢？事实是在 2002 年以前，世界各地的开发者把源代码通过 diff 的方式发给 Linus，然后由 Linus
阅读更多...
Solr 使用Facet分组过程中与分词的矛盾解决办法

Solr 使用Facet分组过程中与分词的矛盾解决办法

对于一般查询而言  ,  分词和存储都是必要的  .  比如  CPU  类型  ”Intel  酷睿  2  双核  P7570”,  拆分成  ”Intel”,”  酷睿  ”,”P7570”  这样一些关键字并分别索引  ,  可能提供更好的搜索体验  .  但是如果将  CPU  作为 Facet  字段  ,  最好不进行分词  .  这样就造成了矛盾  ,  解决方法
阅读更多...
MySQL record 02 part

MySQL record 02 part

查看已建数据库的基本信息： show CREATE DATABASE mydb; 注意，是DATABASE 不是 DATABASEs， 命令成功执行后，回显的信息有： CREATE DATABASE mydb /*!40100 DEFAULT CHARACTER SET utf8mb3 / /!80016 DEFAULT ENCRYPTION=‘N’ / CREATE DATABASE myd
阅读更多...
GPU 计算 CMPS224 2021 学习笔记 02

GPU 计算 CMPS224 2021 学习笔记 02

并行类型 （1）任务并行 （2）数据并行 CPU & GPU CPU和GPU拥有相互独立的内存空间，需要在两者之间相互传输数据。 （1）分配GPU内存 （2）将CPU上的数据复制到GPU上 （3）在GPU上对数据进行计算操作 （4）将计算结果从GPU复制到CPU上 （5）释放GPU内存 CUDA内存管理API （1）分配内存 cudaErro
阅读更多...
滚雪球学MyBatis(02)：环境搭建

滚雪球学MyBatis(02)：环境搭建

环境搭建 前言 欢迎回到我们的MyBatis系列教程。在上一期中，我们详细介绍了MyBatis的基本概念、特点以及它与其他ORM框架的对比。通过这些内容，大家应该对MyBatis有了初步的了解。今天，我们将从理论走向实践，开始搭建MyBatis的开发环境。了解并掌握环境搭建是使用MyBatis的第一步，也是至关重要的一步。 环境搭建步骤 在开始之前，我们需要准备一些必要的工具和软件，包括J
阅读更多...
SAP学习笔记 - 开发02 - BTP实操流程（账号注册，BTP控制台，BTP集成开发环境搭建）

SAP学习笔记 - 开发02 - BTP实操流程（账号注册，BTP控制台，BTP集成开发环境搭建）

上一章讲了 BAPI的概念，以及如何调用SAP里面的既存BAPI。 SAP学习笔记 - 开发01 - BAPI是什么？通过界面和ABAP代码来调用BAPI-CSDN博客 本章继续讲开发相关的内容，主要就是BTP的实际操作流程，比如账号注册，登录，BTP集成开发环境的搭建这方面。 目录 1，账号注册 2，BTP登录URL 3，如何在BTP上进行开发？ 以下是详细内容。 1，账
阅读更多...
Java实现Smartcn中文分词

Java实现Smartcn中文分词

新建一个Maven项目，修改pom.xml文件内容：注意版本的不同； <!-- https://mvnrepository.com/artifact/org.apache.lucene/lucene-analyzers-smartcn --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-analyzers
阅读更多...
浙大数据结构：02-线性结构4 Pop Sequence

浙大数据结构：02-线性结构4 Pop Sequence

这道题我们采用数组来模拟堆栈和队列。 简单说一下大致思路，我们用栈来存1234.....，队列来存输入的一组数据，栈与队列进行匹配，相同就pop 机翻 1、条件准备 stk是栈，que是队列。 tt指向的是栈中下标，front指向队头，rear指向队尾。 初始化栈顶为0，队头为0，队尾为-1 #include<iostream>using namespace std;#defi
阅读更多...
【SpringMVC学习02】SpringMVC入门程序

【SpringMVC学习02】SpringMVC入门程序

转自：http://blog.csdn.net/yerenyuan_pku/article/details/72231272 现有这样一个需求：使用SpringMVC这个框架实现商品列表的展示。这是我对这个需求的分析：我这里假设请求的url为/itemList.action，由于我想要展示商品列表，所以是并不需要传递参数的，再次是这里仅仅是一个SpringMVC的一个入门小程序，并不会与MyBa
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2