mysql从大到小搜索_关于搜索,从Like到Match Against到搜索引擎

2023-10-21 19:40

本文主要是介绍mysql从大到小搜索_关于搜索,从Like到Match Against到搜索引擎,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近在弄Mysql搜索相关的东西,走了很多坑,总结一下How to search。

一、使用like模糊查询

9db40debdfa0f08b2c86443da00fe2ab.png大家常用的搜索方式,莫过于使用mysql自带的模糊查询like,where like “%xxx%”搜索简单粗暴,屡试不爽。对于小几万数据量的数据库来说,这个方式是很好用的,很符合当下快节奏的生活方式。(测试数据库有近20W条)

CDBCD0126E92473EBCD2980049FD8D09

似乎看起来是很快的,但是

269FB0ADD37E4A14A0F5DCC9657EB554

6d5b213f35170df4747da37a25e5ad37.png

一加上order by 排序的话,花费时间成指数增长,而且

C4420619E2EB403487EC1DD2692B39B2

9e04e3043d3e02ab72eeec326869a497.png

随着like要匹配的词长度增加,查询速度也是程指数下降,14秒,才20W数据,就用了14.5秒的时间,简直不能忍,要是增长到百万,不得爆炸。like貌似真的不行~于是,上全文索引。

二、使用match against 全文索引search

由于实在不能忍like的缓慢,于是乎就上Mysql自带的全文索引。mysql自5.6以后innodb支持fulltext index。嗯,刚好我们的服务器上是5.7,撸起袖子,换match。但是第一个问题出现了,分词?由于英语句子都有空格作为分隔符,而中文是没有空格的,怎么样才能分词呢?两种解决办法,一种是中文转拼音塞个新字段进去;再就是把中文分词后用符号隔开塞个新字段进去。我用了第二种方式:

E0E2853DEC4144DE8F99B312BF5A990F

bc15dd5ba0ceeb28e8998b70bf022f30.png

然后修改mysql配置文件:mysql> SHOW VARIABLES LIKE 'ft%';ft_boolean_syntax    + ->

ft_min_word_len一定要改小,改为1或者2.因为中文分词最小就是一个字或两个字,4的话显然是不行的。然后创建全文索引:

B1BC64E70F044618880D17EE2343EF83

11d9bca8a6f463d0fe9e7780e5404b71.png

ps:有三点要说一下:

1.全文索引match的字段和建索引时的字段必须一致,联合索引同理。

2.against要匹配的中文,需要加上“+”号参数+:表示必须包含。 -:表示必须不包含 *:表示任意字符

3.两种匹配方式    自然语言检索:IN NATURAL LANGUAGE MODE    布尔检索: IN BOOLEAN MODE

剔除一半匹配行以上都有的词,譬如说,每个行都有this这个字的话,那用this去查时,会找不到任何结果,这在记录条数特别多时很有用,

原因是数据库认为把所有行都找出来是没有意义的,这时,this几乎被当作是stopword(中断词);但是若只有两行记录时,是啥鬼也查不出来的,

因为每个字都出现50%(或以上),要避免这种状况,请用IN BOOLEAN MODE。现在就可以使用全文索引了,来试试看吧:

120AFE40E8CE457BA94AA8DF72C675CF

c14935730fab62222249049e39a2b7e9.png

卧槽,貌似比like慢多了啊,什么玩意?加上排序之后呢?

78EC2E90F4E449ABA4E31FBACAC65379

a166a9dd154847c83573a8aa90ef6ed9.png

再试试多几个词

2A468D3BDE1F4D46B6D3F77B594AB3A1虽然说比起like来,多一点的匹配词并没有增加额外的时间,但是只要一order by ,不管你order by 的字段有没有创建索引,都要对结果集进行重排序。观察mysql性能分析后发现:

65d7b5de3a5e8ff181d4132e4abfc7d5.png

全文索引稳定只用了300到500毫秒的时间,剩下的80%~90%时间全在排序上了。这也是不能忍啊,于是乎找了各种解决办法,再stackexchange上找到一个回答。

在使用全文索引之后要进行排序操作的话需要这样:

SUGGESTION

Refactor the Query so that the MATCH ...AGAINST collects keys only

EXAMPLE #1SELECT a.id FROM a

WHERE

MATCH ('search1','search2') AGAINST ('aaaa' IN BOOLEAN MODE)

ORDER BY a.id DESC

LIMIT 5;

should become something likeSELECT N.id FROM

(SELECT id FROM a WHERE

MATCH ('search1','search2') AGAINST ('aaaa' IN BOOLEAN MODE)) M

INNER JOIN a N USING (id)

ORDER BY N.id DESC LIMIT 5;

EXAMPLE #2SELECT a.id,a.popularity FROM a

WHERE

MATCH ('search1','search2') AGAINST ('aaaa' IN BOOLEAN MODE)

ORDER BY a.popularity DESC

LIMIT 5;

should become something likeSELECT N.id,N.popularity FROM

(SELECT id FROM a WHERE

MATCH ('search1','search2') AGAINST ('aaaa' IN BOOLEAN MODE)) M

INNER JOIN a N USING (id)

ORDER BY N.popularity DESC LIMIT 5;

CONCLUSION

The main idea: Collect the keys using MATCH ...AGAINST and join it back to the source table

好吧,看到了零时表。。。。继续

C2D2CD6CD3F546D584D4DAF8F06B9552

6b51b0168e43008e55af01d9ef653aa4.png

B2D226E119944E58BDA7BA2A41E88533

貌似跟原来一样,并没有提升什么。。。。

DBD533D2902E4F8C9616DAF22C273868

0d1a320eb071c63622fc048a18df40f1.png

6df3c4c48e18f77693978548e7a371ac.png

这样做虽然sorting result的时间变短了,但是copy to tmp table 的时间增加了很多。。。。这样的话,对优化来说并无卵用,再次google,stackexchange:You may need to try setting certain variables within your sessionYou may need to try setting certain variables within your session

These particular values may be too small for your DB Connection to fulfill the query efficiently. These can be set within as follows:To see what values these settings have currently do the following:SHOW VARIABLES LIKE 'max_heap_table_size';SHOW VARIABLES LIKE 'tmp_table_size';

To set max_heap_table_size to 64M do the following:SET max_heap_table_size = 1024 * 1024 * 64;

To set tmp_table_size to 32M do the following:SET tmp_table_size = 1024 * 1024 * 32;

If you cannot set these values within your own session, contact your hosting provider to dynamically set them in your my.cnf.

好吧,改配置文件。。。。修改配置文件之后Copy to temp table 的时间就大幅下降了

D654E0FD5EF94247A3EADDFC51E56758

f4387386174a4e575c2015045483c456.png

至此,全文索引告一段落。这个数据量下,在有排序的情况下,检索速度能保持在1秒以内。然后这远远不够,怎么办?上搜索引擎~

三、使用搜索引擎

sphinx,coreseek,xunsearch 三种选一个吧。

sphinx名气比较大,但是中文文档比较少。

coreseek,反正官网我是访问不了了。

xunsearch 中文文档够用,而且一直在更新。所以就选xunsearch吧。

顺着教程来:

1、下载安装xunsearch

wget http://www.xunsearch.com/download/xunsearch-full-latest.tar.bz2

tar -xjf xunsearch-full-latest.tar.bz2

cd xunsearch-full-1.3.0/

sh setup.sh

2、开启和重启

xunsearch /usr/local/xunsearch/bin/xs-ctl.sh restart

3、检测运行环境和修改配置文件

/usr/local/xunsearch/sdk/php/util/RequiredCheck.php

0A306791570F484580262B38A0E5682D3、修改索引配置文件demo.ini这个ini配置文件是很重要的,如果不会写的话,推荐使用官方的模板自动生成:http://www.xunsearch.com/tools/iniconfig

4DE06DF5BB98408F9440B44993CF39D7

2977f4f1337c1a515317f841d8278497.png

b56da6538d990e0908cea1aa7c7167ba.png

E7CDE6C7958F4264A0DF5CA2F204138B

e62102e8555f4415dbb0c188684cce44.png

4、导入数据生成索引(支持json,mysql,CSV)一般使用mysql

# 清空 demo 项目的索引数据

util/Indexer.php --clean demo

# 导入 JSON 数据文件 file.json 到 demo 项目

util/Indexer.php --source=json demo file.json

# 导入 MySQL 数据库的 dbname.tbl_post 表到 demo 项目中,并且平滑重建

util/Indexer.php --rebuild --source=mysql://root:pass@localhost/dbname --sql="SELECT * FROM common_plat_goods" --project=demo

# 查看 demo 项目在服务端的相关信息

util/Indexer.php --info -p demo

# 强制刷新 demo 项目的搜索日志

util/Indexer.php --flush-log --project demo

# 强制停止重建

util/Indexer.php --stop-rebuild demo

这里我使用的是mysql,只需要goods_id,plat_id,goods_name 三个字段。导入脚本如下:

/usr/local/xunsearch/sdk/php/util/Indexer.php --rebuild --source=mysql://root:123456@127.0.0.1/search --sql="select goods_id,plat_id,goods_name from common_plat_goods order by goods_id desc" --project=demo

PS:

localhost不行就换成127.0.0.1

--project=demo是配置文件的名称

EA6D1B8559904F7CA06E200728A62F4A

971001592d07cba83da7fb9f6a5c9043.png

速度还是很快的,近18W条数据几秒钟索引就重建好了。试试看官方提供的测试搜索:

74E2F2AF5D58482FBE5AA0BEB19470B0

0c1e7bfbde11559ddeafb7e46bfec4fc.png

你没看错,0.0098秒就完成了检索,大功告成~什么like,match aginst都是浮云,搜索引擎才是王道啊。

接下来就可以结合xunsearch的SDK写相应的业务了,具体可以看官方的文档。比起直接使用like或者match against,搜索引擎的确很爽

这篇关于mysql从大到小搜索_关于搜索,从Like到Match Against到搜索引擎的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/256545

相关文章

MySQL 中的 JSON 查询案例详解

《MySQL中的JSON查询案例详解》:本文主要介绍MySQL的JSON查询的相关知识,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql 的 jsON 路径格式基本结构路径组件详解特殊语法元素实际示例简单路径复杂路径简写操作符注意MySQL 的 J

Windows 上如果忘记了 MySQL 密码 重置密码的两种方法

《Windows上如果忘记了MySQL密码重置密码的两种方法》:本文主要介绍Windows上如果忘记了MySQL密码重置密码的两种方法,本文通过两种方法结合实例代码给大家介绍的非常详细,感... 目录方法 1:以跳过权限验证模式启动 mysql 并重置密码方法 2:使用 my.ini 文件的临时配置在 Wi

MySQL重复数据处理的七种高效方法

《MySQL重复数据处理的七种高效方法》你是不是也曾遇到过这样的烦恼:明明系统测试时一切正常,上线后却频频出现重复数据,大批量导数据时,总有那么几条不听话的记录导致整个事务莫名回滚,今天,我就跟大家分... 目录1. 重复数据插入问题分析1.1 问题本质1.2 常见场景图2. 基础解决方案:使用异常捕获3.

SQL中redo log 刷⼊磁盘的常见方法

《SQL中redolog刷⼊磁盘的常见方法》本文主要介绍了SQL中redolog刷⼊磁盘的常见方法,将redolog刷入磁盘的方法确保了数据的持久性和一致性,下面就来具体介绍一下,感兴趣的可以了解... 目录Redo Log 刷入磁盘的方法Redo Log 刷入磁盘的过程代码示例(伪代码)在数据库系统中,r

mysql中的group by高级用法

《mysql中的groupby高级用法》MySQL中的GROUPBY是数据聚合分析的核心功能,主要用于将结果集按指定列分组,并结合聚合函数进行统计计算,下面给大家介绍mysql中的groupby用法... 目录一、基本语法与核心功能二、基础用法示例1. 单列分组统计2. 多列组合分组3. 与WHERE结合使

Mysql用户授权(GRANT)语法及示例解读

《Mysql用户授权(GRANT)语法及示例解读》:本文主要介绍Mysql用户授权(GRANT)语法及示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql用户授权(GRANT)语法授予用户权限语法GRANT语句中的<权限类型>的使用WITH GRANT

Mysql如何解决死锁问题

《Mysql如何解决死锁问题》:本文主要介绍Mysql如何解决死锁问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录【一】mysql中锁分类和加锁情况【1】按锁的粒度分类全局锁表级锁行级锁【2】按锁的模式分类【二】加锁方式的影响因素【三】Mysql的死锁情况【1

SQL BETWEEN 的常见用法小结

《SQLBETWEEN的常见用法小结》BETWEEN操作符是SQL中非常有用的工具,它允许你快速选取某个范围内的值,本文给大家介绍SQLBETWEEN的常见用法,感兴趣的朋友一起看看吧... 在SQL中,BETWEEN是一个操作符,用于选取介于两个值之间的数据。它包含这两个边界值。BETWEEN操作符常用

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

MySql match against工具详细用法

《MySqlmatchagainst工具详细用法》在MySQL中,MATCH……AGAINST是全文索引(Full-Textindex)的查询语法,它允许你对文本进行高效的全文搜素,支持自然语言搜... 目录一、全文索引的基本概念二、创建全文索引三、自然语言搜索四、布尔搜索五、相关性排序六、全文索引的限制七