中文分词器性能比较

具体的Solr使用方法假设读者已有了基础，关于Solr的性能指标见前期的Solr博文。

1.      中文分词

1.1  中文分词器概述

注意：

中文分词器可能与最新版本Lucene不兼容，配置好运行时出现TokenStream contractviolation错误，对于mmseg4j需要更改com.chenlb.mmseg4j.analysis.MMSegTokenizer源码，添加super.reset()在reset()内，重新编译后替换原jar。

1.2  mmseg4j

创建索引效果：

创建索引效率：

17个各种类型字段，在solr博文中字段基础上，选一空string类型字段改为新类型，并写入文本内容（原纯文本Size约为400B，SolrInputDocument对象Size约为1130B）。

文本内容以词库中任选20词拼成的句子，每词大约3字，一句大约60字。

总数据量为2000W条数据，与2.2节相同配置。

速度：在与“solr博文http://www.cnblogs.com/wgp13x/p/3742653.html”中1.2节相同配置的情况下，分词索引创建速度要差于不使用分词的。

大小：分词索引大小要小于不使用分词的，经测试分词字段配置成autoGeneratePhraseQueries="false"对索引大小几乎没有影响。

数据搜索效率：

文本内容以词库中任选20词拼成的句子，每词大约3字，一句大约60字，总数据量为2000W条数据。

补充：

对于非中文、数字、英文词汇，包括繁体字，在词典中加入新词汇即可。

mmseg4j对于“都是先从容易的做起”，不能把“容易”分出来，分词结果为“都是|先|从容|易|的|做起”。

网上推荐使用textMaxWord类型分词。

1.3  IKAnalyzer

创建索引效果：

FieldValue内容、在词库中补充均同1.2。

分词字段配置autoGeneratePhraseQueries="false"

创建索引效率：

速度：与1.2比较，分词索引创建速度要略差于使用mmseg4j分词的。

大小：分词索引大小要略大于使用mmseg4j分词的。

数据搜索效率：

补充：

mmseg4j中textMaxWord，“一不做二不休”被分为：一|不做|二不|不休；

IKAnalyzer中细粒度，“一不做二不休”被分为：一不做二不休|一|不做|二不休|二|不休；

因此同样使用autoGeneratePhraseQueries="false"，“一不做二不休”搜索，IKAnalyzer搜索出来的结果要远多于mmseg4j。

1.4  Ansj

创建索引效果：

FieldValue内容同1.2，没有补充词库。

<fieldType name="text_ansj"class="solr.TextField">

                            <analyzertype="index">

                                     <tokenizerclass="org.ansj.solr.AnsjTokenizerFactory" conf="ansj.conf"rmPunc="true"/>

                            </analyzer>

                            <analyzertype="query">

                                     <tokenizerclass="org.ansj.solr.AnsjTokenizerFactory" analysisType="1"rmPunc="true"/>

                            </analyzer>

</fieldType>

    “京華”二字被分词后变成了“京华”，据朋友介绍，它有将生僻字改字的Bug。

创建索引效率：

速度：与1.2、1.3比较，分词索引创建速度要略差于使用mmseg4j、IKAnalyzer分词的。

大小：分词索引大小要略大于使用mmseg4j、IKAnalyzer分词的。

数据搜索效率：

1.5  总结

按分词后的结果进行搜索，若在分词字段配置autoGeneratePhraseQueries="false"，则是搜索条件先分词，再使用分词在结果中搜索，默认的是true。autoGeneratePhraseQueries="false"对创建索引速度没影响，对搜索结果有影响。也可以修改Solr的QueryPasser，对于输入的一个字符串，先进行相应分词，再使用分词结果在索引集中搜索。

精确或模糊*搜索，都是以词为单位搜索。精确搜索是指返回所有包含分词的结果。

分词器能对word、letter、digit等进行识别。

对于不使用分词的String类型进行搜索，只能通过模糊搜索*，搜到连字，以字为单位搜索。

在分词索引内搜索，速度较快；不分词，需要遍历所有文档，速度较慢。

如果需要分词的话，那分词速度是主要瓶颈。

综合考虑，mmseg4j是首选的中文分词器。

如有需要具体的测试代码，可以跟本人联系。