改写IKAnalyzer分词器

本文主要是介绍改写IKAnalyzer分词器，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

ik4solr4.3

solr4.3的ik分词器（[https://github.com/lgnlgn/ik4solr4.3] 主要改动不是我完成的，只是指点。使用maven）

支持从solr自己的环境中获取自定义词典（使用solr的ResourceLoader, 只需要把字典文件放到conf目录里）
增加一个定时更新的停用词、同义词工厂类

============我是分割线====以下是详细说明================

[html]  view plain copy  
 6.1新增功能说明  
 ①、由分级判断改为权重判断，增加了单字权重判断。   
     在org.wltea.analyzer.core包中LexemePath.java：compareTo(LexemePath)函数  
   
 ②、增加了单字字频字典，除去了停止字典(交给stopFilter处理)  
 在org.wltea.analyzer.dic包中Dictionary.java：  
  /* 单字带词频词典 */  
 private DictCharNode _CharFreqDict;  
   
 在DictCharNode.java中：  
 用HashMap实现了单字和字频的存储。  
   
 ③、实现solr的接口  
 在org.wltea.analyzer.lucene包中。  
 一、IKHandler.java：用于处理HTTP请求，现只实现主词典的动态请求加载。  
     请求参数：http://xxx/ikupdate?dicpath=dic.txt  
     注意事项：1、多个字典文件以逗号分隔。  
               2、在Zookeeper集群上时，得先上传修改后的字典文件，再更新。  
     使用方法：需在solrconfig.xml中配置  
 <requestHandler name="/ikupdate" class="org.wltea.analyzer.lucene.IKHandler">  
     <lst name="defaults">  
     </lst>   
 </requestHandler>  
 可以配置默认参数  
 <str name=”dicpath”>dic.txt</str>  
   
 二、IKTokenizerFactory.java  
 IKTokenizer.java：用于生成IK分词器实例对象。  
     注意事项：IK共用一个字典文件，主字典和扩展字典都加载在_MainDict中。  
     使用方法：在schema.xml中，增加dicpath配置项，每次生成对象时，都会加载。  
               字典重建已封装在Dictionary类中，addDic2MainDic()函数  
   
 三、IKStopFilter.java  
 IKStopFilterFactory.java：停止词过滤  
 IKSynonymFilterFactory.java：同义词过滤  
     注意事项：1、字典的切换采用solr默认接口实现  
               2、2个过滤器在schema.xml均增加了autoupdate配置项，为true，则                     会定时去更新字典文件。  
     使用方法：在schema.xml中，添加自己的过滤器类，增加配置项。  
   
 四、TimelyThread.java：  
 停止词和同义词更新管理类，如果设置了autoupdate=true，则注册到此管理类中，由管理类定时去触发更新操作。  
   
 五、schema.xml示例  
   
   
   
   < fieldType name="text_cn" class="solr.TextField" positionIncrementGap="100" >          
   
   <analyzer type="index" >         
     < tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" />  
     < filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />  
    < filter class="solr.LowerCaseFilterFactory"/>  
   < /analyzer>  
   
   < analyzer type="query">  
     <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" dicPath="extDic.txt,extDic1.txt"/>  
     <filter class="org.wltea.analyzer.lucene.IKStopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" autoupdate="true"/>  
     <filter class="org.wltea.analyzer.lucene.IKSynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true" autoupdate="true"/>  
     <filter class="solr.LowerCaseFilterFactory"/>  
   </analyzer>  
   </fieldType>  