ElasticSearch与ICTCLAS中文分词系统

    今天在学习ElasticSearch插件时&＃xff0c;其中包含了Smart Chinese Analysis插件&＃xff0c;这个插件集成了Lucene的Smart Chinese analysis模块到ES中&＃xff0c;可以对中文或中英混合text来分析[1]。

    再搜索了Lucene的Smart Chinese analysis模块&＃xff0c;发现是2009年5月9日&＃xff0c;Gao xiaoping贡献给Apache Lucene社区的智能中文分词模块imdict-chinese-analyzer&＃xff0c; 当时的Lucene是2.4.1版本[2,3]。在[3]中&＃xff0c;有对imdict-chinese-analyzer的简要描述。

    imdict-chinese-analyzer 是 imdict智能词典 的智能中文分词模块&＃xff0c;算法基于隐马尔科夫模型(Hidden Markov Model, HMM)&＃xff0c;是中国科学院计算技术研究所的ictclas中文分词程序的重新实现&＃xff08;基于Java&＃xff09;&＃xff0c;可以直接为lucene搜索引擎提供*简体中文*分词支持。

    Apache Lucene的中文分词

    Apache Lucene是java实现的一个高效的文本搜索引擎软件&＃xff0c;它适用于几乎所有要求全文检索的应用项目&＃xff0c;尤其是跨平台应用。对英文的处理已经非常完善&＃xff0c;但在中文方面仍然非常欠缺&＃xff0c;目前lucene的contribution中&＃xff0c;中日韩语言只有一个分析器&＃xff08;cjk analyzer&＃xff09;&＃xff0c;还是按中日韩文字来逐个切分的&＃xff0c;无论从索引效率还是搜索准确度上都很难符合要求。

    为什么需要智能分词

    中文与西方语言最大的区别就在于语句的词汇之间没有明显的分词界限&＃xff0c;但是计算机自然语言处理是按词汇来进行分析的&＃xff0c;因此中文分词的效果直接影响中文检索和自然语言处理的准确性。例如&＃xff1a; “我购买了道具和服装”&＃xff0c;如果采用比较简单的正向最大匹配算法&＃xff0c;分词结果是“我 购买 了 道具 和服 装”&＃xff0c;明显偏离了原句的意思&＃xff1b;而采用基于HMM的智能分词模型&＃xff0c;能够综合分析句子的结构、各个词的频率以及各个词汇之间的跳转频率&＃xff0c;从而能产生最优化的分词结果&＃xff1a;“我 购买 了 道具 和 服装”。

    imdict-chinese-analyzer的特性

    1. 完全Unicode支持

    分词核心模块完全采用Unicode编码&＃xff0c;无须各种汉字编码的转换&＃xff0c;极大的提升了分词的效率。

    2. 提升搜索效率

    根据imdict智能词典的实践&＃xff0c;在有智能中文分词的情况下&＃xff0c;索引文件比没有中文分词的索引文件小1/3

    3. 提高搜索准确度

    imdict-chinese-analyzer采用了HHMM分词模型&＃xff0c;极大的提高了分词的准确率&＃xff0c;在此基础上的搜索&＃xff0c;比对汉字逐个切分要准确得多&＃xff01;

    4. 更高效的数据结构

    为了提高效率&＃xff0c;针对常用中文检索的应用场景&＃xff0c;imdict-chinese-analyzer对一些不必要的功能进行了删减&＃xff0c;例如词性标注、人名识别、时间识别等等。另外还修改了算法的数据结构&＃xff0c;在内存占用量缩减到1/3的情况下把效率提升了数倍。

    三种智能分词软件效率对比

    ICTCLAS 1.0是中科院张华平博士开发的一款基于HHMM的智能分词软件&＃xff0c;2009年5月时版本为3.0(商业版&＃xff0c;C&＃43;&＃43;实现)&＃xff0c;而imdict-chinese-analyzer 和 ictclas4j 都是基于同一模型开发的Java版分词软件&＃xff0c;三者的分词效率对比如下图&＃xff1a;

  |                            | ictclas4j      | imdict-chinese-analyzer | ICTCLAS 3.0 |

                               |:--------------|:----------------------------|:----------------|

 | 分词速度(字节/秒) |　13.86　      |　483.64　                       |　678.15　       |

| 分词速度(汉字/秒)　|　7439　     |　259517　                       |　363888　     |

测试数据采用中文文件大小为62390KB&＃xff0c;内容长度为33477693字符&＃xff0c;各软件独立分词并将分开的词写到文件里。

测试环境为&＃xff1a;酷睿E7200双核&＃xff0c;内存2G&＃xff0c;JDK参数为&＃xff1a;"-Xms512m -Xmx1024m "

由此对比可以看出&＃xff0c; imdict-chinese-analyzer的分词效率与C&＃xff0b;&＃xff0b;实现的ICTCLAS 3.0的分词效率在同一个数量级&＃xff0c;是 ictclas4j 的 36 倍&＃xff01;

    imdict-chinese-analyzer在Apache Lucene中被重新命名为SmartChineseAnalyzer。其源代码中有以下注释&＃xff1a;

    SmartChineseAnalyzer 是一个智能中文分词模块&＃xff0c; 能够利用概率对汉语句子进行最优切分&＃xff0c; 并内嵌英文tokenizer&＃xff0c;能有效处理中英文混合的文本内容。

    它的原理基于自然语言处理领域的隐马尔科夫模型(HMM)&＃xff0c; 利用大量语料库的训练来统计汉语词汇的词频和跳转概率&＃xff0c; 从而根据这些统计结果对整个汉语句子计算最似然(likelihood)的切分。

    因为智能分词需要词典来保存词汇的统计值&＃xff0c;SmartChineseAnalyzer的运行需要指定词典位置&＃xff0c;如何指定词典位置请参考 org.apache.lucene.analysis.cn.smart.AnalyzerProfile

    SmartChineseAnalyzer的算法和语料库词典来自于ictclas(http://ictclas.nlpir.org/downloads)

    &＃64;see org.apache.lucene.analysis.cn.smart.AnalyzerProfile

     NLPIR汉语分词系统&＃xff0c;又名ICTCLAS&＃xff0c;当前最新版本是2017。NLP表示自然语言处理&＃xff0c;IR表示信息检索&＃xff0c;NLPIR.org是自然语言处理与信息检索共享平台。

     张华平&＃xff0c;NLPIR(ICTCLAS)创始人与开发者&＃xff0c;2009年担任北京理工大学大数据搜索挖掘实验室主任&＃xff0c;博士&＃xff0c;副教授。其微博见[5]

参考资料&＃xff1a;

[1] Smart Chinese Analysis plugin, https://www.elastic.co/guide/en/elasticsearch/plugins/master/analysis-smartcn.html

[2] contrib intelligent Analyzer for Chinese, https://issues.apache.org/jira/browse/LUCENE-1629

[3] Source code of imdict-chinese-analyzer, https://code.google.com/archive/p/imdict-chinese-analyzer/

[4] NLPIR/ICTCLAS汉语分词系统, http://ictclas.nlpir.org/downloads

[5] 张华平博士微博, http://weibo.com/drkevinzhang?refer_flag&＃61;1005055013_&is_hot&＃61;1