简介
为什么要分词呢，当大数据处理中要提取语句的特征值，进行向量计算。所有我们要用开源分词工具把语句中的关键词提取出来。
IK Analyzer是什么呢，就是我们需要的这个工具，是基于java开发的轻量级的中文分词工具包。它是以开源项目Luence为主体的，结合词典分词和文法分析算法的中文分词组件。IK有很多版本，在2012版本中，IK实现了简单的分词歧义排除算法。
我们为什么选择IK作为我们的分词工具呢，这里我们简单介绍一下。这里我们采用了网上的一些介绍。
1、IK才用了特有的“正向迭代最细粒度切分算法”，支持细粒度和智能分词两种切分模式。
2、在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位 普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。
3、2012版的只能分词模式支持简单的分词排歧义处理和数量词合并输出。
4、用了多子处理器分析模式，支持 英文字母 数字 中文词汇等
5、优化词典存储，更小的内存占用。
IK的引入使用
在pom.xml中加入如下配置即可
IK的两个重要词典
扩展词典：为的是让需要切分的字符串的词语 根据扩展词典里的词，不要切分开来。
例如：扩展词典中有：中国的中国台湾 。那么原本会切分成：中国 的 中国台湾 在 东海 。会切分成：中国的中国台湾 在 东海
停止词典：对比停止词典，直接删掉停止词典中出现的词语
IK的使用
项目：maven工程
resource目录下三个配置文件
测试