简介

为什么要分词呢，当大数据处理中要提取语句的特征值，进行向量计算。所有我们要用开源分词工具把语句中的关键词提取出来。

IK Analyzer是什么呢，就是我们需要的这个工具，是基于java开发的轻量级的中文分词工具包。它是以开源项目Luence为主体的，结合词典分词和文法分析算法的中文分词组件。IK有很多版本，在2012版本中，IK实现了简单的分词歧义排除算法。

我们为什么选择IK作为我们的分词工具呢，这里我们简单介绍一下。这里我们采用了网上的一些介绍。

1、IK才用了特有的“正向迭代最细粒度切分算法”，支持细粒度和智能分词两种切分模式。

2、在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位 普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。

3、2012版的只能分词模式支持简单的分词排歧义处理和数量词合并输出。

4、用了多子处理器分析模式，支持 英文字母 数字 中文词汇等

5、优化词典存储，更小的内存占用。

IK的引入使用

在pom.xml中加入如下配置即可

IK的两个重要词典

扩展词典：为的是让需要切分的字符串的词语 根据扩展词典里的词，不要切分开来。

例如：扩展词典中有：中国的中国台湾 。那么原本会切分成：中国 的 中国台湾 在 东海 。会切分成：中国的中国台湾 在 东海

停止词典：对比停止词典，直接删掉停止词典中出现的词语

IK的使用

项目：maven工程

resource目录下三个配置文件

测试

    以上就是本篇文章【大数据工具：IKAnalyzer分词工具介绍与使用】的全部内容了，欢迎阅览 ！ 文章地址：http://lanlanwork.gawce.com/news/9142.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 阁恬下移动站 http://lanlanwork.gawce.com/mobile/ , 查看更多