常见中文分词开源项目

 

SCWS

  Hightman开发的一套基于词频词典的机械中文分词引擎,它能将一整段的汉字基本正确的切分成词。采用的是采集的词频词典,并辅以一定的专有名称,人名,地名,数字年代等规则识别来达到基本分词,经小范围测试大概准确率在 90% ~ 95% 之间,已能基本满足一些小型搜索引擎、关键字提取等场合运用。45Kb左右的文本切词时间是0.026秒,大概是1.5MB文本/秒,支持PHP4和 PHP 5。

 

ICTCLAS

  这可是最早的中文开源分词项目之一,ICTCLAS在国内973 专家组组织的评测中活动获得了第一名,在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名。ICTCLAS3.0分词速度单机 996KB/s,分词精度98.45%,API不超过200KB,各种词典数据压缩后不到3M.ICTCLAS全部采用C/C++编写,支持Linux、 FreeBSD及Windows系列操作系统,支持C/C++、C#、Delphi、Java等主流的开发语言。

 

HTTPCWS

  HTTPCWS 是一款基于HTTP协议的开源中文分词系统,目前仅支持Linux系统。HTTPCWS 使用“ICTCLAS 3.0 2009共享版中文分词算法”的API进行分词处理,得出分词结果。HTTPCWS 将取代之前的 PHPCWS 中文分词扩展。  庖丁解牛分词:  Java 提供lucence 接口,仅支持Java语言。

 

CC-CEDICT

  一个中文词典开源项目,提供一份以汉语拼音为中文辅助的汉英辞典,截至2009年2月8 日,已收录82712个单词。其词典可以用于中文分词使用,而且不存在版权问题。Chrome中文版就是使用的这个词典进行中文分词的。

 

IK

  IKAnalyzer 是一个开源的,基于java语言开发的轻量级的中文分词工具包。从 2006年12月推出1.0版开始,IKAnalyzer 已经推出了3个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对 Lucene的默认优化实现。

 

Paoding

   Paoding (庖丁解牛)基于Java的开源中文分词组件,提供lucene和solr 接口,具有极 高效率高扩展性 。引入隐喻,采用完全的面向对象设计,构思先进。   高效率:在PIII 1G内存个人机器上,1秒 可准确分词100万 汉字。   采用基于 不限制个数 的词典文件对文章进行有效切分,使能够将对词汇分类定义。   能够对未知的词汇进行合理解析

 

MMSEG4J

   MMSEG4J 基于Java的开源中文分词组件,提供lucene和solr 接口  1、mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法实现的中文分词器,并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。   2、MMSeg 算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex 加了四个规则过虑。官方说:词语的正确识别率达到了 98.41%。mmseg4j 已经实现了这两种分词算法。

 

扩展阅读:
1.IK http://code.google.com/p/ik-analyzer/
2.Paoding http://code.google.com/p/paoding/
3.MMSEG4J http://code.google.com/p/mmseg4j/

阅读更多
想对作者说点什么? 我来说一句

中文分词开源项目 JAVA中文分词

2017年10月09日 382KB 下载

csw5.0中文分词组件

2009年09月01日 3.61MB 下载

Delphi实现的简单中文分词v1.1

2006年02月23日 243KB 下载

Delphi 实现汉语分词

2010年05月17日 787KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭