中文分词工具测评 – 自然语言处理-炼数成金

工具模式根底棘手的学术

小引

分词朝每一方向的细想和敷用药国文自然语言处置的童鞋来说,这是每一高度地高度地根本的组成部分。,分词的集做成某事直线尝上面的字类。、命名灵有别于、句法辨析及剩余部分身分的真实。作为根本组成部分,学会对分词的细想由来已久。,市场上流传的几大开源分词工具也被产业界的各大公司敷用药很多年了。近似,国文分词跟随一篇博文的宣布被推到了风口浪尖,微博做成某事很多对女性的蔑称、微信包围的保暖的议论。本文不情愿对很视频博客宣布过度评论。,然而想用开着的的履历集对各大分词工具举行每一成立地测评,为工具的选择装修秉承。

国文分词工具

本文选择了4个共有的的分词工具,分也许:哈萨克斯坦LTP、奇纳河科学院计算细想所、清华大学图拉work乌银镶嵌术克和Jieba,为了比力分词的摧毁,选择C 版本的四种工具举行评价。

1、LTP https://github.com/HIT-SCIR/ltp

2、NLPIR https://github.com/NLPIR-team/NLPIR

3、THULAC https://github.com/thunlp/THULAC

4、jieba

棘手的履历集

1、SIGHAN 烤面包 2005 MSR, 560KB  

2、SIGHAN 烤面包 2005 PKU, 510KB  

3、人民日报 2014, 65MB  

前两个履历集是SIGHAN于2005年机构的国文分词竞赛运用的履历集,亦学会棘手的分词工具的基准履历集,本文用于棘手的各大分词工具的真实,首要的一组履历大。,用来棘手的分词的摧毁。

棘手的办法

用SIGHAN 烤面包 竞赛做成某事2005分本子、test 黄金履历与耕作 单词履历棘手的4种工具,详细运用办法可求教于: 其做成某事自述文献。

棘手的计算机硬件

Intel Core i7-6700 CPU@*8

棘手的水果

1、MSR棘手的水果

2、北大考试成绩

3、人民日报的棘手的水果

棘手的尾声

1、每一好的分词工具不可能性唯一的在每一履历集上吸引一直的按生活指数调整,它可能性具有良好的机能在拥有履历集。。从这短时间看法,Tulac公司和LTP公司都做得精致的。。

2、因分词是每一根本身分,分词摧毁朝每一方向的每一分词工具来说也至关重要。从这短时间看法,图拉work乌银镶嵌术克和Jieba干得一直。。

3、全部的都确信,根本分词依靠模式,但真正想用分词工具来处理敷用药层面上的成绩,拥有需求在词典中运用,本纸棘手的的4个工具证实用户明确的主题词表。。

4、需求标注重音的短时间是,哈尔滨产业LTP证实分段模式的在线锻炼,即,锻炼履历可以在根底上不竭扩张。,致富、一种更赋予个性的分词模式。

总结

争议是件过分殷勤,特也许,因为差数语境的人在争议同一的事实。,知的火花常常冲突。,它将对助长这一运动场的开展起到上进的功能。。我认为同类的的论点可以更多。,让顺利开始或预备动身的孩子可以注意到更多的OB。,而不是被稍微流传词浪费了双眼。,丧权辱国感觉。分词,晚近的感到很热

吃水获知

模式,并不克比先发制人习俗的crf模式有多大机能上的溃,因而,本人可能性识别力地在一旁观看吃水获知。

仿智

,它越高,它可能性垂下得越偏高地。。

求教于文献

1、Zhongguo Li, Maosong Sun. Punctuation as Implicit Annotations for Chinese Word 分段。 Computational Linguistics, vol. 35, no. 4, pp. 505-512, 2009.

2、Meishan Zhang, Yue Zhang, Guohong 傅。 鉴于过渡 Neural Word Segmentation

3、Meishan Zhang, 志隆 Deng,Wanxiang Che, and Ting 线路喷嘴单元。 Combining Statistical Model and Dictionary for Domain Adaption of Chinese Word 分段。 Journal of Chinese Information 处置。 2012, 26 (2) : 8-12 中 国文)

4、Wanxiang Che, Zhenghua Li, and Ting 线路喷嘴单元。 LTP: A Chinese Language Technology 平台。 In Proceedings of the Coling 2010:示威招摇过市。 2010.08, pp13-16, Beijing, 奇纳河。

迎将偶然发现本站的吐艳利益集团

商智能和履历辨析组

兴味视野包孕使履历变成论点的杂多的办法。,实践敷用药侦查共享与议论,辨析工具,ETL工具,履历仓库,履历发掘工具,用公报发表体系等全向知

QQ群:81035754

发表评论

电子邮件地址不会被公开。 必填项已用*标注