中文分词的设计与实现

摘要 在中文搜索引擎中，中文分词的作用显而易见，其结果直接影响到搜索引擎的性能。当前的中文分词主要有三类方法：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。中文分词发展过程中遇到最大的问题是歧义识别和新词识别。中文分词的未来发展方向既要解决这类问题，使得达到较高的分词正确率，又要进行行业分词不断拓展中文分词的应用范围，本文主要研究分词中的最大匹配算法。 关键词：中文分词 研究进展 概率 新词识别 研究意义　 　　目前在自然语言处理技术中，中文处理技术比西文处理技术要落后很大一段距离，许多西文的处理方法中文不能直接采用，就是因为中文必需有分词这道工序。中文分词是其他中文信息处理的基础，搜索引擎只是中文分词的一个应用。其他的比如机器翻译（MT）、语音合成、自动分类、自动摘要、自动校对等等，都需要用到分词。因为中文需要分词，可能会影响一些研究，但同时也为一些企业带来机会，因为国外的计算机处理技术要想进入中国市场，首先也是要解决中文分词问题。在中文研究方面，相比外国人来说，中国人有十分明显的优势。 分词准确性对搜索引擎来说十分重要，但如果分词速度太慢，即使准确性再高，对于搜索引擎来说也是不可用的，因为搜索引擎需要处理数以亿计的网页，如果分词耗用的时间过长，会严重影响搜索引擎内容更新的速度。因此对于搜索引擎来说，分词的准确性和速度，二者都需要达到很高的要求。目前研究中文分词的大多是科研院校，清华、北大、哈工大、中科院、北京语言学院、东北大学、IBM研究院、微软中国研究院等都有自己的研究队伍，而真正专业研究中文分词的商业公司除了海量科技以外，几乎没有了。科研院校研究的技术，大部分不能很快产品化，而一个专业公司的力量毕竟有限，看来中文分词技术要想更好的服务于更多的产品，还有很长一段路。　 1.4本文主要工作 本文主要研究中文分词的算法，并且实现一种采用原子切分的最大匹配的方法。本文共分为五章，主要章节安排如下： 第一章? 介绍中文分词的研究背景和意义 第二章? 介绍开发工具及开发语言 第三章? 研究中文分词的一些算法 第四章? 软件的详细设计及实现 第五章? 性能测试与分析