本地语义搜索系统

摘 要 随着计算机技术的迅速发展，存储在电脑内的信息内容越来越多。如何更全面、更准确地在本地电脑上查找信息已经成为我们把握机遇、迎接挑战和获取成功的重要条件。目前虽然已经有了像Google、百度这样优秀的通用搜索引擎，但是它们并不能适完全适用于桌面搜素。因此，本着整合计算机磁盘上资源的目的，为方便计算机用户对本地资源的获取，本文设计并实现了一个灵活、快速、具有良好可扩展性的桌面搜索引擎。 本文在研究Lucene搜索引擎的基本原理、核心技术和处理流程的基础上，结合对搜索引擎具体需求的分析，完成了桌面搜索引擎系统。不仅完成了整个搜索引擎框架的设计，而且基本上完成了所有的开发工作。 本文论述了系统开发的背景和国内外搜索引擎技术发展现状，并详细说明了该搜索引擎系统的开发过程和方法。首先从功能需求和非功能需求两个方面对桌面搜索引擎具体需求进行分析。然后根据需求分析提出了实现目标和原则,从系统的功能架构和技术架构两个方面描述了系统的整体功能和总体流程。在技术架构设计中，自行设计了插件机制，用于提高系统的可扩展性、灵活性、可维护性，并降低了设计和开发的复杂性。在详细设计阶段，具体描述了各个功能模块和插件机制的设计。其中，索引和检索模块都是基于Lucene软件包实现的。最后对实现过程中遇到的重要问题提出了详细的解决方案。系统实现部分描述了系统的运行环境和实现界面，并重点叙述了实现过程中的几个关键问题，如分词算法的实现以及链接分析算法的实现等。最后对系统进行测试，并根据测试结果进行了性能分析。 关键词：搜索引擎；java；Lucene;软件工程 研究背景 随着计算机技术的不断发展以及计算机的越来越普及，计算机已经成为人们最重要的信息存储媒介之一。然而随着数据量巨大，如何让计算机用户在浩瀚的网络信息中更全、更准、更有效地找到对自己有用的信息成为了信息检索的一个新课题。现在，网络搜索引擎己成为全球范围内研究、教学、商务等活动中不可缺少的重要工具，在一定程度上解决了网络信息资源查找的问题,但是桌面搜索却还是一个新兴的方向 1.2搜索引擎的发展 ?? 随近几年，小型搜索引擎快速发展。在国内，一方面，很多基于主题领域的小型搜索引擎得到很好的发展。一些音乐搜索引擎以及医药方面的搜索都有很好的应用。另一方面，在越来越多的学校、企业、比较大型的网站如BBS都开始建立了自己的搜索引擎。在国外，比较著名的有:美国教育资源信息搜索的AskERIC，实现医药文献搜索的Highwire等，小型专业的搜索引擎涵盖了很多方面。Google公司在2007年决定向小型网站提供专门的搜索服务。这些都表明，小型专用的搜索引擎将在人们获取信息中发挥更重要的作用。 在小型搜索引擎快速发展的同时，越来越多的人致力于研究和发展这些小型搜索引擎开发技术，Lucene和Nutch是其中的代表成果。lucene是一个高性能、纯Java的全文检索引擎，完全免费、开源。Lucene几乎适合于任何需要全文检索的应用，尤其是跨平台的应用。在成为Apache下的一个子项目后，Lucene得到快速发展，它的设计目标就是为各种中小型应用程序加入全文检索功能。 小型搜索引擎与通用搜索引擎相比有很多优点，由于它本身的信息量小，它不可能取代通用搜索引擎。但是，它是对通用搜索的很好的补充。随着信息的进一步扩大，小型搜索引擎也将会进一步发展，其中已经引起人们关注的垂直搜索引擎在未来的搜索将发挥更大的作用。? 1.3 本文的主要工作 本文在深入分析通用搜索引擎基本原理、架构设计和核心技术的基础上以桌面搜索作为实验平台，结合开源的lucene引擎工具包设计并实现了一个可扩展、可复用的小型的搜索引擎系统。本文的具体工作有以下几个方面: 1? 详细论述系统需求、系统设计原则和目标，明确了系统功能，设计出详细的系统流程图。 2? 设计并实现了页面的解析模块，以到达提取文本内容的目的，方便索引。 3? 设计了简洁实用的用户界面，并对系统进行了测试和性能分析。