面向WEB SERVICES的聚焦网络爬虫

摘 要 随着Web服务和网络技术的发展,越来越多的Web Services得以开发并发布到网络上。由于网络上存在的Web Services相互之间没有内在的必然联系,用户很难快速有效地获取和利用这些服务。普通的网络爬虫无法准确抓取Web服务，而面向Web Services的聚焦网络爬虫可以有效消除大量无用搜索结果，为用户提供方便。 本文主要做一个自动抓取Web Services的聚焦网络爬虫，它为搜索引擎从万维网上抓取Web Services。该聚焦爬虫对互联网中的URL进行搜索,通过搜索发现分布在网络上的Web Services,并最终建立起一个关于Web Services的信息库,为共享Web Services提供条件。 本系统使用JSP编写，数据库使用SQL2005。 关键词：java ,Web Service,网络爬虫，SqlServer2005，聚焦网络爬虫 目 录1 绪论??? 11.1时代背景??? 11.2 科研信息背景??? 11.3 JAVA背景??? 21.4 JSP背景??? 21.5 系统开发目标??? 32 系统可行性研究??? 42.1 技术可行性研究??? 42.2 社会可行性??? 42.3 操作可行性研究??? 43 平台需求分析??? 63.1 用户工作流程??? 63.2 用户业务需求??? 63.2 平台技术需求??? 64 平台设计??? 84.1 设计思想??? 84.2 设计原则??? 84.3 网络爬虫架构分析??? 94.4模块功能分析??? 94.5 性能需求??? 144.6 运行需求??? 145 平台详细制作??? 165.1 模块相关代码??? 165.2模块数据库设计以及说明??? 185.3 平台管理系统设计??? 215.4 平台制作工具??? 226 平台测试运行??? 246.1 模块测试??? 246.2 整体测试??? 24总 结??? 26致 谢??? 27参 考 文 献??? 28附 录??? 29