基于WebService的异构数据库检索系统

1 引言
1.1 课题背景
随着Internet的飞速发展，网络迅速成为一种重要的信息传播和交换的手段，数据资源的共享成为一个热门话题。如何获取网络上自治、异构、分布的数据并加以综合利用，即数据集成[1]，成为一个引起广泛关注的研究领域。
数据集成的概念是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，实现分布的、异构的、自治的数据共享的主要技术，数据集成一般还应满足用户数据访问的实时性和安全性等方面的要求。
数据集成的核心任务是要将互相关联的分布式异构数据源集成到一起，使用户能够以透明的方式访问这些数据源，而不用关心数据源的存储位置和存储方式。
数据集成的数据源:包括结构化的数据，如关系数据库；半结构化数据，如XML文档；已经存在的文件系统等[2]。
1.2 国内外研究现状
目前，数据库的数据转换方法很多，例如微软公司的SQL Server数据库，就有导入和导出数据的服务，它可以启动数据转换服务（Data Transform Service，简称DTS），来完成各类异构数据库的转换。同时国内也存在一些数据转换工具和软件，比如Beeload等。

【www.think58.com计算机毕业论文网】 [资料来源：http://THINK58.com]

1.2.1 数据转换服务
数据可能以各种格式保存并分布在不同的位置[3]。数据转换服务（DTS）通过提供一组工具，可以将来自完全不同的源的数据析取、转换和合并到DTS所支持的单个或多个目标数据库以满足需求。通过DTS工具图形化地生成DTS包或使用DTS对象模型编制包，可创建适合自己需要的自定义数据移动解决方案。此服务以向导的形式引导使用者实现DTS的功能，如数据和对象的导入、导出、验证以及在异类 OLEDB和ODBC数据源之间的转换。
1.2.2 数据转换工具及软件
Beeload是第一款国产ETL（Extract Transform Load）工具。它不仅支持Oracle、MS SQL、Sybase等主流数据库的数据抽取及装载，而且还支持文本文件的抽取备份。此外，Beeload内置了大量的API函数，提供强大的数据转换功能；通过直观的图形操作界面，使用户通过简单的拖拽动作即可实现ETL规则的定义，使得元数据管理变得相当容易。
同时Beeload 也是一种数据整合软件，可对企业经营过程中所产生的各类业务数据进行抽取、转换和汇总，为数据仓库提供高质量的数据；它还集成了元数据管理、工作流管理及作业调度等功能。除提供直观的图形化操作方式外，还提供强大的脚本解释功能，既适合一般用户，又可充分满足高级用户需要的产品。Beeload数据转换流程图如图1所示

copyright think58

[来源：http://www.think58.com]

图1 Beeload数据转换流程图
1.3 本课题研究的意义
在Internet这样一个动态环境中，各种数据库不断的加入或去除，数据库中的数据也在不断变化，而现在的绝大多数应用是建立在这些分离的数据库基础之上，因而，为了实现信息资源的共享和交流，不同数据库间相互操作和协作不可避免。 这样随着时间的推移和技术的进步，这些由不同核心技术构建的信息系统就像一个个“信息孤岛”，各自有着不同的处理对象、操作方法和专用客户端，在各个环节之间存在着数据交流和部门协同的问题。这些情况都表明:在现代信息化进程中，不同数据库联合使用的要求是非常迫切并会长期存在下去的，并且往往还伴随着一个复杂的分布异构环境。这种分布异构性表现为:场地分布，由LAN或WAN支撑，存在多种网络协议;数据分布，各种形式的数据分散在各节点，以各种形式存在:硬件平台多样化，从台式机、工作站到大型主机等;操作系统多样化，如Windows Netware，各种UNIX以及VMS等:应用平台多样化，包括来自不同开发组织的各种应用软件、中间件和开发工具。 然而，要求用户面对所有这些复杂的分布异构特性，并指望他学会操作每一种数据库是不现实的，在使用中也不方便。对于用户而言，希望屏蔽掉各种层次的异构特性，他们不必知道各个物理数据库系统的分布，不必知道各个物理数据库的机构组成和操作方法，不必自己去进行数据转换和结果汇总，只需通过简单的全局访问就可以得到结果，这正是异构数据库集成技术的主要研究内容。也是其意义所在。 本文来自think58 [资料来源：http://think58.com]
1.4 本课题的研究方法
本系统的主要功能是实现跨平台的异构数据库系统之间的数据转换，所以结合当前所具备条件提出以下研究方法。
(1)通过数据库接口软件与不同的数据库直接连接，如ODBC和JDBC等。在同时检索的数据库数量较少时，使用此技术可在一定程度上解决异构检索问题，但数据库达到一定数量时，处理速度很难保证。这种方式仅适用于对属于本单位的少量异构数据库进行统一检索。
(2)不同数据库间的格式转换[4]。主要是利用数据库产品本身提供访问异构数据库的功能，以实现在异构环境下建立具有较高性能的分布式数据系统。现在一些图书馆制作的学科导航系统就此利用此方法设计的，其利用一些程序将各种异构数据库的部分数据导入一个数据库系统中，以方便读者访问，但是收录的数据库数量不能太多，此外还涉及版权问题。
(3)运用元搜索引擎的基本原理,利用数据库的Web客户端 进行统一检索。元搜索引擎主要运用在网页信息的搜索方面，但现有各种电子资源数据库都提供相应的客户端接口，因此可利用元搜索引擎的原理对各个异构数据库进行统一检索。这种方法的缺点在于需要对各个数据库的Web处理接口进行详尽分析，各个数据库的Web处理接口如发生改变则需重新设计，接口的稳定性较差。 本文来自think58 [来源：http://think58.com]
1.5 数据库的选择
数据库有许多种，桌面的数据库Access以及大型的关系型数据库SQL Server，Oracle等。面对这么多的数据库选择哪种合适呢？先从它们的功能来说明。
1．Access数据库
Access数据库虽然使用比较简单灵活，但功能并不强大，一些数据库的维护功能不强。另外Access是文件形式的，安全性极低。
2．Oracle数据库
Oracle数据库是比较大型的数据库，适合在大项目中使用，特点如下：
1) 支持大数据量、多用户的高性能的事务处理
Oracle支持的最大数据量可以达到几百千兆，并可充分利用硬件设备资源。支持多用户同时在同一数据上执行各种数据应用，并保证数据一致性。系统维护具有高的性能，Oracle可持续工作，正常的系统操作（后备或个别计算机系统故障）不会中断数据库的使用。可控制数据库数据的可用性，可在数据库级或在子数据库级上控制。
2) 支持分布式数据库和分布处理
Oracle为了充分利用计算机系统和网络，允许将处理分为数据库服务器和客户应用程序，所有共享的数据管理由数据库管理系统的计算机处理，而运行数据库应用的工作站集中于解释和显示数据。通过网络连接的计算机环境，Oracle将存放在多台计算机上的数据组合成一个逻辑数据库，可被全部网络用户存取。分布式系统像集中式数据库一样具有透明性和数据一致性。 [资料来源：THINK58.com]
3) 具有可移植性、可兼容性和可连接性。
由于Oracle软件可在许多不同的操作系统上运行，以致Oracle上所开发的应用可移植到任何操作系统，只需很少修改或不需修改。Oracle软件同工业标准相兼容，包括许多工业标准的操作系统，所开发应用系统可在任何操作系统上运行。可连接性是指Oracle允许不同类型的计算机和操作系统通过网络可共享信息。
3．SQL Server数据库
SQL Server是基于服务器端的中型的数据库，可以适合大容量数据的应用，在功能管理上也比较强大。在处理海量数据的效率，后台开发的灵活性，可扩展性等方面强大。因为现在数据库都使用标准的SQL语言对数据库进行管理，所以如果是标准SQL语言，两者基本上都可以通用的。SQL Server还有更多的扩展，可以用存储过程，数据库大小无极限限制。
由上可知SQL Server和Oracle这两个数据库比较适合作为数据检索系统的数据库。

think58

[来源：http://www.think58.com]

[资料来源：http://www.THINK58.com]