异构数据库环境下数据采集代理服务器设计实现

内 容 摘 要 今天，越来越多的应用需要访问各种异构数据源，对于企业应用来说，这既是企业内部发展的需要也是企业外部环境的需要。企业在发展过程中积累了大量数据，并为存储和管理这些数据不断投资。然而，由于实施数据管理系统的阶段性、技术性以及其它经济和人为因素的影响，以至即使在一个单独企业，采用的数据管理系统也大大相同，从简单的文件数据库到复杂的网络数据库，它们构成了企业的异构数据源。尽管这些数据管理系统能够满足数据存储和管理要求，但是在许多情况下，为完成一项工作，企业应用可能需要访问分析在网络不同位置上的多个数据管理系统中的数据。例如，某公司需要了解一套型架的生产和使用情况，那么，相关应用首先必须访问生产准备科、工装所、以及使用车间的不同的数据库系统来提取相关数据，然后进行处理。很显然，原有的数据管理系统并不能提供这种支持，需要一个强大的系统能够集成存在于分布数据源的数据。 不仅如此，随着生存环境的不断变化，企业在把握机遇的同时也面临着许多挑战。网络的发展使企业逐渐从一个孤立节点发展成为不断与网络交换信息和进行商务事务的实体，企业数据集成也从企业内部集成走向了企业间集成。现在的企业比以往任何时候都需要将内部数据进行发布和交换，这必然导致越来越多的企业应用需要访问各种异构数据源，并且这些数据源可能分布在网络上的任何地方。为了满足这种需求，必须有一种系统能够支持异构数据源的数据集成。因此，异构数据库的跨库检索成为电子资源整合的核心技术，本文介绍了异构数据库的特征、异构数据库的连接和数据检索技术；探讨了跨库检索系统应具备的功能和应注意的问题；最后用VisualBasic6.0开发了一套支持多种数据库查询的软件。 关键词:异构数据库；跨库检索；数据库连接；数据库管理系统;VisualBasic6.0 异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，每个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的 DMBS。异构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。异构数据库系 统的异构性主要体现在以下几个方面： 1. 计算机体系结构的异构 各个参与的数据库可以分别运行在大型机、小型机、工作站、PC或嵌入式系统中。 2. 基础操作系统的异构 各个数据库系统的基础操作系统可以是Unix、Windows NT、 Linux等。 3. DMBS本身的异构 可以是同为关系型数据库系统的Oracle、 SQL Server等，也可以是不同数据模型的数据库，如关系、模式、层次、网络、面向对象，函数型数据库共同组成一个异构数据库系统。 异构数据库系统的目标在于实现不同数据库之间的数据信息资源、硬件设备资源和人力资源的合并和共享。其中关键的一点就是以局部数据库模式为基础，建立全局的数据模式或全局外视图。这种全局模式对于建立高级的决策支持系统尤为重要。 大型机构在许多地点都有分支机构，每个子机构的数据库中都有着自己的信息数据，而决策制订人员一般只关心宏观的、为全局模式所描述的信息。建立在数据仓库技术基础上的异构数据库全局模式的描述是一种好的解决方案。数据仓库可以从异构数据库系统中的多个数据库中收集信息，并建立统一的全局模式，同时收集的数据还支持对历史数据的访问，用户通过数据仓库提供的统一的数据接口进行决策 支持的查询。 数据库转换 对于异构数据库系统，实现数据共享应当达到两点：一是实现数据库转换； 二是实现数据的透明访问。 该软件通过所提供的数据库转换工具和API接口实现了这两点。数据库转换工具，可以将一种数据库系统中定义的模型转化为另一种 数据库中的模型，然后根据需要再装入数据，这时用户就可以利用自己熟悉的数据库系统和熟悉的查询语言，实现数据共享的目标。数据库转换工具首先进行类型转 换，访问源数据库系统，将源数据库的数据定义模型转换为目标数据库的数据定义模型，然后进行数据重组，即将源数据库系统中的数据装入到目的数据库中。 在转换的过程中，有时要想实现严格的等价转换是比较困难的。首先要确定两种模型中所存在的各种语法和语义上的冲突，这些冲突可能包括： 命名冲突：即源模型中的标识符可能是目的模型中的保留字，这时就需要重新命名。 格式冲突：同一种数据类型可能有不同的表示方法和语义差异，这时需要定义两种模型之间的变换函数。 结构冲突：如果两种数据库系统之间的数据定义模型不同，如分别为关系模型和层次模型，那么需要重新定义实体属性和联系，以防止属性或联系信息的丢失。 总之，在进行数据转换后，一方面源数据库模式中所有需要共享的信息都转换到目的数据库中，另一方面这种转换又不能包含冗余的关联信息。 数据库转换工具可以实现不同数据库系统之间的数据模型转换，需要进一步研究的问题是：如果数据库转换同时进行数据定义模式转换和数据转换，就可能引起同一数据集合在异构数据库系统中存在多个副本，因此需要引入新的访问控制机制。在 保证各个参与数据库自治，维护其完整性、安全性的基础上，对于异构数据库系统提供全局的访问控制、并发机制和安全控制。 如果数据库转换只进行数据定义转换，不产生数据的副本，那么在新的目的数据库定义模型的框架下访问数据，实现上仍是对源数据库系统中数据的访问。这时利用新的数据库系统中的数据处理语言实现的事务，不能直接访问源数据库，必须进行事务级的翻译才可以执行。 数据的透明访问在异构数据系统中实现了数据的透明访问，用户就可以将异构分布式数据库系统看 成普通的分布式数据库系统，用自己熟悉的数据处理语言去访问数据库，如同访问一个数据库系统一样。但目前还没有一种广泛使用的数据定义模型和数据查询语 言，实现数据的透明访问可以采用多对一转换、双向的中间件等技术。开放式数据库互连（Open DataBaseConnectivity,简称ODBC）是一种用来在相关或不相关的数据库管理系统中存取数据的标准应用程序接口（API）。ODBC为应用程序提供了 一套高层调用接口规范和基于动态链接库的运行支持环境。目前，常用的数据库应用开发的前端工具如VisualBasic、 Delphi等都通过开放数据库互联(ODBC)接口来连接各种数据库系统。而多数数据库管理系统（如：Oracle、Sybase、SQL Server等）都提供了相应的ODBC驱动程序，使数据库系统具有很好的开放性。ODBC接口的最大优点是其互操作能力，理想情况下，每个驱动程序和数 据源应支持完全相同的ODBC函数调用和SQL语句，使得ODBC应用程序可以操作所有的数据库系统。然而，实际上不同的数据库对SQL语法的支持程度各不相同，因此，ODBC规范定义了驱动程序的一致性级别，ODBC API的一致性确定了应用程序所能调用的ODBC函数种类，目前ODBC 2.0规定了三个级别的函数。