云计算中的流式数据清洗工具设计与实现（股票模型）

摘? 要 二十一世纪是计算机的时代，“云”的概念也在为人们所接受，伴随着网络时代的成熟，越来越多产业的发展依赖于互联网。各个行业对信息系统的需求已经不仅仅局限于数据的查询，保存。如何获得第一手的信息，及时的对收集的信息进行处理，以及依赖于数据挖掘出的信息做出可靠的分析决策成为了决定企业竞争力的重要因素。 流式数据的产生是互联网发展的产物，海量的数据随着时间的推移高速的涌入系统，是对信息处理一项重大的挑战。要设计与实现云计算下的流式数据清洗工具，首先要对云计算、流式数据的特点、定义有着深刻的了解，利用流式数据的特点，并区别于传统的数据清洗，才能设计实现出满足于流式数据的有效的数据清洗工具。 关键词：数据清洗 研究内容 在“云”的模式下，股市证券、电子信息等行业的在线交易过程中会产生大量的流式数据，数据量的庞大、范围的广域、流入的高速都为数据仓库的处理提出了一项重大的挑战。然而数据清洗是数据仓库必不可少的组成部分，是数据挖掘至关重要的预处理过程。因此论文研究的内容如下： （1）研究“云”计算下，流式数据的特征。 （2）以传统的数据清洗为基础，研究流式数据清洗的原理。 （3）研究流式数据、数据仓库、数据挖掘之间的联系。 （4）设计与实施一项流式数据清洗的工具。 （5）要在系统实施的过程中，取得可视化的输出结果。 1.4 研究意义 网络的时代奠定了计算机发展的基础，人们对互联网的依赖也增强了企业对数据的掌控需求。数据的质量和数量对企业的发展有着越来越重要的影响。 本文对“云”的大背景下的流式数据清洗的研究也恰恰是针对产出数据日益庞大且高速的当今互联网的局面。流式数据的出现是对互联网融入人们生活的肯定，是计算机发展的必要趋势，因此如何高效的处理流式数据也成为了日益炙热的研究。对流式数据的清洗不仅仅为数据仓库的后续挖掘和分析提供了有效的基础，更是企业对数据质量要求的重要保证。? 1.5 论文结构摘要 论文以供分为五章，结构概要如下： 第一章：绪论。介绍课题研究的背景，简单阐述设计和实现流式数据清洗在“云”计算下的意义。对论文的内容做简要的概述。 第二章：数据仓库与流式数据清洗的相关知识。为整片论文的理论做铺垫，建立有关于论文思想的知识库。 第三章：基于云计算中的流式数据清洗工具的设计。运用系统将理论知识化为实际应用，选择开发工具，为系统开发做准备。 第四章：基于云计算中的流式数据清洗工具的实现。模拟股票交易，产生流式数据，并在数据清洗过程中使系统产生可视化结果。 第五章：流式数据清洗工具所存在的问题和改进设想。总结全文，为设计和实现流式数据清洗的工具过程提出意见和建议。