金融市场的数据挖掘

摘要:针对金融时间序列分析中注重快速作出趋势判断的特点 ,利用数据挖掘的思想和工具 ,提出一种金融时间序列模式快速发现算法。该算法对数据的分布和平稳性等方面的要求不高 ,不基于任何假设 ,能够非常快速地发现时间序列中的频繁模式 ,经过模式匹配后 ,可以用于金融时间序列的分析与预测以实际汇率数据为例 ,证明了该算法的有效性。 本文通过采集金融数据进行数据的分类、统计等数据预处理，然后进行数据的训练，从已有训练数据中去快速发现测试及预测未来数据。 根据频繁模式和模式匹配的算法和结合专有的编程工具VS2005采用C#开发了一个演示系统来说明。 关键词: 数据挖掘; 时间序列; 频繁模式; 关联规则; 金融 本文将以金融交易为例，介绍了基于聚类的时序数据分析在其中的应用，通过聚类分析，可以帮助用户在庞大数据中，发现那些偏离正常交易范围的数据，并予以警示，可以有效地规避金融交易中的风险，保障资金安全。预期成果如下： 提出框架，建立一个应用系统，在结构上，可以完成数据挖掘的相关工作，对时序数据进行处理，发现数据中的内在模式，从而发现孤立点，可以将其作为挖掘金融非法交易的基础，同时，根据发现的模式，可以对数据的走势做出预测。 针对金融交易的特性，结合领域知识，将各类数据分析处理，得出最后将要进行挖掘的时序数据，有利于提高数据挖掘中挖掘出模式的正确性、高效性和准确性。 在对时序数据处理中，主要采用了DFT变换，将时序数据转换为频域数据，降低了数据处理的复杂程度。在模式发现中，采用了基于欧几里得距离的处理方法，并结合统计学知识对传统的C-均值方法做出了改进，给出了评估函数。 采用了基于模式的小样本构建方法，将时序数据预测转换位传统的回归预测法，以其提高预测精度。 数据挖掘技术在 银行金融领域应用广泛。金融事务需要搜集和处理大量数据，对这些数据进行分析，发现其数据模式及特征，然后可能发现某个客户、消费群体或组织的金融和商业兴趣，并可观察金融市场的变化趋势。 银行使用Intelligent Agent数据挖掘软件提高销售和定价金融产品的精确度，如家庭普通贷款。 无论从在金融领域中进行数据挖掘，时序交易数据是挖掘的主要对象之一，其使用的主要技术手段有：对数据进行预处理，分析其内在模式，并根据模式对数据进行分析预测。本课题的主要研究目的有两个。 首先，根据模式分析的结果，将时序数据进行分类为：可以归为模式的和不可以归为模式的。对于那些不可以归为模式的，即认为其为孤立点，以此完成孤立点发现的工作。发现孤立点的意义在于，其有助于发现金融交易中的非正常交易。发现金融交易中的非正常交易是一件极为重要的事情，由此可以对洗钱等非法交易进行监控，以达到控制金融风险的目的。鉴于对金融领域中非法交易的认定涉及到多个方面，是一项复杂的系统工程，不能够简单地以金融时序数据分析为唯一依据，将得出的孤立点认定为非法交易；但是，这不是说发现时序交易中孤立点是没有任何意义的，有异常的交易不一定都是非法交易，但是，非法交易往往蕴含在异常交易中。通过对孤立点的发现和处理，可以将孤立点对应的交易汇总起来，作为待挖掘对象，提交给其它数据挖掘模块，用以发现其中的非法交易，以此可以大大提高对金融非法交易进行挖掘的效率和精度。 其次，通过对时序数据的模式分析，可以指定阈值，将相似的模式划归为一类，在此类中的数据具有较强的相似性，可以通过相同的直线来完成曲线的拟和工作，提高曲线拟和的精度，最终达到提高预测数据的精度的目的。 一般而言，对时序数据进行预测，往往可以得到比较好的趋势预测值；但是，针对实际数据发生值而言，由于时序数据序列中包含有较多的噪声，其预测精度往往不甚理想，通过这种方法，可以将趋势预测转化为基于小样本空间的线性预测，以此可以提高预测的精度。在实际工作中，预测时序数据的发展有着重要的现实意义，通过对时序数据预测，得到未来交易的预测值，以其为参考来准备资金特别是现金的量，由此可以有效地控制资金流量，使资金合理有效运行，减少由资金量过大带来的不便和风险，进一步保障资金安全，维护金融机构和客户的权益。 综上所述，通过对金融时序数据的挖掘，进而实现孤立点的发现和对未来交易数据的预测，是可行而且具有非常重要而有意义的事情，这对于防范金融风险，维护资金安全有着重要的现实意义和使用价值。