RBF神经网络对函数回归技术的研究

摘要 径向基函数神经网络是一种高效的前馈式神经网络，它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。同时，它也是一种可以广泛应用于模式识别、非线性函数逼近等领域的神经网络模型。 在论述RBF径向基神经网络基本理论的基础上,给出利用MATLAB神经网络工具箱开发RBF网络的主要函数,并应用于函数逼近的设计及仿真。 利用RBF神经网络,以函数回归分析为目标,应用MATLAB建立了性能预测仿真模型。首先,建立了函数回归分析模型;其次,建立了仿真模型。通过检验样本,结果显示网络的回归分析效果与原函数吻合比较好。 关键字：MATLAB，RBF网络，函数回归 神经网络技术的发展与现状 1943年，心理学家Declutch和数学家Pitts合作，提出了第一个神经计算机模型(MP模型)，从此掀开了神经网络研究的序幕。神经网络历经近60年的研究，几经曲折与兴衰，其中有许多对神经网络研究起到至关重要作用的标志性事件。继Declutch与Pitts合作提出MP模型之后，1957年Rosenblatt发展了MP模型，并提出了感知器(Perception)模型和三层感知器网络；1969年，Minks与poet共同出版了《Perception》一书，从数学上剖析了以Perception为代表的神经网络系统的功能，并指出了多层神经网络无法训练学习的悲观论点，由于他俩在学术界的重要地位，从而使得神经网络的研究一度处于低潮；1975年Webs在其博士论文中最先提出反向传播学习算法的基本概念；1982年Hopfield提出了一种用于联想记忆和优化计算的Hopfield网络模型，并使用简单的运算放大器得以实现，从而掀起神经网络研究的又一次热潮；1986年至1988年Rinehart和McClelland领导的PDP研究小组先后出版了论著《并行分布处理》一、二、三卷，该书全面介绍了基于认知微观结构探索的PDP理论，同时他们发展Webs提出的多层感知器网络的BP学习算法，从而彻底解决了多层网络难以训练学习的问题，以至80年代末掀起了一股神经网络研究的新的高潮。迄今为止，BP算法还是应用最普遍的神经网络学习算法之一。进人90年代以来，神经网络的研究多数集中在网络结构与优化、学习训练算法、实际应用等三个方面。这些研究可以按照网络应用的实时性划分为对静态网络的研究和对动态网络的研究两个方面。 (1)关于静态网络的研究，先后提出和发展了许多新网络模型，如正交函数网络、径向基函数网络、样条函数网络、子波函数网络等。从应用角度来看，这些新提出的网络模型侧重点各有不同。BP网络是目前应用最为广泛的一种网络模型，它有很强的生物背景，由于具有卓越的输入输出映射特性，使得BP网络在多变量函数逼近方面具有很强的优势；BP网络虽然在理论上是一种可实现全局优化的网络，但由于算法本身的制约，比较容易陷入局部极小值。而径向基函数网络既有生物学背景，又与函数逼近理论相吻合，同样也适应于多变量函数逼近。正交多项式函数网络的理论基础比较完善，但是对于复杂问题的非线性建模与预测问题，网络节点数的增加往往较快。样条函数网络的优势在于，学习时只需要局部信息，因而在算法的并行性、收敛速度等方面具有明显的优势，但由于其定义域中对子域网的划分非常复杂，从而增加了实际应用的难度。 (2)动态网络的研究主要集中在实时控制领域，它要求所设计的网络结构简单、收敛速度快。比较典型的动态网络有Hopfield网络、ART网络和动态递归网络等。动态网络在网络结构上是单层网络，但由于其内部的反馈连接，从而实现了用较小的网络结构开销来实现系统的复杂行为控制与模拟，所以比较适合非线性动态系统辨识与控制等领域。神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下: ?1)自动控制领域。神经网络方法已经覆盖了控制理论中的绝大多数问题，主要有系统建模与辨识、PID参数整定、极点配置、内模控制、优化设计、预测控制、最优控制、自适应控制、滤波与预测容错控制、模糊控制和学习控制等。典型的例子是20世纪60年代初，美国“阿波罗”登月计划中，Kilmer和Declutch等人根据脊椎动物神经系统中网状结构的工作原理。提出了一个Kalb模型，以使登月车在远距离复杂环境下具有一定的自制能力。 2)处理组合优化问题。最典型的例子是成功地解决了TSP问题，即旅行推销员问题? (Traveling salesman Promble)，另外还有最大匹配问题、装箱问题和作业调度等。 3)模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。 4)图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 5)传感器信号处理。传感器输出非线性特性的矫正、传感器故障检测、滤波与除噪、环境影响因素的补偿、多传感器信息融合。 6)机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航目的。 7)信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 8)卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。 9)经济。能对商品价格、股票价格和企业的可信度等进行短期预测。 正是基于以上对人类神经元的认识，Moody和Darken提出了一种新的神经网络结构—RBFN(Radial Basis Function Network)，即径向基函数网络。RBFN的神经元映射函数就是我们通常所说的高斯函数。该函数的最大特点是只有当输入与中心相等时，输出达到最大，随着输入与中心的渐渐偏离，输出也逐渐减小，并很快趋近于零，这与实际神经元基于感受野的这一特点很相似，只有当输入在中心附近的一定的范围内，输出响应很大，否则不响应或响应很小。 因此，RBFN的神经元映射函数可以更确切的描述出实际神经元响应基于感受野的这一特点，比BP网有更深厚的理论基础，从而它的性能也大大优于BP网。到目前为止，已经提出了许多种RBF网络的训练算法。RBFN的优良特性，使其成为替代BP网络的另一种神经网络，越来越广泛地应用于各个领域。 1.2国内外发展概况 由RBF网络结构可知，确定一个RBF网主要应有两个方面参数----中心和权值，目前对RBF网的各种改进也正是围绕这两方面展开的。权值的确定，由于这一过程只是来求从隐层空间到实际输出空间的线性变换的权系数，原理上比较简单，因而，改进并不是很大。目前最常见的两种方法是LMS和RLS方法及其改进算法；隐层节点数和隐层节点值的确定，为了使RBFN能适用于各种问题，必须实现能根据不同的问题而自动地确定RBFN的隐层节点数和隐层节点值。人们在这方面做了大量的研究，除此之外，人们还在RBF的学习方法等方面做了大量工作，引入了许多最新的理论方法，取得了很多成绩。例如：梯度下降法，BP网络的最常用训练就是选定某种性能指标，用梯度下降法来校正网络参数，使该性能指标取最优值，RBF网络的训练亦可以采用同样的方法。这样RBF网的学习实际上就转化为一个最优化问题。由于隐层输出到输出层之间的变换是线性变换，所以人们更多的采用是已经比较成熟的RLS算法另外，我们也可以像BP网一样对上面的修正算式进行简单的改进，如：加动量项，变步长等。基于遗传算法的RBF学习方法，为了避免局部极小，我们自然就想到了具有全局寻优能力的遗传算法。把RBF网的中心值、网络的隐层中心数和输出层的权值作为遗传算法的寻优参数，把宽度取为1，为了能够更好的体现出网络的复杂度和精度之间关系，根据AIC(Akakas Information Criterion)准则定义目标函数。这样，由该算法所求的RBF网络结构一定是满足给定要求的网络；基于反复迭代的RBF学习方法，该方法实际上是把前面所提到的梯度下降法的一个反复运用。目标函数、网络参数的修正方法都与梯度下降法的相一致，只是须给定一个门限值。最初时，把隐层节点数取为一个，然后用梯度下降法经过一定次数迭代，记录最后一次时的目标函数值。之后，使隐层节点数加一，仍像开始一样经过一定次数梯度下降迭代，如果经过迭代之后，目标函数下降的值大于门限值，这说明增加了一个隐节点，对网络的作用比较大，此时的隐层节点数没有使系统的目标函数达到极小，所以使隐层节点数加一，并像上面一样继续进行迭代。一直迭代到目标函数的下降值小于门限值，这说明此时增加一个隐层节点对网络的性能影响并不很大，没有必要再继续使隐节点增加下去了，所以，停止迭代，并确定了隐层节点数。 这样，在此基础上，对网络进行进一步的多次迭代，便可以最终确定网络的全部参数。基于k均值聚类的RBF学习方法，该方法的特点是中心和权值的确定可以分为两个相互独立的步骤。首先是无监督的中心确定阶段，把全部输入向量按照k均值聚类法进行聚类，得到聚类中心，也就是RBF网的中心；之后是有监督的权值确定过程，这一过程根据系统的实际输出值和上一步所得到的网络中心值，用LMS方法便可以确定网络的权值。由于k均值聚类法的聚类过程一般能够根据输入向量比较准确的确定聚类数和相应的聚类中心，因此如果已知全部输入向量时，用该方法是能够比较精确的确定网络结构的基于正交最小二乘法OLS的RBF学习方法。 由此可见，人们将精力集中于RBF网络参数本身的研究和改进,忽略了网络所用数据样本原有的随机因素,即使引入模糊理论生成的模糊RBF，也是“不彻底的”。而事实是数据样本的随机因素对网络的实际效果有不可忽略的影响。 1.3本文的主要研究内容 本文主要的研究内容有： （1）? 研究RBF网络的基本原理和常用学习算法； （2）? 分析RBF和其他神经网路优缺点； （3）? 熟悉MATLAB语言中的神经网络开发工具箱； （4）? Mat lab实现利用RBF网络对给定函数进行回归分析； （5）? 对函数回归的可视化结果，并与原函数进行比较，分析差别的基本原因。