神经网络学习方式(收集5篇)

神经网络学习方式篇1

[摘要]该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。

[关键词]遗传算法灰色系统专家系统模糊控制小波分析

一、前言

神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点：

(1)具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。

(2)并行处理方法，使得计算快速。

(3)自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。

(4)可以充分逼近任意复杂的非线性关系。

(5)具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。

二、神经网络应用现状

神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下：

(1)图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。

(2)信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。

(3)模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。

(4)机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。

(5)卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。

(6)焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。

(7)经济。能对商品价格、股票价格和企业的可信度等进行短期预测。

(8)另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面亦有应用。

三、神经网络发展趋势及研究热点

1.神经网络研究动向

神经网络虽已在许多领域应用中取得了广泛的成功，但其发展还不十分成熟，还有一些问题需进一步研究。

(1)神经计算的基础理论框架以及生理层面的研究仍需深入。这方面的工作虽然很困难，但为了神经计算的进一步发展却是非做不可的。

(2)除了传统的多层感知机、径向基函数网络、自组织特征映射网络、自适应谐振理论网络、模糊神经网络、循环神经网络之外，一些新的模型和结构很值得关注，例如最近兴起的脉冲神经网络(spikingneuralnetwork)和支持向量机(supportvectormachine)。

(3)神经计算技术与其他技术尤其是进化计算技术的结合以及由此而来的混合方法和混合系统，正成为一大研究热点。

(4)增强神经网络的可理解性是神经网络界需要解决的一个重要问题。这方面的工作在今后若干年中仍然会是神经计算和机器学习界的一个研究热点。

(5)神经网络的应用领域将不断扩大，在未来的几年中有望在一些领域取得更大的成功，特别是多媒体技术、医疗、金融、电力系统等领域。

2.研究热点

(1)神经网络与遗传算法的结合。遗传算法与神经网络的结合主要体现在以下几个方面：网络连接权重的进化训练；网络结构的进化计算；网络结构和连接权重的同时进化；训练算法的进化设计。基于进化计算的神经网络设计和实现已在众多领域得到应用，如模式识别、机器人控制、财政等，并取得了较传统神经网络更好的性能和结果。但从总体上看，这方面研究还处于初期阶段，理论方法有待于完善规范，应用研究有待于加强提高。神经网络与进化算法相结合的其他方式也有待于进一步研究和挖掘。

(2)神经网络与灰色系统的结合。灰色系统理论是一门极有生命力的系统科学理论，自1982年华中理工大学的邓聚龙教授提出灰色系统后迅速发展，以初步形成以灰色关联空间为基础的分析体系，以灰色模型为主体的模型体系，以灰色过程及其生存空间为基础与内的方法体系，以系统分析、建模、预测、决策、控制、评估为纲的技术体系。目前，国内外对灰色系统的理论和应用研究已经广泛开展，受到学者的普遍关注。灰色系统理论在在处理不确定性问题上有其独到之处，并能以系统的离散时序建立连续的时间模型，适合于解决无法用传统数字精确描述的复杂系统问题。

神经网络与灰色系统的结合方式有：(1)神经网络与灰色系统简单结合；(2)串联型结合；(3)用神经网络增强灰色系统；(4)用灰色网络辅助构造神经网络；(5)神经网络与灰色系统的完全融合。

(3)神经网络与专家系统的结合。基于神经网络与专家系统的混合系统的基本出发点立足于将复杂系统分解成各种功能子系统模块，各功能子系统模块分别由神经网络或专家系统实现。其研究的主要问题包括：混合专家系统的结构框架和选择实现功能子系统方式的准则两方面。由于该混合系统从根本上抛开了神经网络和专家系统的技术限制，是当前研究的热点。把粗集神经网络专家系统用于医学诊断，表明其相对于传统方法的优越性。

(4)神经网络与模糊逻辑的结合

模糊逻辑是一种处理不确定性、非线性问题的有力工具。它比较适合于表达那些模糊或定性的知识，其推理方式比较类似于人的思维方式，这都是模糊逻辑的优点。但它缺乏有效的自学习和自适应能力。

而将模糊逻辑与神经网络结合，则网络中的各个结点及所有参数均有明显的物理意义，因此这些参数的初值可以根据系统的模糊或定性的知识来加以确定，然后利用学习算法可以很快收敛到要求的输入输出关系，这是模糊神经网络比单纯的神经网络的优点所在。同时，由于它具有神经网络的结构，因而参数的学习和调整比较容易，这是它比单纯的模糊逻辑系统的优点所在。模糊神经网络控制已成为一种趋势，它能够提供更加有效的智能行为、学习能力、自适应特点、并行机制和高度灵活性，使其能够更成功地处理各种不确定的、复杂的、不精确的和近似的控制问题。

模糊神经控制的未来研究应集中于以下几个方面：

(1)研究模糊逻辑与神经网络的对应关系，将对模糊

控制器的调整转化为等价的神经网络的学习过程，用等价的模糊逻辑来初始化神经网络；

(2)完善模糊神经控制的学习算法，以提高控制算法的速度与性能，可引入遗传算法、BC算法中的模拟退火算法等，以提高控制性能；

(3)模糊控制规则的在线优化，可提高控制器的实时性与动态性能；(4)需深入研究系统的稳定性、能控性、能观性以及平衡吸引子、混沌现象等非线性动力学特性。

关于神经网络与模糊逻辑相结合的研究已有很多，比如，用于氩弧焊、机器人控制等。

(5)神经网络与小波分析的结合

小波变换是对Fourier分析方法的突破。它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。

利用小波变换的思想初始化小波网络，并对学习参数加以有效约束，采用通常的随机梯度法分别对一维分段函数、二维分段函数和实际系统中汽轮机压缩机的数据做了仿真试验，并与神经网络、小波分解的建模做了比较，说明了小波网络在非线性系统黑箱建模中的优越性。小波神经网络用于机器人的控制，表明其具有更快的收敛速度和更好的非线性逼近能力。

四、结论

经过半个多世纪的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功，但其理论分析方法和设计方法还有待于进一步发展。相信随着神经网络的进一步发展，其将在工程应用中发挥越来越大的作用。

参考文献：

[1]张曾科.模糊数学在自动化技术中的应用[M].清华大学出版社，1997.

[2]李士勇.模糊控制·神经控制和智能控制论[M].哈尔滨工业大学出版，1996.250-387.

[3]谢联峻.模糊控制在列车自动驾驶中的应用[J].自动化与仪器仪表，1999，(4).

[4]CollierWC，Weiland，RJSmartCarts，SmartHighways[J].IEEESpec-trum，1994，31(4)：27-33.

[5]HatwalH，MikulcikEC.someInverseSolutionstoanAutomobilePathTrackingProblemwithInputControlofSteeringandBreaks，Ve-hiclesystemDynamics，1986，(15)：61-71.

[6]KosugeK，FukudaT，AsadaH.AcquisitionifHumanSkillsforRoboticSystem[C].In：ProcIEEEIntSympOnIntelligenControl，1991.469-489.

[7]王小平，曹立明.遗传算法—理论、应用与软件实现.西安交通大学出版社，2002.

[8]ManiezzoV.Geneticevolutionofthetopologhandweightdistribution

ofneuralnetwork[J].IEEETransonNeuralNetwork，1994，5(1)35-67.

[9]HarraldPG，KamstraM.Evolvingartificialneuralnetworkstocombinefinancialforecase[J].IEEETransonEvolComputer，1997，1(1)：39-54.

[10]邓聚龙.灰色系统理论教程.华中理工大学出版社，1990.

[11]吕宏辉，钟珞，夏红霞.灰色系统与神经网络融合技术探索.微机发展，2000，23(4)：67-109.

神经网络学习方式篇2

（江苏科技大学电子信息学院，江苏镇江212003）

摘要：在实际交通环境中，由于运动模糊、背景干扰、天气条件以及拍摄视角等因素，所采集的交通标志的图像质量往往不高，这就对交通标志自动识别的准确性、鲁棒性和实时性提出了很高的要求。针对这一情况，提出一种基于深层卷积神经网络的交通标志识别方法。该方法采用深层卷积神经网络的有监督学习模型，直接将采集的交通标志图像经二值化后作为输入，通过卷积和池采样的多层处理，来模拟人脑感知视觉信号的层次结构，自动地提取交通标志图像的特征，最后再利用一个全连接的网络实现交通标志的识别。实验结果表明，该方法利用卷积神经网络的深度学习能力，自动地提取交通标志的特征，避免了传统的人工特征提取，有效地提高了交通标志识别的效率，具有良好的泛化能力和适应范围。

关键词：交通标志；识别；卷积神经网络；深度学习

中图分类号：TN911.73?34；TP391.41文献标识码：A文章编号：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金项目：国家自然科学基金面上项目（61371114）

0引言

随着智能汽车的发展，道路交通标志的自动识别[1?3]作为智能汽车的基本技术之一，受到人们的高度关注。道路交通标志识别主要包括两个基本环节：首先是交通标志的检测，包括交通标志的定位、提取及必要的预处理；其次是交通标志的识别，包括交通标志的特征提取和分类。

如今，交通标志的识别方法大多数都采用人工智能技术，主要有下述两类形式[4]。一种是采用“人工特征+机器学习”的识别方法，如基于浅层神经网络、支持向量机的特征识别等。在这种方法中，主要依靠先验知识，人工设计特征，机器学习模型仅负责特征的分类或识别，因此特征设计的好坏直接影响到整个系统性能的性能，而要发现一个好的特征，则依赖于研究人员对待解决的问题的深入理解。另一种形式是近几年发展起来的深度学习模型[5]，如基于限制波尔兹曼机和基于自编码器的深度学习模型以及卷积神经网络等。在这种方法中，无需构造任何的人工特征，而是直接将图像的像素作为输入，通过构建含有多个隐层的机器学习模型，模拟人脑认知的多层结构，逐层地进行信息特征抽取，最终形成更具推广性和表达力的特征，从而提升识别的准确性。

卷积神经网络作为深度学习模型之一，是一种多层的监督学习神经网络，它利用一系列的卷积层、池化层以及一个全连接输出层构建一个多层的网络，来模仿人脑感知视觉信号的逐层处理机制，以实现视觉特征信号的自动提取与识别。本文将深层卷积神经网络应用于道路交通标志的识别，通过构建一个由二维卷积和池化处理交替组成的6层网络来逐层地提取交通标志图像的特征，所形成的特征矢量由一个全连接输出层来实现特征的分类和识别。实验中将加入高斯噪声、经过位移、缩放和旋转处理的交通标志图像以及实际道路采集交通标志图像分别构成训练集和测试集，实验结果表明，本文所采用的方法具有良好的识别率和鲁棒性。

1卷积神经网络的基本结构及原理

1.1深度学习

神经科学研究表明，哺乳动物大脑皮层对信号的处理没有一个显示的过程[5]，而是通过信号在大脑皮层复杂的层次结构中的递进传播，逐层地对信号进行提取和表述，最终达到感知世界的目的。这些研究成果促进了深度学习这一新兴研究领域的迅速发展。

深度学习[4，6?7]的目的就是试图模仿人脑感知视觉信号的机制，通过构建含有多个隐层的多层网络来逐层地对信号特征进行新的提取和空间变换，以自动学习到更加有效的特征表述，最终实现视觉功能。目前深度学习已成功地应用到语音识别、图像识别和语言处理等领域。在不同学习框架下构建的深度学习结构是不同的，如卷积神经网络就是一种深度的监督学习下的机器学习模型。

1.2卷积神经网络的基本结构及原理

卷积神经网络受视觉系统的结构启发而产生，第一个卷积神经网络计算模型是在Fukushima的神经认知机中提出的[8]，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。后来，LeCun等人在该思想的基础上，用误差梯度设计并训练卷积神经网络[9?10]，在一些模式识别任务上得到优越的性能。

卷积神经网络本质上是一种有监督的深度学习算法，无需事先知道输入与输出之间精确的数学表达式，只要用已知的模式对卷积神经网络加以训练，就可以学习到输入与输出之间的一种多层的非线性关系，这是非深度学习算法不能做到的。卷积神经网络的基本结构是由一系列的卷积和池化层以及一个全连接的输出层组成，可以采用梯度下降法极小化误差函数对网络中的权值和阈值参数逐层反向调节，以得到网络权值和阈值的最优解，并可以通过增加迭代次数来提高网络训练的精度。

1.2.1前向传播

在卷积神经网络的前向传播中，输入的原始图像经过逐层的卷积和池化处理后，提取出若干特征子图并转换成一维特征矢量，最后由全连接的输出层进行分类识别。

在卷积层中，每个卷积层都可以表示为对前一层输入图像的二维卷积和非线性激励函数，其表达式可用式（1）表示：

式中：Yj表示输出层中第j个输出；Yl+1i是前一层（l+1层）

的输出特征（全连接的特征向量）；n是输出特征向量的长度；Wij表示输出层的权值，连接输入i和输出j；bj表示输出层第j个输出的阈值；f(?)是输出层的非线性

1.2.2反向传播

在反向传播过程中，卷积神经网络的训练方法采用类似于BP神经网络的梯度最速下降法，即按极小化误差的方法反向传播调整权值和阈值。网络反向传播回来的误差是每个神经元的基的灵敏度[12]，也就是误差对基的变化率，即导数。下面将分别求出输出层、池采样层和卷积层的神经元的灵敏度。

（1）输出层的灵敏度

对于误差函数式（6）来说，输出层神经元的灵敏度可表示为：

在前向传播过程中，得到网络的实际输出，进而求出实际输出与目标输出之间的误差；在反向传播过程中，利用误差反向传播，采用式（17）~式（20）来调整网络的权值和阈值，极小化误差；这样，前向传播和反向传播两个过程反复交替，直到达到收敛的要求为止。

2深层卷积神经网络的交通标志识别方法

2.1应用原理

交通标志是一种人为设计的具有特殊颜色（如红、黄、白、蓝、黑等）和特殊形状或图形的公共标志。我国的交通标志主要有警告、禁令、指示和指路等类型，一般采用颜色来区分不同的类型，用形状或图形来标示具体的信息。从交通标志设计的角度来看，属于不同类型（不同颜色）的交通标志在形状或图形上有较大的差异；属于相同类型（相同颜色）的标志中同类的指示信息标志在形状或图形上比较接近，如警告标志中的平面交叉路口标志等。因此，从机器视觉的角度来分析，同类型中同类指示信息的标志之间会比不同类型的标志之间更易引起识别错误。换句话说，相比于颜色，形状或图形是正确识别交通标志的关键因素。

因此，在应用卷积神经网络识别交通标志时，从提高算法效率和降低错误率综合考虑，将交通标志转换为灰度图像并作二值化处理后作为卷积神经网络的输入图像信息。图2给出了应用卷积神经网络识别交通标志的原理图。该网络采用了6层交替的卷积层和池采样层来逐层提取交通标志的特征，形成的特征矢量由一个全连接的输出层进行识别。图中：W1i（i=1，2，…，m1），W1（jj=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分别表示卷积层L1,L3,…,Ln-1的卷积核；Input表示输入的交通标志图像；

Pool表示每个池采样层的采样池；map表示逐层提取的特征子图；Y是最终的全连接输出。

交通标志识别的判别准则为：对于输入交通标志图像Input，网络的输出矢量Y=[y1,y2,…,yC]，有yj=Max{y1，y2,…,yC}，则Input∈j，即判定输入的交通标志图像Input为第j类交通标志。

2.2交通标志识别的基本步骤

深层神经网络识别交通标志主要包括交通标志的训练与识别，所以将交通标志识别归纳为以下4个步骤：（1）图像预处理：利用公式Gray=0.299R+0.587G+0.114B将彩色交通标志图像转换为灰度图像，再利用邻近插值法将交通标志图像规格化，最后利用最大类间方差将交通标志图像二值化。

（2）网络权值和阈值的初始化：利用随机分布函数将权值W初始化为-1~1之间的随机数；而将阈值b初始化为0。

（3）网络的训练：利用经过预处理的交通标志图像构成训练集，对卷积神经网络进行训练，通过网络前向传播和反向传播的反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止。

（4）交通标志的识别：将实际采集的交通标志图像经过预处理后，送入训练好的卷积神经网络中进行交通标志特征的提取，然后通过一个全连接的网络进行特征分类与识别，得到识别结果。

3实验结果与分析

实验主要选取了我国道路交通标志的警告标志、指示标志和禁令标志三类中较常见的50幅图像。考虑到在实际道路中采集到的交通标志图像会含有噪声和出现几何失真以及背景干扰等现象，因此在构造网络训练集时，除了理想的交通标志以外，还增加了加入高斯噪声、经过位移、旋转和缩放处理和实际采集到的交通标志图像，因此最终的训练样本为72个。其中，加入的高斯噪声为均值为0，方差分别为0.1，0.2，0.3，图像的位移、旋转、缩放的参数分别随机的分布在±10，±5°，0.9~1.1的范围内。图3给出了训练集中的交通标志图像的示例。图4是在实际道路中采集的交通标志图像构成的测试集的示例。

在实验中构造了一个输入为48×48个神经元、输出为50个神经元的9层网络。网络的输入是像素为48×48的规格化的交通标志图像，输出对应于上述的50种交通标志的判别结果。网络的激活函数采用S型函数，如式（2）所示，其输出范围限制在0~1之间。

图6是交通标志的训练总误差EN曲线。在训练开始的1500次，误差能迅速地下降，在迭代2000次以后是一个平稳的收敛过程，当迭代到10万次时，总误差EN可以达到0.1882。

在交通标志的测试实验中，为了全面检验卷积神经网络的识别性能，分别针对理想的交通标志，加入高斯噪声、经过位移、旋转和比例缩放以及采集的交通标志图像进行实验，将以上测试样本分别送入到网络中识别，表2给出了测试实验结果。

综合分析上述实验结果，可以得到以下结论：（1）在卷积神经网络的训练学习过程中，整个网络的误差曲线快速平稳的下降，体现出卷积神经网络的训练学习具有良好的收敛性。

（2）经逐层卷积和池采样所提取的特征具有比例缩放和旋转不变性，因此对于旋转和比例缩放后的交通标志能达到100%的识别率。

（3）与传统的BP网络识别方法[11]相比较，卷积神经网络能够达到更深的学习深度，即在交通标志识别时能够得到更高的所属类别概率（更接近于1），识别效果更好。

（4）卷积神经网络对实际采集的交通标志图像的识别率尚不能达到令人满意的结果，主要原因是实际道路中采集的交通标志图像中存在着较严重的背景干扰，解决的办法是增加实际采集的交通标志训练样本数，通过网络的深度学习，提高网络的识别率和鲁棒性。

4结论

本文将深层卷积神经网络应用于道路交通标志的识别，利用卷积神经网络的深层结构来模仿人脑感知视觉信号的机制，自动地提取交通标志图像的视觉特征并进行分类识别。实验表明，应用深层卷积神经网络识别交通标志取得了良好的识别效果。

在具体实现中，从我国交通标志的设计特点考虑，本文将经过预处理二值化的图像作为网络的输入，主要是利用了交通标志的形状信息，而基本略去了颜色信息，其优点是在保证识别率的基础上，可以简化网络的结构，降低网络的计算量。在实际道路交通标志识别中，将形状信息和颜色信息相结合，以进一步提高识别率和对道路环境的鲁棒性，是值得进一步研究的内容。

此外，本文的研究没有涉及到道路交通标志的动态检测，这也是今后可以进一步研究的内容。

参考文献

[1]刘平华，李建民，胡晓林，等.动态场景下的交通标识检测与识别研究进展[J].中国图象图形学报，2013，18（5）：493?503.

[2]SAHASK，DULALCM，BHUIYANAA.Neuralnetworkbasedsignrecognition[J].InternationalJournalofComputerApplication，2012，50（10）：35?41.

[3]STALLKAMPJ，SCHLIOSINGM，SALMENAJ，etal.Manvs.computer：benchmarkingmachinelearningalgorithmsfortraf?ficsignrecognition[J].NeuralNetwork，2012，32（2）：323?332.

[4]中国计算机学会.深度学习：推进人工智能梦想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014，19（2）：175?184.

[6]FUKUSHIMAK.Neocognition：aself?organizingneuralnet?workmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition[J].BiologicalCybernetics，1980，36（4）：193?202.

[7]LECUNY，BOTTOUL，BENGIOY，etal.Gradient?basedlearningappliedtodocumentrecognition[J].IEEEJournalandMagazines，1989，86（11）：2278?2324.

[8]LECUNY，BOTTOUL，BENGIOY，etal.Backpropagationappliedtohandwrittenzipcoderecognition[J].NeuralCompu?tation，1989，1（4）：541?551.

[9]CIRESAND，MEIERU，MAsciJ，etal.Multi?columndeepneuralnetworkfortrafficsignclassification[J].NeuralNet?works，2012，32（2）：333?338.

[10]NAGIJ，DUCATELLEF，CAROD，etal.Max?poolingcon?volutionneuralnetworkforvision?basedhandgesturerecogni?tion[C]//2011IEEEInternationalConferenceonSignalandImageProcessingApplication.KualaLumpur：IEEE，2011，342?347.

[11]杨斐，王坤明，马欣，等.应用BP神经网络分类器识别交通标志[J].计算机工程，2003，29（10）：120?121.

[12]BUVRIEJ.Notesonconvolutionalneuralnetworks[EB/OL].[2006?11?12].http：//cogprints.org/5869/.

[13]周开利，康耀红.神经网络模型及其Matlab仿真设计[M].北京：清华大学出版社，2005.

[14]孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806?2810.

[15]刘建伟，刘媛，罗雄麟.深度学习研究进展[J].计算机应用研究，2014（7）：1921?1930.

神经网络学习方式篇3

关键词：商业银行个人信用等级评估BP人工神经网络模糊评判

个人信用等级评估指标体系

商业银行个人信用等级评估指标体系设立的目的简述为银行通过评估借款人的“3C”，即品德（Character）、能力（Capacity）以及抵押（Collateral），对借款人在债务期满时偿债能力（Abilitytopay）和还款意愿（Willingnesstopay）等进行预测。根据指标体系设立原则，参照国际标准、国内外银行经验和企业信用等级评估方法，综合考虑商业银行特点及所在地区情况，通过对以往借款人群的考察，以专家判断为基础，可选择4大类21个指标全面评价个人信用等级（如表1）。

人工神经网络的具体应用

人工神经网络（ArtificialNeuralNetwork，简称ANN）是20世纪80年代后期迅速发展的人工智能技术，由大量简单的基本元件――神经元相互联结，模拟人的大脑神经处理信息的方式，进行信息并行处理和非线形转换的复杂网络系统。标准的人工神经网络是由3个神经元层次组成的BP（BackPropagation）网络模型，即反向传播神经网络。BP人工神经网络处理信息是通过信息样本对神经网络的训练，使其具有记忆、辨识能力，完成各种信息处理功能。

可行性分析

我国个人信用等级评估起步较晚，相关信息残缺，而BP人工神经网络具有强大并行处理机制，高度自学习、自适应能力，内部有大量可调参数，因而使系统灵活性更强。

进行个人信用等级评估与预测时，有些因素带有模糊性，而BP人工神经网络的后天学习能力使之能够随环境的变化而不断学习，能够从未知模式的大量复杂数据中发现规律，与传统的评价方法相比，表现出更强的功能。

BP人工神经网络方法克服了传统分析过程的复杂性及选择适当模型函数形式的困难，它是一种自然的非线性建模过程，无需分清存在何种非线性关系，给建模与分析带来极大的方便。

BP人工神经网络可以再现专家的经验、知识和直觉思维，较好地保证了评估与预测结果的客观性。

模型建立

三层BP人工神经网络模型的最下层称为输入层，中间层为隐含层，最上层为输出层。各层次间神经元相互联接，各层次内的神经元没有联接。BP算法的学习过程由正向传播和反向传播两个过程组成。在正向传播过程中，信息从输入层经隐含层传向输出层。如果在输出层不能得到期望输出结果，则转入反向传播，将误差信号沿原来的联接通路返回。而其权值的调整采用反向传播的学习算法，神经元的变换函数是S(Sigmoid)型函数：

1

f(x)=――――；

(1+e-x)

学习集包括N个样本模式（xp,yp），对第p个学习样本（p=1,2，,3…,N），节点j的输入总和记为netpj，输出记为opj，则：netpj=∑Wjiopj,opj=f(netpj)。

如果任意设置网络初始权值，那么对每个输入样本p网络输出与期望输出（dpj）的误差为：E=∑Ep=∑[(dpj-opj)2]/2

BP神经网络的权值修正公式为：Wji=wij(n)+ηδpjopj，式中：η为学习速率，是为了加快网络的收敛速度。

个人信用等级评价指标网络结构如图1所示。

此神经网络的输入量xi∈（0,1）（i=1,2,…,21），这里xi为各个因素的效用值。网络的输出量为yi∈（0,1），y为评价的结果，用贴近度来表示。具体的算法步骤如下：按具体要求确定品评价素集；对评价因素的各指标集进行效用函数变换；构造三层前向神经网络，根据评价因素确定输入神经元个数，同时确定网络参数；确定学习样本集（X，Y）及误差量ε；对每一个样本求神经元的输入和输出；计算样本偏差E，若E＜ε时，转至最后步骤；进行反向学习；对权值进行修正，转至第五步；存储学习好的网络；并将待评价的个人信用等级评价因素输入，得到评价结果。

实证分析

神经网络学习方式篇4

[关键词]神经网络；燃气调压器；故障识别

中图分类号：TM645.11文献标识码：A文章编号：1009-914X（2015）41-0212-01

引言

神经网络也简称为人工神经网络（简称ANN）或称作连接模型，它是一种以模仿动物神经网络行为特征的数学模型，这种数学模型可以进行分布式并行信息处理。ANN经过几十年的研究和发展，已经形成一套严密的、系统的理论，广泛应用于国防、电子、化工、机械和电力等多种行业和部门，成为处理问题的强有力工具之一。下面笔者探讨了神经网络在燃气调压器故障识别中的应用。

1神经网络的基本原理

1.1神经元模型

神经网络以计算机仿真的方法从物理结构上模拟人脑，使系统具有人脑的思维特性，是由大量简单处理单元广泛连接形成的以模拟人脑行为为目的复杂网络系统，该系统是靠其状态对外部输入的信息动态处理信息的。神经网络中的节点称为神经元。常用人工神经元模型主要是基于模拟生物神经元信息的传递特性，即输入、输出关系，神经元信息传递的主要特征可以用图1的模型来模拟。

1.2神经网络的学习方式

神经网络的学习又可以称之为训练，是指在受到外部环境刺激下神经网络调整自身的参数，使得神经网络用一种新的方式对外界环境做出反应的一个过程。

神经网络可以从外界环境中学习以及在学习中提高自身的性能，这是神经网络最有意义的性质，通过反复学习样本达到对环境的了解。常见神经网络的学习方式有3种：有导师学习、无导师学习和再励学习。其中，有导师学习也称之为监督学习，是指组织一批正确的输入输出数据对，将输入数据加载到网络输入端后，把网络的实际输出与理想的输出相比较得到误差，然后根据误差的情况修改各连接权，使网络朝着能正确响应的方向不断地变化下去，直到实际响应输出与理想的输出之差在允许范围之内。这种学习算法通常称误差修正算法。BP算法就是这类算法的典型代表。而无导师学习亦称为无监督学习，这时仅有一批输入数据，待诊断的模式类别未知，网络结构和连接权值根据某种聚类法则，自动对模式样本进行学习和调整，直至网络的结构和连接权值能合理地反映训练样本的统计分布。再励学习亦称强化学习，介于上述两种情况之间，外部环境对系统输出结果只给出评价（奖和罚）而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能。

1.3神经网络的故障诊断能力

现行的故障诊断系统均具有以下两个特点：一是需要构造专门的庞大的知识库和数据库以集中专家经验；二是具有串行运行的处理方式。神经网络具有一些传统的线性系统所没有的如下优点：

（1）具有学习能力训练过地神经网络能存储有关过程的信息，能直接从定量的、历史的故障信息学习。可以根据对象的历史数据进行训练，然后将此信息与当前测量数据进行比较以确定故障。

（2）在神经网络中，信息分散在神经元的连接上，单个的神经元和连接权值都没有很大用途，单个的神经元和连接权值地损坏也不会对信息造成太大地影响，表明神经网络具有较强地兽棒性（受干扰时自动稳定的特性）和容错能力。

（3）并行性各个神经元在处理信息时是各自独立的，分别接受输入产生输出，这种并行处理能力，使神经网络有可能用于实时快速信息处理。

（4）非线性神经网络因具有较好的非线性拟合能力，能够有效地实现输入空间到输出空间的非线性映射，成为非线性系统研究地重要工具，也成为故障诊断的一种有效方法。

2基干小波包的神经网络在燃气调压器故障识别中的应用

2.1基于小波包的神经网络故障识别的原理

燃气调压器出口压力作为故障特征提取的原始信号，对出口压力进行小波包分解后，取适当的子频带的小波包能量函数作为神经网络的输入向量，利用神经网络进行故障诊断。神经网络选用BP网隐含层激发函数采用正切S形函数，输出层激发函数采用线性函数，网络训练函数为自适应学习率算法。输入层节点数等于调压器原始出口压力信号的小波包分解子频带能量函数的向量维数，输出层的节点则由故障分类器的类型决定，主要有3类，分别为调压器正常运行、调压器阀头有污物和调压器阀口堵塞。

2.2经网络在燃气调压器故障识别中的应用

2.2.1实验数据来源

燃气调压器作为燃气输配系统的重要部件，其安全运行情况影响着整个燃气输配系统的可靠性和安全性。笔者使用SCADA系统对城市燃气管网进行数据采集和监测，通过SCADA系统实现对燃气输气管网的全线远程监控，不仅可以实现对控制工艺的改进，提高企业管理水平，而且将在确保安全生产基础上获得更大的经济效益。

SCADA监控系统中燃气调压器的监测内容和控制对象是分离的，监视发现问题，经过人的主观判断找出问题原因，决定解决问题的办法，通过远程对现场设备的控制而达到解决问题的目的，这种管理方式通常用于分散监控点和过程控制要求一般的现场。集团下属分公司每天根据压力自动记录纸反映的燃气调压器出口压力的情况来判断调压器是否出现故障，若下属公司工作人员发现压力自动记录纸的压力波动异常或是例行检修，则通知集团总部监控部门关闭调压器前后阀门后进行检修。

2.2.2燃气调压器故障识别

为了验证小波包能量检测技术在燃气调压器特征提取的有效性，本文对燃气调压器在无故障、调压器阀口堵塞、调压器阀头有污物这三种不同状态15天SCADA系统所检测调压器实际出口压力值进行特征信号提取，调压器出口压力值为一天内每五分钟取一个数，一天共取288点作为分析信号。

为了验证小波包能量检测技术在燃气调压器特征提取的有效性，对分别采集的燃气调压器在无故障、调压器阀口堵塞、调压器阀头有污物三种不同状态出口压力信号，利用小波包基函数db4分别对其进行3层小波包分解，分别提取第三层从低频到高频成分的信号特征，每个节点都代表一定的信号特征，共得到8个频带。每种燃气调压器状态15组出口压力数据，其中10组作为训练样本，5组数据作为测试样本。考虑到篇幅有限，这里不全部列出。表1为燃气调压器不同状态测试样本归一化数据。

结论

比较测试结果与理想输出状态值可以看出，诊断结果较为准确，可以证明神经网络对燃气调压器故障识别的可行性和有效性。

参考文献

神经网络学习方式篇5

关键词：边坡；自组织映射神经网络；BP神经网络；权值

中图分类号：TU753.8

文献标识码：B

文章编号：1008-0422(2008)05-0157-03

1引言

自从上世纪80年代以来，神经网络技术已经得到了长足的发展。运用强大的神经网络功能，可以对许多难以解决的问题求解。BP网络现在已经广泛应用于工程的各方面[1]，但是由于其自身的缺点，也存在很多问题。对于边坡工程，由于测量手段、仪器、人的主观性等原因，得出的数据不可避免的具有干扰性[2]，即用于训练神经网络的学习数据存在很大的噪声，影响网络的推广及泛化能力[3]。

为了解决工程数据样本在进行网络计算时噪声较大的问题，本文阐述了一种新的方法，即：首先将边坡样本的数据归一化到[-1，1]区间，实现对样本的“奖优罚劣”；然后利用自组织映射(SOM)神经网络对各学习样本数据进行分类，优化BP网络的初始状态，从而有利于适度控制BP网络求解的误差范围。

2SOM网络过程的推导

自组织竞争的主要目的是将任意维数的输入信号模式转变为一维或二维的离散映射，并且以拓扑有序的方式自适应实现这个转变[4]。本文采用Kohonen模型推导适合用于工程样本分类的自组织竞争神经网络结构。

2.1竞争过程

令m表示输入数据的维数。从输入空间中随机选择输入模式记为

(1)

网络中每个神经元的突触权值向量和输入空间的维数相同。神经元j的突触权值向量记为

(2)

其中是网络中神经元的总数。这里假定所有的神经元有相同的阈值；阈值是偏置取负。在通过选择具有最大内积WjTX的神经元，确定兴奋神经元的拓扑邻域中心的位置。

因为基于内积WjTX最大化的最优化匹配准则在数学上等价于向量X和Wj的Euclid距离的最小化。用标号i(x)表示最优匹配输入向量x的神经元，可以通过下列条件确定i(x)：

(3)

2.2合作过程

设hj,i表示以获胜神经元i为中心的拓扑邻域，设di,j表示在获胜神经元i和兴奋神经元j的侧向距离。它们必须满足的条件为：

1)当di,j=0时，hj,i达到最大值；

2)hj,i随di,j绝对值的增加而单调递减；

3)di,j∞，hj,i=0。

本文选取高斯函数满足以上条件，即：

由于对工程样本的划分采用一维模式即可，这里假定di,j是整数，而且有：di,j=|j-i|。

som算法中hj,i的宽度σ是随时间的推移而收缩的，这里设定一个指数函数来描述这一衰减过程：

其中σ0是σ的初值，τ1是时间常数。将式(4)代入式(5)中可得：

2.3自适应过程

由Kohonen模型可知网络中神经元j的权值向量表示为：

式中：η是算法的学习率；g(yj)是响应yj的正的标量函数；wj是神经元j的突触权值向量。

这里将g(yj)设定成一个线性函数以简化计算：

将式(7)和式(8)代入式(9)可得：

由此可得更新权值向量wj(n+1)为：

为了得到更好的网络性能，可以将学习率函数η(n)设定成时变形式，这也是它用于随机逼近的要求。η(n)和hj,i一样，从初始值开始，然后随时间n增加而逐渐递减。因此将它设定为一个指数函数：

其中τ2是另外一个时间参数。

3自适应过程的排序和收敛

根据式(11)，可以把网络权值的自适应分解为排序和收敛两个阶段。要求对上述公式中的参数进行合适的设定。

3.1排序阶段

3.1.1学习率函数η(n)初始值η0=0.1；然后递减，但应该大于0.01;并设定时间常数τ2=1000。

3.1.2邻域函数hj,i(n)的初始化应包括以获胜神经元i为中心的所有神经元，然后随时间慢慢收缩。这里通过设定时间常数τ1=1000/logσ0来实现。

3.2收敛阶段

3.2.1当学习率η0.01。

3.2.2邻域函数hj,i(x)应该仅包括获胜神经元的最近邻域，并最终减小到一个或零个邻域神经元。

4无量纲化方法的选用

边坡稳定性受到多种因素的影响，在分析各影响因素时，由于各分指标具有不同的量纲，且类型不同，故指标间具有不可共度性，难以进行直接比较，因此在综合评价前必须把这些分指标按某种效用函数归一化到某一无量纲区间[5]。显然，构造不同的效用函数将直接影响最终的评价结果，因此效用函数的构造十分重要。

设P={P1,P2,・・・,PM}是评估对象集，Z={Z1,Z2,・・・,ZM}是综合评价指标体系中的n个分指标，评价指标矩阵X如下：

式中，Xij代表第i个评估对象的第j个分指标值。记第j个分指标Zj的平均值，

则将原始指标值按以下公式(3.7)转换到[-1,1]区间上的效用函数值Xij。

5实例及算法检验

将资料收集到的57个边坡样本[6~8]作为学习样本，数据从略，并将原始数据归一化到[-1，1]区间之后的边坡样本作为SOM网络的输入向量。

现在取目标边坡如表1所示：

将待求边坡样本归一化后与其它边坡样本一起输入到已经训练好的SOM网络进行分类，可以得到与这两组边坡样本相近的样本集合。

网络学习1000次后分类结果如图1所示,其中箭头所指的两个样本即为目标边坡在分类结果中所处的位置，它们的网络分类数值为57、81。对于56号样本，可以取分类数值为39~76之间的17个样本作为其学习样本；57号样本可以取分类数值为62~100之间的18个样本作为其学习样本。它们的学习样本集合见表2。

为了验证SOM网络对边坡样本的归类确实能够提高网络的性能，本文利用BP网络设计了两个试验：

试验(1)：用SOM网络归类后的学习样本分别对两组目标边坡进行求解，然后观察其网络性能；

试验(2)：用已得的全部55组边坡样本中的前20组样本作为BP网络的学习样本，对两组目标边坡求解，然后观察其网络性能。

因为此处仅用来验证SOM网络的归类结果，所以两组试验所用的BP网络模型用同一初始设置。初始网络权值为(-1,1)之间的随机值、学习速率0.1、隐含层个数为1，隐含层单元数12。

在试验1中，网络在对样本学习了4000次左右的时候，达到了收敛。网络性能可以在图2、图3、图4、图5中看到。

试验2，将55组边坡样本的前20组样本作为网络的学习样本。网络结果分析及误差分布如图6、图7所示：

从以上两个试验的结果可以看到，试验1的网络结果明显要好于试验2；试验1中两个网络的误差也均较试验2中的网络误差要小。这就证明经过SOM网络分类得到的目标样本确实能够提高网络的泛化、推广能力，而且分类之后BP网络的学习次数也较不分类时要少。

6结论

实际工程中，由于测量手段、仪器、人的主观性等原因，得出的数据不可避免的具有干扰性，造成以往的边坡样本数据对网络的学习形成很大的噪声。

6.1本文推导的自组织映射神经网络过程，可以自动对外界未知环境进行学习和仿真，适用于对边坡样本进行归类。

6.2本文所述的方法可以剔除一些隐含的网络干扰太大的样本，通过对学习样本的选择提高BP神经网络的计算精度。

6.3通过对55个边坡样本进行分析计算，相对于将不分类样本作为学习样本的同一BP神经网络，本文所述的方法能得到精度更高的近似解。

6.4由于神经网络方法的局限性，本文所述的方法不能反映边坡样本之间的实际区分界线，且计算中各参数的物理意义不明确。

参考文献：

[1]周维垣等.岩石高边坡的稳定与治理.岩土工程的回顾与瞻[M].北京人民交通出版社，2001：15~24.

[2]杨建刚.人工神经网络实用教程[M].杭州:浙江大学出版社.2001：41~58.

[3]何翔，刘迎曦.岩土边坡稳定性预报的人工神经网络方法[J].岩土力学,2003.10:32~34.

[4]罗四维.大规模人工神经网络理论基础[M].北京:清华大学出版社，北方交通大学出版社.2004.57~70.

[5]李炳军，朱春阳，周杰.原始数据无量纲化处理对灰色关联序的影响[J].河南农业大学学报.2002.36(2):199~202.

[6]吴建生，金龙.遗传算法BP神经网络的预报研究和应用[J].数学的实践与认识,2005.1(1):12~15.

[7]熊海丰.基于神经网络技术的边坡稳定性评价[D].武汉理工大学,2003.