神经网络算法(8篇)
时间：2023-12-24
时间：2023-12-24
关键词用电负荷量预测生态文明建设BP神经网络算法
中图分类号：TM714；TP18文献标识码：A
1问题分析
本文题旨在对工业用电负荷量进行预测，并对进行分析，主要解决方案如下：
（1）首先对数据进行预处理。筛去无效数据并利用移动平均法将其补全。
（3）以深圳比亚迪宝龙车厂为例，采用神经网络算法分别预测其1号与2号主变压器的用电负荷以及两个主变压器负荷之和与总表负荷的误差，以此预测总表的用电负荷。
（4）将神经网络推广，增加神经网络算法中的自变量建立多重神经网络以研究其他影响因素对用电负荷量的影响。
2模型的建立与求解
2.1数据的预处理――基于移动平均法
2.1.1数据预处理方法
由于数据中存在部分无数据的情况，使得数据的连续性和平滑性受到影响。为了补全数据，我们采用移动平均法对2016年10月15日11时前的无数据进行补全预处理。补全方法采用移动平均法。
移动平均法是根据时间序列，逐项推移，依次计算包含一定项数的序时平均数，以此进行预测的方法。
设原有的数据组系列为
=（），=1，…，N（1）
为了滤去其中的随机噪声干扰，用数据系列
=（）（2）
取代原有的数据组系列，运算法则为
=，=n+1，=n+2，…Nn（3）
显然，补全数据以后，数据组的连续性得到提升，平滑效果较原有更好，且平滑效果随增大而提升。
2.1.2结果分析
补全数据以后，数据组的连续性得到提升，平滑效果较原有更好，从而便于运用神经网络算法预测比亚迪宝龙车厂一段时间内的用电负荷量。
2.2神经网络算法模型和修正矩阵模型
2.2.1建立神经网络算法模型
以比亚迪宝龙1号主变压器的用电负荷数据为例，叙述神经网络算法模型的建立。
（1）准备训练网络的样本。该BP网络是一个1输入1输出的网络，根据数据预处理，训练样本为“用户2用电1号主变”表经预处理后的负荷值。
（2）确定网络的初始参数。确定的初始参数如下表：
表1
以上参数的选择根据多次对样本的训练尝试选择。出于对拟合精准性的追求，必须在经验公式的基础上，用不同的最大训练次数和隐含层神经元数量进行多次尝试选择。选择的依据主要有两方面，一方面是尽可能降低随机噪音对拟合效果的影响，另一方面是防止过度拟合。
（3）初始化网络权值和阈值。初始化网络也就是给网络的权值和阈值赋予随机数矩阵。
权值是隐含层的神经元在传递信息时对信息进行的加权，记为wij（t），行数是传递到下一层的神经元数，列数上一层的神经元数，如第一层和第二层之间的权值为10行1列的构成形式。
阈值是用来激活神经元而设置的一个临界值，记为B（）。有多少个神经元就有多少个阈值，故第二层的阈值为10行1列的构成形式。
（4）计算各层神经元的输出。在计算之前，必须样本进行归一化处理，因为输入和输出样本的量纲以及量级都不同。设为第层的输出数据，归一化后的输入样本数据为。有下列关系：
=？+B（4）
（5）计算能量函数。能量函数是网络输出与实际输出样本之间的误差平方和。
（6）计算层间的权值与阈值调整量以及调整后的权值和阈值。
权值调整量为：
（5）
阈值调整量为：
（6）
以上的权值和阈值调整量计算过程是反向传播的，即先计算最后一层的调整量，再到倒数第二层，一直到第一层。
调整后的时刻的权值c阈值：
（7）
（7）这样的1次训练过程之后，继续用新的权值与阈值训练，重复训练5000次。经过多次训练，可以相对精准地拟合出样本数据用电量的曲线并输出一段时间内的用电量。此时对输出值进行反归一化，得到预测用电量数据的总体趋势。
2.2.2建立修正矩阵模型
所谓修正矩阵，是在总体趋势的基础上预测趋势变化的波动性的矩阵。我们在本问题中是通过计算过往每一天数据中隐含的波动性变化来得出修正矩阵的。计算过程如下：
以一天为波动周期。分别计算不同日期同一时刻电负荷量的平均值，再将平均值除以所有样本的均值，构成修正矩阵。
用修正矩阵修正总体趋势下的预测值，可以有效还原一天用电负荷量的波动性，并减小与实际值的误差。
2.2.3求解模型
对神经网络模型进行求解，然后乘以修正矩阵，得到预测值。
（1）拟合后，1号主变压器的电负荷量曲线拟合结果如下图：
这样拟合结果的误差曲线图如下：
由误差曲线可知，误差趋于恒定且不再减小，说明拟合优度已达最优。
关键词：入侵检测神经网络人工鱼群算法模型参数
中图分类号：TP18文献标识码：A文章编号：1674-2117（2014）20-00-01
1前言
21世纪是网络的时代，网络已进入人们的日常生活，成为人们通信和交流的工具，人们对于网络的依赖也越来越强。
针对网络入侵检测问题，国内外许多学者进行了深入研究，提出了许多有效的网络入侵检测模型。在网络入侵检测过程，网络入侵分类器设计是网络入侵检测的关键，当前网络入侵分类器主要有基于支持向量机、K最近邻算法、神经网络等进行设计。其中出回声状态神经网络（EchoStateNetwork，ESN）是一种新型的网络，具有简单、易实现、泛化能力优异等优点，成为网络入侵检测中的主要研究方向。人工鱼群算法（ArtificialFishSwarmAlgorithm，AFSA）是一种采用自下而上信息寻优模式的智能搜索算法，具有并行性、收敛速度快等优点，为回声状态神经网络参数优化提供了一种新的工具。
2人工鱼算法优化神经网络的入侵检测模型
2.1回声状态神经网络
ESN是一种由输入层、内部储备池和输出层组成的非线性递归神经网络，其状态方程为：
式中，sigmoid为激活函数；Win和Wx分别为输入和储备池内部的连接矩阵；μ（t），x（t）分别表示t时刻的输入向量和储备池内部状态向量量，sin为输入项比例系数；ρ为内部储备池的谱半径。
那么ESN的输出方程为
（2）
式中，y（t）为t时刻的输出向量Wout为输出连接向量。
输出权值对ESN性能起着关键作用，常采用最小二乘法进行求解，目标函数的最小化形式为
式中，
，N为储备池节点数；l为训练样本数。
根据式（3）式得到解
（4）
式中，为的估计值。
从式（1）可知，参数sin和ρ的选取影响回声状态神经网络的性能，本文采用人工鱼群算法（AFSA）对参数sin和ρ的选择，以提高网络入侵的检测正确率。
2.2人工鱼群算法
工鱼群算模拟鱼群觅食的行为，人工鱼个体的状态可表示为向量Xi=（xi1，xi2，…，xiD），食物浓度表示为Y=f（x），其中Y为目标函数值；Visual表示人工鱼的感知范围：Step表示人工鱼移动的步长；δ表示拥挤度因子。人工鱼的行为包括以下几种：①觅食行为；②聚群行为；③追尾行为；④随机行为。
2.3人工鱼群算法优化神经网络参数
（1）初始化人工鱼群算法参数，主要包括人工鱼群数以及最大迭代次数；（2）初始位置为回声状态神经网络的参数；（3）计算适应度函数，并选择适应度函数值最大的人工鱼个体进入公告板；（4）人工鱼模拟鱼群觅食行为，得到新的人工鱼位置；（5）与公告板人工鱼的位置进行比较，如果优于公告板，那么将该人工鱼位置记入公告牌；（6）将最优公告牌的位置进行解码，得到回声状态神经网络最优参数；（7）利用最优参数建立网络入侵检测模型，并对其性能进行测试。
3仿真实验
3.1仿真环境
数据来自网络入侵标准测试集KDDCUP99数据集，其包括4种入侵类型：DoS、Probe、U2R和R2L，同时包括正常样本，每一个样本共有41个特征，7个符号型字段和34个数值型字段。由于KDDCup99数据集样本多，从中随机选择部分数量的数据进行测试，数据具体分布见下表。为了使本文模型的结果具有可比性，采用PSO算法优化回声状态神经网络（PSO-ESN），遗传算法优化回声状态神经网络（GA-ESN）进行对比实验。
样本集分布情况
入侵类型训练样本测试样本
DoS2000400
Probe1000200
R2L500100
U2R10020
3.2结果与分析
所有模型对网络入侵数据进行建模，仿真结果如图1和图2所示。从图1和图2进行仔细分析，可以知道，相对于PSO-ESN、GA-ESN，人工鱼群算法优化神经网络的入侵检测性能最优，网络入侵检测的误报率更低，具有十分明显的优势，在网络安全领域具有广泛的应用前景。
图1几种模型的检测率比较
图2几种模型的误报率比较
4结语
针对回声状态神经网络参数优化难题，提出一种人工鱼群算法优化回声状态神经网络参数的入侵检测模型。仿真结果表明，相对于对比模型，本文模型提高了网络入侵的检测率，同时误报率明显降低，具有一定的实际应用价值。
参考文献：
[1]唐正军，李建华。入侵检测技术[M].北京：清华大学出版社，2004.
计算机网络拓扑结构主要是指计算机连接网络之后，其自身设备与传输媒介所共同组成的一种物理构成模式，其网络拓扑结构的形式主要是由通信子网来决定的，其结构的主要功能是实现数据信息的网络共享、处理及交换，并要在一定程度上提升网络数据信息运行的可靠性，站在网络拓扑的结构来讲，计算机网络结构的主要部分是链路与结点，计算机网络实质上是由一组结点以及多条链路所共同组成的一种模拟结构。计算机网络通常表示为：G=<V，E>，其中V表示的是网络结点集，E表示的是链路集，如果应用Va来表示结构中增加的结点集，Eb来表示增加的连接集，那么就能够得到其拓扑扩展的计算机网络结构为G’=<V’，E’>。
2基于计算机网络连接优化中的神经网络算法
本次研究中分析的均场神经网络算法实际上是一种神经网络算法与均场退火技术相结合的算法，应用这种方法能够有效的增强计算机的网络连接，并且达到更优化、更快的连接效果，这其实是一种利润最大化的网络优化算法，其能够最大限度的提高计算机网络的性价比。
2.1神经网络算法
人工神经网络属于非线性动力学系统，其能够对信息进行分布式的存储及协同处理，其在人工神经网络之上的人工神经网络系统的基础之上，应用网络算法及网络模型进行各种信号的处理，或者是对某种运行模式进行识别，从而建立其一个独立的专家系统，或者是构成机器人，当前在多个领域中，人工神经网络系统都得到了广泛的应用，在该基础上所发展起来的人工神经网络算法是一种监督性的学习算法，人们对于其重视程度逐渐增加，但是在实际的应用中，其存在收敛速度较慢的缺陷，难以保证将收敛程度压制到全局的最小点，容易导致计算机网络学习及记忆不稳定性增强的问题，这会对计算机网络的连接效果造成直接的影响，做好其网络连接的优化非常的必要。
2.2均场神经网络算法
在基于计算机网络连接增强优化下的均场神经网络算法的研究中，对其网络效果进行判断，需要建立起一个完整的场均神经网络模型，在模型的构建过程中，应该做好函数法构造过程中的目标函数的构建问题，具体的构建方式表现为：应用Si来表示Hopfield计算网络中的一个神经元状态，并且规定当Si=1时，表示的含义是网络选中了连接i，可以实现正常的连接，当Si=0时，表示的含义是：网络中没有选中连接i，网络无法实现正常连接，再应用罚函数法就结构来进行网络模型的创建。
2.3实例分析
根据上文中分析的计算方法，在得到计算结果之后，能够对均场网络算法的可行性及有效性进行判定，我们分别采用模拟退火算法、遗传算法、均场神经网络算法进行比较，结果显示模拟退火算法需要计算99次，这样才能保证计算出规定的连接集，并从中获取一定的利润值，在遗传算法中需要进行96次的计算，在均场神经网络算法中，需要实施88次的计算，均场神经网络算法在获得网路连接效果等方面，更快、更加有效，更适宜应用于计算机网络连接的增强优化以及网络结构拓扑的扩展工作中。
3结束语
关键词：BP神经网络；支持向量机；核函数；数据挖掘
中图分类号：TN711?34文献标识码：A文章编号：1004?373X（2017）11?0111?04
Researchondataminingalgorithmbasedonneuralnetwork
WANGChunmei
（SchoolofComputerScienceandTechnology，Xi’anUniversityofPostsandTelecommunications，Xi’an710121，China）
Abstract：Theneuralnetworkcanclassifyandpredictthevariousnetworkmodels.ThedataminingalgorithmbasedonBPneuralnetworkandSVMisappliedtotheairqualitypredictioninXi’anregion.AlthoughtheBPneuralnetworkandSVMmethodhavedifferentgeneralizationabilityandconvergenceability，thepasthistoricaldataisusedtotrainthenetworkmodel.Theexperimentalresultsprovethatthedataminingalgorithmcanpredictthefuturedataaccurately.
Keywords：BPneuralnetwork；supportvectormachine；kernelfunction；datamining
0引言
近年来空气污染严重，空气问题不容忽视，准确的空气质量预测具有极大的现实意义。神经网络算法在数据挖掘中占有重要的地位，因为网络模型、复杂度等不同，神经网络可以拟合各种曲线实现分类、预测等多种模式，至今神经网络已经研究出了多种类型来适应不同的要求。
神经网络要求网络模型对训练数据集有比较好的逼近能力，也需要对训练集之外的分布数据能给出比较精准的预测。泛化能力即经过训练学习得到的预测模型，对没有在训练集中出现但是具有一定规则的数据能有比较准确的预测能力，不只是普通的保存学习过的样本，而是需要进行有限次数据的训练，找到未知的规律。
本文基于神经网络的BP算法和SVM算法利用已有的历史数据训练网络模型，对未来的天气进行较为准确的预测工作。
1BP算法
前馈神经网络是一种典型的神经网络模型，网络具有分层结构，输入数据从输入层进入到前馈神经网络，经过输入层和隐层传递到输出层。不同的前馈网络节点限制函数、神经元个数、隐层个数、权重修改方法能够实现拥有多样能力的前馈神经网络。
只有一个隐层的感知器只能解决输入数据线性能够区分的问题，但很多分类问题的输入数据都是线性不能区分的。要完成线性不可分的难题，需要在结构中加入隐层。含有多隐层的前馈网络相比于单层感知器的区分效果有明显的提升。因为误差相反传递算法经常用于神经网络，所以也叫BP网络。
1.1基本思想
BP学习过程分为两个过程，即输入数据经过输入层和隐层正向流给输出层，输出层的误差经隐层反传给输入层。正向传播时，输入数据从输入层到达，经过每个隐层的加工后，再传递给最后的输出层。如果输出数据达不到预期目标，则进入误差的反向传递。误差的反向传递是指将最后一层的误差经过某种方法，经网络的隐层反转传递向输入层，将误差均匀给网络每个层的所有神经元节点，因此得到网络每层神经元节点的误差信号，通过节点获得的误差来调整节点。这两部分反复，通过不断地权重修改将误差减少到比较满意的情况，或达到学习次数上限。
1.2基本原理
三层BP网络模型图如图1所示。
在该三层前馈网络中，为输入向量，代表隐层神经元节点的阈值；隐层输出为图1中是为输出层神经元引入阈值设置的；输出层的输出向量为预期输出网络的隐层和网络输入层的权值用矩阵表示；用表示网络隐层到网络输出层的权值矩阵。
对于输出层来说：
（1）
对于隐层来说：
（2）
转移函数为：
（3）
1.3学习算法
当网络输出距离预期结果有差距时，代表输出误差。
隐层：
（4）
输入层：
（5）
据式（5）得知，网络误差展开到输入层只和有关，要想减小误差，就要修改神经元的权值。
假设网络有个隐层，神经元数代表网络隐层的输出，为权重，则权重修改公式如下：
输出层：
（6）
第个隐层：
（7）
递推可得：
（8）
在BP算法中，所有的权重修改公式都一样，都取决于学习率、输入和本层的输出误差。模型每层的输出误差和模型的总误差有关系，反映了模型输出的误差。网络中每一个隐层的误差都和前面每个网络层的误差有联系，都是经过网络的输出层一层一层地向前回传。
2SVM算法
2.1基本思想
从线性可分的方向来看，支持向量机的本质是寻找一个最优决策超平面，使其两侧和到平面距离最近的数据点之间的距离最大，有良好的泛化推广能力。而对于非线性可分问题，根据Cover定理：如果分类问题在低维上不可分，那么将其非线性地映射到高维特征空间可能是线性可分的，只要变化是非线性的并且特征空间的维度很高，所以模式空间可以从低维变换到高维特征空间，让问题在高维中有很大的可能可分。
2.2基本原理
SVM方法是一个三层网络构建的过程，分类超平面的向量为网络的权值，隐层使用非线性映射函数把数据输入向量从低维映射到高维的特征向量空间中。
设是维的输入向量，低维输入的空间经过非线性变换到维特征空间：
（9）
式中：是权重；是偏置。
特征空间分类超平面为：
（10）
式中：代表第个输入向量在高S特征空间的像和输入向量在特征空间的像的内积。
使用内积函数得到超平面：
（11）
支持向量机的基本思路是：对于非线性可分问题，让输入样本从非线性低维变化到高维特征空间后，使其在高维特征空间线性可分，让支持向量的个数是去除向量为零，最优超平面判别函数为：
（12）
2.3学习算法
在使用内积核函数的情况下，SVM学习算法如下：
（1）训练样本
（2）在约束条件下求解，让目标函数：最大化的矩阵的第个元素是。
（3）计算最优的权值：
（4）对于待分类模式计算判别函数：
根据的值，判断的类别。
向量机的设计不完全依靠设计人员的经验，因为得到的是全局的最优解，泛化能力较强。但是因为矩阵运算耗时，所以训练速度相对缓慢。
3测试实验
3.1BP算法实验
首先定义网络结构，根据多次实验，最终确定的网络结构如图2所示。网络的输入层节点数设计为5、输出层节点数选择为4、隐含层节点数选择为100。隐层的转移函数是Sigmoid函数，输出层转移函数为Purelin函数。
由于是时间序列预测，得到了以前数据后，令是第个输入，令是第个输出。输入层节点总数用表示，代表输出层节点的总数。
利用BP算法，根据2013年11月―2014年12月的西安历史空气质量数据，对2015年1月空气质量预测结果折线图如图3所示，数值参照表如表1所示。
3.2SVM算法实验
本次实验采用Gauss来模拟RBF网络预测空气质量。Gauss核函数需要参数。如果会发生严重的过学习现象，即泛化能力较弱；当时会有前学习现象。
其次需要样本准备，因为历史空气质量的变化趋势能反映空气质量的规律。输入参数是历史的空气质量输出是下一日期的空气质量。是输入空间的维度，是空气质量预测的步长。此处选取来预测未来1个月的空气质量。
使用lssvm的tunelssvm函数，采用最小二乘法对Gauss核函数的参数和SVM参数进行寻优，找到合适的Gauss函数参数，再使用工具箱trainlssvm函数进行训练，然后连续预测得到2015年1月的空气质量预测值。
利用SVM算法，根据2013年11月―2014年12月的西安历史空气质量，对2015年1月空气质量预测结果折线图如图4所示，数值参照表如表2所示。
3.3实验结果对比
从图5和图6得知，针对得到的样本和实现的算法模型，BP算法模型和SVM支持向量机对2015年1月空气质量的总体走势的预测相差不多，对于实际的空气质量，仍旧有较大的误差。SVM的均方误差略小于BP的均方误差，但是BP算法网络模型需要大量的时间训练，而SVM网络参数寻优使用的时间要少得多。
4结语
BP算法在神经网络中使用最普遍，但却不能适用于所有的问题，确定网络的层数和节点数仍然需要网络设计者的经验和不断的试验调整。BP网络还具有学习速率慢，易陷入极小值，泛化能力等问题需要人们解决。SVM由统计和数学理论发展而来，它能够解决分类、回归、预测等问题。对于线性不可分的问题，SVM能够把其对应于特征空间内，使其线性可分。SVM核心在于核函数，不一样的核函数可以模拟不同网络应用在不同问题。但是关于核函数的参数如何选取，在领域内仍然没有一个成熟的理论。数据挖掘中BP算法和SVM算法仍然有一些问题没有统一的解决理论，但是这并不妨碍数据挖掘的潜力。相信随着研究的不断深入，理论的不断完善，这些问题都将会迎刃而解。
参考文献
[1]HANJiawei，KAMBERMIcheline，PEIJian.数据挖掘：概念与技术[M].3版。北京：机械工业出版社，2012.
[2]张良均。数据挖掘：实用案例分析[M].北京：机械工业出版社，2013.
[3]陈封能。数据挖掘导论[M].北京：人民邮电出版社，2011.
[4]朱明。数据挖掘[M].合肥：中国科学技术大学出版社，2008.
[5]韩力群。人工神经网络理论、设计及应用[M].2版。北京：化学工业出版社，2007.
[6]王小川。Matlab神经网络43个案例分析[M].北京：北京航空航天大学出版社，2013.
[7]施彦，韩力群，廉小亲。神经网络设计方法与实例分析[M].北京：北京邮电大学出版社，2009.
[8]张德丰。Matlab神经网络应用设计[M].北京：机械工业出版社，2011.
关键词：ART2神经网络；模式漂移；标幺值；距离
中图分类号：TP183文献标识码：A
文章编号：1001-9081(2007)04-0945-03
0引言
基于自适应共振理论的ART2神经网络，采用竞争学习和自稳机制原理来实现稳定的分类，在语音、视觉、嗅觉和字符识别等领域得到广泛应用。在注意子系统对输入模式通过向量归一化和非线性变换预处理过程中，易将重要但幅度较小的分量作为基底噪音而滤除，这样在分类过程中就丢失了重要的信息；同时，在学习过程中还存在因权值修正问题而造成的模式漂移现象。针对模式漂移等不足，国内外提出了许多解决办法，主要是结合遗传算法或小波等算法进行互补[1,2]。本文分析了造成这些不足的原因，提出了标幺值和基于类内样本与类中心的距离不同而对类中心偏移产生不同影响的思想，提出了改进算法，仿真实验证明改进算法能有效地改善模式漂移现象。
1传统ART2神经网络简介[3,4]
一种典型的ART2神经网络结构如图1所示：图中只画出了维数为q的样本X的第j个分量Xj
的处理结构图。
整个系统分为注意子系统和定向子系统两部分。注意子系统完成由底向上矢量的竞争选择及矢量间相似程度的比较，定向子系统检查相似度能否达到检测标准，并做出相应的动作，共振或者重置。
在注意子系统F1层特征表示场对输入模式X通过向量归一化和非线性变换进行预处理，以达到抑制噪声增强对比的作用，得到自稳后的输入模式U。
否则，当前激活节点I被重置并被屏蔽，在剩余节点中继续搜寻最匹配的。如果所有节点均不能通过警戒测试则开辟新的输出节点，即创建一个新类。并对新类所对应的内星及外星连接权矢量进行初始化：
2网络的分析和学习算法的改进
注意子系统F1层特征表示场要对输入模式X通过向量归一化和非线性变换进行预处理，在很多应用场合，由于输入模式X的分量的单位各不相同，会出现一些重要但幅值较小的分量，例如输入X=(70,2,85)，三个分量代表不同的特征而单位不同，如果分量x2是一个很重要的量，经F1层特征表示场对输入模式X通过向量归一化，按照式（1）进行计算得：
被当作基底噪声而滤除，影响了分类的正确性。造成这种现象的主要原因是因为各分量的度量标准不同，如果输入分量变成无单位的值，将极大改善这种状况。工程计算中，往往不用各物理量的实际值，而是用实际值和相同单位的某一选定的基值的比值（标幺值）来进行计算。标幺值=实际值/基值，它是个相对值，没有单位。因此，在输入前应该对输入向量进行无单位化预处理。具体算法如下：
在聚类中，样本之间的距离常作为它们是否属于同一类一个判别标准，因此，将输入模式与现有的模板中心的距离引入了匹配度检验阶段及权值修改中，这将有效地改善模式漂移现象，具体改进算法如下：
3)权值的修正，根据输入样本与模板中心的距离来调整，基于如下的思想：对于同一个类的样本，当新增加一个样本，距离模板中心越远的样本对模板中心的迁移影响越大。这样得到的模板中心就会尽可能的接近真正的聚类中心，将改善模式漂移现象。权值的修正采用如下的修正公式：
3实例分析
为分析方便，文章采用文献[6]的实例，该组模式共有89个，其幅角分别为1°，2°，…，89°，其幅角作为序编号对各模式进行了标记。因为样本是二维数据，虽然幅值都为1，如果仅用幅角表征，相当于将其转化成一维的样本，显然仅将幅角作为输入是不合理的。表征平面上的坐标有极坐标和直角坐标，由于极坐标的两个分量幅值和幅角的单位量纲不同，而直角坐标的两个分量单位却是相同的，基于前面的分析，最好采用相同的单位，因此采用直角坐标来表征这组模式，分别为（cos1°,sin1°）,（cos2°,sin2°），…，（cos89°,sin89°）。对于这组数据，分别采用顺序，逆序和随机输入的方式输入到传统ART2神经网络和本文的改进ART2神经网络。
3.1顺序输入方式
对于顺序输入比较结果见表1。其中参数如下：
传统的ART2神经网络参数为：a=10,b=10,d=0.8,e=0,θ=0.1,c=0.2,ρ=0.99,ww=0.01。
改进的ART2神经网络参数为：a=10,b=10,d=0.8,e=0,θ=0.1,c=0.2,ρ=0.9,ξ=0.97，ww=0.01。
可以看出，改进的ART2神经网络克服了传统ART2不能识别模式渐变过程的弱点，无超大类和样本混叠现象，良好地实现了分类。
对于逆序输入模式数据的分类结果基本类同于顺序输入方式下得到的结果。
3.2随机输入方式
将以上89个模式以随机输入的方式输入到传统ART2神经网络和本文的改进网络，共做10次实现，观察结果，表2列出具有代表性的一次分类结果。
两种ART2神经网络均将所有模式分为三类，其中传统的ART2神经网络的第一类模式序号均小于31，其规模仅有13个模式，属于超小类，缺少量为17个。第二类序号小于30的模式有18个，序号大于60的模式有6个，其规模为53个，属超大类，超出量为23个。第三类序号小于61的模式有3个，其规模为25个模式，缺少量为4个。第一类和第二类出现交混量，比例为0∶16，即本属于第一类的16个数据被错分到第二类，第一类与第三类交混量的比例为0∶1，第二类与第三类的交混量的比例为7∶2。
可以看出改进的ART2神经网络没有出现超大或超小类，同时交混量的数量也很少，说明改进的ART2神经网络分类性能显著提高。同时对其他几组结果进行分析，可知传统的ART2网络分类结果受模式输入顺序的影响较大，而改进的ART2网络的分类结果较为一致，说明改进后的ART2网络具有一定的鲁棒性。
4结语
关键词：计算机网络连接；增强优化；神经网络算法
中图分类号：TP393文献标识码：A文章编号：1007-9416（2017）03-0146-01
在当前的社会中计算机网络技术得到了极为快速的发展，被广泛的应用于人们生活和工作之中，为人们的生活和工作带来了许多的方便，成为当前社会中非常重要的一种科学技术。虽然从整体上看计算机网络技术在我国已经取得了较大的发展，但是我国在发展时间上仍旧较短，其中仍旧存在着较多的问题，尤其是在计算机网络连接上面。因此，针对这些存在问题的地方还需要进一步优化，为人们提供健康的计算机网络环境。
1计算机网络连接增强优化
1.1计算机网络连接增强优化的重要性
网络正常连接对于计算机的运行具有很大的作用，是计算机运行的基本条件。如何使得计算机网络连接增强优化显得尤为重要，特别是在现今这个网络飞速发展的时代，人们对网络的需求是越来越大，突然断网对于任何人、任何企业来说，损失都是巨大的。如网络连接断开，计算机设备就无法与通信网络展开有效信息沟通。正是因为以上这些情况，所以必须对计算机网络连接进行优化，将计算机网络不断拓扑扩展，促使信息交流更加有效于有序，从而有效将损失降低下来。网络技术发展到现在，适当地加入结点，可将计算机网络连接有效率不断完善，网络容量也会在一定程度上得到提高，加强了信息媒介的相互传播，使原有网络得到延伸，在延伸网络拓扑的同时，也为计算机网络的正常连接提供了重要的保障。截止到目前为止，提高计算机网络连接效率的措施非常之多，必须采取适当且合理的计算机网络连接优化措施，并且以最小经济支出增强优化神经网络算法。
1.2计算机网络拓扑结构
计算机网络拓扑结构是一种物理构成模式，是由三方面组成，即网络计算机或网络设备、网络传输媒介中的结点和线。计算机网络拓扑结构的形成和产生与通信子网之间有着密切的联系，该结构的形成使得网络信息数据系统更加的完整、可靠安全，其还包括实现数据内容的互换、云共享等功能。一般计算机网络是用G=来表示，其中V是一个网络结点集，E是一个链路集。如用Va表（)示增加结构中结点集，用Eb表示增加结构中连接集，那么就可以得出计算机网络的结构是：G’=。
2基于计算机网络连接优化中的神经网络算法
2.1神经网络算法
在思维学中有着这样一种看法，大脑思维包括三种基本方式，分别是形象思维、抽象思维与灵感思维。抽象思维是逻辑化的一种思想，形象思维是直观化的一种思想，灵感思维是顿悟性和创造性的一种思想。神经网络思维与大脑思维类似，其建立在理论实践基础之上，通过分析总结，模拟出人类的大脑思S，这实质上也可以看作另一种思维表达方式。人工神经网络是一个基于非线性动力学理论的神经网络系统，其主要特色可以归结为两点：信息存储的分布式和并行处理的协同性。通常情况下对于单个的神经元结构而言是非常简单的，这种神经元结构的功能也相对较为简单，但如果是网络系统由大量神经元构成，也就是将众多的简单功能组合在一起，可以让其功能显得特别的强大，其中的实现行为也会变得更加的丰富多彩。如果再在此基础上配置上合适的网络算法和网络模型，对网络信号的正确处理等功能，那么就会让该系统实现智能化。
处于如今这一阶段，在社会中，应用人工神经网络的领域是越来越广，可以说在实际生活生产中具有很好的效果。因此，人工网络算法也受到了人们的广泛关注，随着社会经济的发展，网络算法也再不断的优化中，发挥着监管的作用。也会影响计算机网络的连接效果。
2.2均场神经网路算法
在建立科学合理场均神经网络模型基础上，可以有效增强优化计算机网络连接，在已优化的网络连接中研究均场神经网络算法，之后就可以对网络效果进行相关评判。特别注意，采用函数法来构建相关模型，最重要的是重视构建目标函数工作，在实际操作时，可采取以下方式对模型构建进行表达，具体如下：其中用Fi来表示Hopfield计算网络神经元的状态，当Fi=1，就表示网络此时选择连接的是i，且可正常进行连接；当Fi=0，就表示网络对于i没有选中，且不能正常进行连接。这时就可利用罚函数法所构建结构来对网络模型进行创建，但必须保证Z=max（ΣPi*Xi）与ΣMi*Xi≤A是能够成立的，并且有效控制目标函数，目标函数主要包括：I=γ/2*[ΣρiFi]2+ψ/2*[aΣmifi]2，在该表达式中，a=（γripi-ψmimi）d，Ii=βami，γ和ψ是Lagrange参数，所构造的Lyapunov能量函数如下：E=1/2*ΣΣAiFiFiΣIiFi，Hopfield神经网络的结构如下：Fi=1/2*[1+tanh（Bi/T）]，Bi=ΣAiFi+I。均退火技术被充分利用，就可以实现将随机变量函数均值转变成函数，即得出：〈Fi〉=1/2*[1+tanh{}]，〈Bi〉=〈ΣAiFi+Ii〉=ΣAiFi+Ii。当随机变量均值〈Fi〉变换成均场变量Ri时，就能得到均场网络结构：Ri=1/2[1+tanh（ΣAiRi+Ii/T）]，均场网络能量函数即是：E（v）=1/2ΣΣAiRiRiΣIiRi。简单分析算法步骤发现：首先，参数设置必须建立在充分考虑问题基础上；其次，进行初始化时，Ri=rand（d，1-d），其中i是可以为大于零整数的；最后，以上操作重复进行，直到满足条件后为止。
3计算机网络连接增强优化中的神经网络算法优势总结性分析
使用神经网络算法对计算机网络连接进行优化的优势是显而易见的，首先，其有效提升了计算机网络的连接效率，使得网络运行速度更快；其次，有效降低了优化计算机网络连接所带来的资金投入增加问题，将资金利用效率最大化，即用最少的资金获得最好的优化效果；再者，将复杂的取均值运算转变为函数式规律运算，大大节省了计算时间，实现网络信息数据的更好交互；最后神经网络算法增加了弥补漏洞模型，一旦Hopfield无法达到目标函数要求，就可以用罚函数法结构来进行对目标函数的控制，这样大大减少的误差率，使得后续网络维护工作更加方便。
4结语
综上所述，计算机已经渗透在人们生活中的各个领域中，具有十分重要的意义。如果计算机网络出现故障，将威胁到相关企业的工作以及一些设备的正常运转，有损其经济效益。正因如此，必须加强重视计算机网络连接的程度，尽可能采取有效措施对计算机网络进行优化，不断完善连接效率，使得网络连接更加体现出可靠性与稳定性，促进计算机网络更长久且稳定的发展，为未来整个计算机事业的可持续性发展奠定基础，更加方便人们的生活，提高个人与企业收益。
参考文献
[1]朱云。计算机网络连接增强优化中的神经网络算法[J].煤炭技术，2012（04）：203-204.
[2]李霞。计算机网络连接增强优化中的神经网络算法[J].电子技术与软件工程，2016（03）：25.
[3]王颖华，金爱花。计算机网络连接增强优化中的均场神经网络算法[J].硅谷，2013（08）：61-62.
关键词：BP神经网络；非线性方程组；迭代算法；误差收敛
中图分类号：TN911?34；TP183文献标识码：A文章编号：1004?373X（2013）08?0020?03
0引言
神经网络具有许多优点，如大规模并行处理、分布式存储以及网络的计算时间复杂度几乎为零等[1]，因此，神经网络的应用已越来越广泛。BP（BackPropagation）神经网络是采用误差反向传播学习算法的多层前馈神经网络，它是当前获得广泛应用的模型之一。BP算法的基本思想[2?4]是：网络学习由输入信号的正向传播和误差的逆向传播两个过程组成。正向传播过程是指样本信号由输入层输入，经网络的权重、阈值和神经元的转移函数作用后，从输出层输出。
如果输出值与期望值之间的误差大于预期，则转入误差反向传播阶段，进行修正，即误差通过隐层向输入层逐层返回。网络的学习训练过程实质就是根据输出值与期望值之间的误差不断调整网络权重和阈值的过程，直到网络输出误差减小到允许值或到达设定的训练次数为止。由于BP神经网络模型具有较强的随机性和不确定性，很多研究对BP算法进行改进，并取得了大量的成果，具体参看文献[5?6]，这些算法提高了BP神经网络在实际应用中的可靠性，使得BP神经网络的应用范围越来越广泛。
神经网络求在求解非线性方程组中的应用也有了较好的研究。文献[7?9]研究了人工神经网络逼近非线性多元函数的可能性，得到了相应于几类特殊作用函数的神经网络逼近存在性定理，这些定理保证了用单层神经网络逼近连续多元函数时，可达到任意的精确度。赵启林等提出一种权值耦合的BP神经网络模型[10]，吴灵敏等提出了对形式为[x=f（x）]的多元非线方程组的神经网络求解方法[11]，赵华敏等利用能量函数降能的方法寻找方程组的根[12]。
这些方法对多变元非线性方程函数形式有一定的要求。孙银慧等利用迭代BP神经网络的逼近非线性方程组的函数的反函数的方法，提出了一种通用性较强的求解方法[13]。
本文对文献[13]中所提出的方法进行了分析研究，发现存在误差收敛过早导致无穷跌代以及收敛值并非最小值的问题，并对算法进行了改进。
1迭代的ANN算法
1.1非线性方程组
研究如下非线性方程组的数值解问题[13]：
[y=f（x）]（1）
式中：[f：RnRn；x，y∈Rn]。
假设[x0=[x1，0，x2，0，...，xn，0]T]为它的一个解，[f（x）]的反函数[x=f-1（y）]存在，则有：
[f（x0）=0，x0=f-1（0）]（2）尽管利用[f（x）=0]求解[x0]很不容易，但是若能求得[x=f-1（y）]，则可由式（2）方便求得式（1）的解[x0]。虽然[x=f-1（y）]的显式表达式同样不易求得，但如果能够得到其映射数据，则可以利用各种拟合方法逼近[x=f-1（y）]，从而得到[x0]。这种映射数据可以由[y=f（x）]很方便的得到，因而非线性方程组（1）的求解问题转化为寻求一种好的拟合方法，利用已有的映射数据来精确逼近[x=f-1（y）]，采用人工神经网路（ANN）加以实现。
1.2迭代的神经网络算法
1.2.1算法简介
文献[13]中主要介绍了两种方法，一种是简单的ANN方法，另外一种是迭代的ANN方法，详见文献[13]。在求解算法中，给定方程组（1）的解的存在区域D，经过其中的算法1和算法2得到的输出[x0′=[x1，0′，x2，0′，....，xn，0′]T]近似为方程组（1）的解[x0]。
对于误差的衡量，由于实际计算中[x0]并不可知，无法计算解误差[|x0-x0′|]，用[Δ=||Δy||∞=max（Δyi）]，其中[Δyi=|yi，0-yi，0′|，][i=1，2，...，n]来衡量，其中[y0′=f（x0′）]。此处文献中的[Δ]和[Δyi]的描述有误，本文进行了更正。在算法2的第2个步骤中，如果[x0′∈D]，则缩小区域D，实际上根据文献的实验数据的表2，作者并没有缩小区域D，而是改变了D，本文作者也认为在这种情况下没有必要缩小D，只需要根据[x0′]改变D即可，这一点也体现在本文提出的改进算法里。
1.2.2算法实验分析
使用文献[13]中的算例进行方程组的求解：
[y1=f1（x）=2x31-x22-1=0y2=f2（x）=x1x32-x2-4=0]（3）
式中[x=[x1，x2]T，]该方程组的解为[x0=[x1，0，x2，0]T=]
[[1.2343，1.6615]T]。
采用两个输入的（10?2）BP神经网络结构，利用Matlab的工具箱实现，第二层隐层神经元节点个数为10，使用变换函数选正切S型函数（tansig）；第三层为输出层，节点个数为2，输出层神经元传递函数为purelin函数，并且选Levenberg?Marquardt算法（trainlm）为BP网络的学习算法，训练次数100次，学习误差为0.0001。
按照文献[13]所描述的迭代算法进行实验，在不同初始化权重和阈值的情况下，在不同的区域D按照迭代的ANN算法进行迭代求解。
大量的实验结果表明，在迭代求解的过程中[Δ]的并不是直线或者曲线下降的，而是按照波浪线下降并且最后稳定于某一个值的，也就是[Δ]可能在达到[ε]之前就不再下降，并且最后的稳定状态的值并一定是[Δ]的最小值。
图1是[Δ]随着迭代次数n的变化曲线，横坐标轴为n，竖坐标轴为[Δ]，在实验过程中，D的取值为：[x1∈[1：0.01：1.5]，x2∈[1.5：0.01：2]]，固定网络结构和初始化参数进行迭代，当n=20时[Δ]达到了最小值，当n=35以后[Δ]便不再开始变化。改变区域D的值也有相同的试验结果。
图2中D的取值为：
[x1∈[0：0.01：0.5]，x2∈[1.5：0.01：2]]
图3中D的取值为：
[x1∈[0：0.01：0.5]，x2∈[2：0.01：2.5]]
图4中D的取值：
[x1∈[1000：0.01：1000.5]，x2∈[2000：0.01：2000.5]时的][Δ]随着迭代次数n的变化曲线。
2迭代的方法的改进
根据试验结果所标明的[Δ]随着迭代次数n的变化趋势和收敛分析，原来的迭代算法会出现无穷迭代，或者不能找到最小[Δ]。因此对原来迭代算法进行改进。
（1）对[Δ]达到平稳状态的判断。随着迭代次数的增加，当[Δ]的值不再发生变化时便中断迭代过程以免进入无休止的迭代求解。
（2）对[Δ]最小值的求解。由于当[Δ]达到平稳状态时的值未必是最小值，因此在迭代过程中记录[Δ]的最小值。当[Δ]达到最小值的对应的方程组的解被认为是方程组的近似解。
①设寄存器min_delta用来记录[Δ]的最小值，寄存器min_x记录[Δ]取最小值时方程组的解，给定区域D和允许误差ε，利用算法1[13]求得初步解[x0′]，[Δ]，用[Δ]初始化寄存器min_delta；
②根据[[x0′]]改变区域D，使得D满足[[x0′]∈D]得到新的求解区域D；
③以D为新的求解区域，利用算法1求得新的解赋值给[x0′]，并计算误差[Δ]，如果[Δ]
利用改进的算法对方程组进行了求解，表1为区域D分别为三种情况时实验的结果数据，[x1，0′]，[x2，0′]为[Δ]为最小时所求得近似解。结果表明在不知道[D0]的情况下，即使D偏离[D0]很远时，也就是给一个任意的样本初始点，迭代过程也能使[Δ]收敛到一个较小值。比如D的取值为：[x1∈[800，800.5]，x2∈[800，800.5]]时，经过85次迭代[Δ]达到一个稳定值，并在n=43时，[Δ]达到最小值0.0521，[x1，0′]=1.2342，[x2，0′]=1.6672。
3结语
本文主要研究利用BP神经网络可以逼近多变元非线性方程组的函数的反函数，并利用迭代算法进行求解方程组的根，这是是一种通用的解多变元方程组的方法。
对文献[13]所提出的利用迭代神经网络求解多变元非线性方程组的方法进行了研究和实验分析，发现原算法可能由于误差[Δ]过早收敛而出现无穷迭代，并且由于误差并非一直随迭代次数的增加直线或者曲线变小，因此收敛的误差值并不一定是最小值。改进算法并根据误差[Δ]随迭代次数的变化曲线对迭代算法进行了改进，试验结果表明给一个任意的样本初始点，改进的迭代算都能能使[Δ]收敛到一个较小值，并找出[Δ]取最小值时方程组的近似解，具有较高的工程应用。由于网络的初始化权重和阈值以及对网络的迭代结果有重要的影响，神经网络结构与参数的选取和优化是值得进一步研究的问题。
参考文献
[1]焦李成。神经网络系统理论[M].西安：西安电子科技大学出版社，1996：1?25.
[2]张立明。人工神经网络的模型及其应用[M].上海：复旦大学出版社，1992.
[3]ABIYEVRahibHidayat，ALTUNKAYAKoray.Neuralnetworkbasedbiometricpersonalidentificationwithfastirissegmentation[J].InternationalJournalofControl，Automation，andSystems，2009，7（1）：17?23.
[4]YANGLi，SONGMa?lin.ResearchonBPneuralnetworkfornonlineareconomicmodelinganditsrealizationbasedonMatlab[C]//InternationalSymposiumonIntelligentInformationTechnologyApplication.[S.l.]：[s.n.]，2009：505?508.
[5]蒋蓉蓉。一种基于遗传算法的BP网络改进方法[J].微计算机信息，2007，23（11）：234?236.
[6]王静伟。BP神经网络改进算法的研究[J].中国水运，2008，8（1）：157?158.
[7]CYBENKOG.Approximationbysuperpositionsofasigmidalfunction[J].MathContralSignalsSystems，1989，2：303?373.
[8]PALMG.Onrepresentationandapproximationofnonlinearsystems[J].DiscreteSystemBidCybernet，1979，34：49?52.
[9]HECHT?NIELSENR.Theoryofthebackpropagationneuralnerwork[C]//ProceedingsoftheInternationalJointConferenceonNeuralNerworks.[S.l.]：IJCNN，1989，1：593?608.
[10]赵启林，卓家寿。非线性方程组的耦合神经网络算法[J].河海大学学报，2000，28（5）：38?40.
[11]吴灵敏，柳重堪。用神经网络解多元非线性方程组[J].北方交通大学学报，1997，21（2）：245?248.
关键词：BP神经网络；学习率；改进算法
反向传播BP（backpropagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一[1]。BP算法的思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不符合，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可以接受的程度或进行到预先设定的学习次数为止[2]。
1BP标准神经网络算法分析
1.1BP算法存在的不足及原因分析
标准的BP算法因其简单、易行、计算量小、并行性强等优点，是目前神经网络训练采用最多也是最为成熟的训练算法之一。与早期的人工神经网络模型相比，BP反向传播神经网络无论是在网络理论还是网络性能方面都更加成熟，起最突出的优点就是具有很强的非线性映射能力。但人们在使用过程中发现BP算法也存在着训练时间长、收敛速度慢、易陷入局部最小点等缺陷。
1.1.1学习算法的收敛速度慢
BP神经网络学习训练次数过多，导致学习训练过程过长，学习收敛速度太慢，即使一个比较简单的问题，也需要几百次甚至上千次的学习才收敛。
1.1.2隐含层层数及节点数的选取缺乏理论指导。
BP神经网络隐含层的层数以及节点数的选取，目前尚无理论上的指导，大多根据经验确定。因此网络往往具有很大的冗余性，无形中增加了学习的时间。
1.1.3训练时学习新样本有遗忘旧样本的趋势
BP神经网络的学习与记忆具有不稳定性。当给一个训练结束的BP神经网络提供新的记忆模式时，会破坏已经调整完毕的网络连接权值，导致已经记忆的学习模式信息消失。
2改进的BP神经网络学习算法
2.1学习方法的改进
对于标准的BP算法，由于其自身存在的缺点，BP算法的研究提出了一些的改进算法，如自适应调节学习率[3]，引入兜度因子[4]，使用双曲正切函数[5]，但是都没有取得非常理想的效果，对此我们可以采用以下的算法来解决问题。
2.1.1加入动量项
反向传播算法提供使用最速下降方法在权空间计算得到的轨迹的一种近似。我们使用的学习率参数η越小，从一次迭代到下一次迭代的网络突触权值的变化量越小，轨迹在权值空间越光滑。我们可以设想使用一下的方法来解决这个问题。
ΔWji（n）=αΔWji（n-1）+ηδj（n）yi（n）（1）
α是动量常数，通常是整数。
为了看出动量常数在一系列模式呈现上对突触权值的影响，我们将（1）式重新写成带下标t的一个时间系列。索引t从初始时间0到当前时间n，式（1）可被视为权值修正量ΔWji（n）的一阶差分方程。解这个关于ΔWji（n）的方程得到
这代表一个长度为n+1的时间序列，并且我们可以知道δj（n）yi（n）等于-因此我们可以把公式（2）重写等等价形式
当前修正值ΔWji（n）代表指数加权的时间序列的和。欲使时间序列收敛，动量常数α必须限制在0和1之间。当α等于0，反向传播算法运行起来没有动量。虽然在实际中动量常数α不大可能是负的，但是还有可正可负。
当偏导数在连续迭代中有相同的代数符号，指数加权和ΔWji（n）在数量上增加，所以权值ΔWji（n）被大幅度调整。在反向传播算法中包含动量趋于在稳定的下降方向上加速下降。
当偏导数在连续迭代中有相反的代数符号，指数加权和ΔWji（n）在数量上减少，所以权值ΔWji（n）调整不大。在反向传播算法中包含动量具有稳定符号正负摆动方向的效果。
3仿真实验
根据以上的算法，我们对标准的BP算法和改进的BP算法进行仿真计算，仿真计算的结果如表1所示。
可以看出改进后得算法能减少迭代次数，减少实际误差。
4结论
从大量的实际应用来看，收敛速率慢，学习时间长，产生振荡，甚至达不到收敛精度是常规BP算法的主要缺陷，通过对BP算法的改进，增加动量项，可以减少BP算法的迭代次数，减少误差，提高BP算法的工作效率。
[参考文献]
[1]Adaboost算法改进BP神经网络预测研究[J].计算机工程与科学，2013年8月。
[2]韩立群。人工神经网络教程[M].北京：人民邮电出版社，2007年7月。
[3]马锐。人工神经网络原理[M].北京：机械工业出版社，2010年9月。
上一篇：坚持不懈的故事(7篇)
下一篇：校长2024年度工作计划(7篇)
热门推荐