1..⼈⼯神经⽹络简介
⼈⼯神经⽹络（Artificial Neural Networks，ANN），是模拟⽣物神经⽹络进⾏信息处理的⼀种数学模型。
⼈⼯神经元模型
⼈⼯神经元是⼈⼯神经⽹络操作的基本信息处理单位。它是⼈⼯神经⽹络的设计基础，⼀个⼈⼯神经元对输⼊信号X=[x1,]T的输出为y。其中Activation function（激活函数）有三种形式：阶梯函数、分段线性函数、⾮线性转移函数、Relu函数。 国安罢赛
法国国庆日⼈⼯神经⽹络的学习也成为训练，指的是神经⽹络在受到外部环境的刺激下调整神经⽹络的参数，使神经⽹络以⼀种新的⽅式对外部环境做出反应的⼀个过程。在分类与预测中，⼈⼯神经⽹络主要⽤于有指导的学习⽅式，即根据给定的训练样本，调整⼈⼯神经⽹络的参数以使⽹络输出接近于⼀直的样本类标记或其他形式的因变量。 在⼈⼯神经⽹络的发展中，没有⼀种学习规则适⽤于所有⽹络结构和具体问题。在分类与预测中，学习规则（误差校正学习算法）是最⼴泛的⼀种，它根据神经⽹络的输出误差对神经元的连接强度进⾏修正，属于有指导学习。设神经⽹络中神经元i作为输⼊，神经元j为输出神经元，它们的连接权值为Wij，则对权值的修正为 ∆wij==λδj Y i，其中λ为学习率，即输出神经元j的实际输出和教师信号之差。神经⽹络训练是否完成常⽤误差函数（⽬标函数）R来衡量。当误差函数⼩于某⼀个设定的值时即停⽌神经⽹络的训练。
2.BP神经⽹络
是⼀种按误差逆传播算法训练的多层前馈⽹络。学习⽹络是δ学习规则，是⽬前应⽤最⼴泛的神经⽹络模型之⼀。
BP神经⽹络的学习算法是δ学习规则。
反向传播算法的特征是利⽤输出后的误差来估计输出层的直接前导层的误差，再⽤这个误差估计更前⼀层的误差，如此⼀层⼀层的反向传播下去，就获得了所有其他各层的误差估计，就形成了将输出层表现出的误差沿着与输⼊传送相反的⽅向逐级向⽹络的输⼊层传递的过程。
BP算法的学习过程由信号的正向传播与误差的逆向传播两个过程组成。正向传播时，输⼊信号经过隐层处理后，传向输出层。若输出层节点未能得到期望的输出，则转⼊误差的逆向传播阶段，将输出误差按某种⼦形式，通过隐层向输⼊层返回，并分摊给隐层4个节点与输⼊层x1，x2，x3三个输⼊节点，从⽽获得各层单元的参数误差或称为误差信号，作为修改各单元权值的依据。这种信号正向传播与误差逆向传播的各层权矩阵的修改过程，是周⽽复始进⾏的。权值不断修改的过程，也就是⽹络的学习过程。
三层BP神经⽹络结构
算法开始后，给定学习次数上限，初始化学习次数为0，对权值和阈值赋予较⼩的随机数，⼀般在[-1,1]之间，属于样本数据，⽹络正向传播，得到中间层与输出层的值，⽐较输出层的值与教师信号值的误差，⽤误差函数E来判断误差是否⼩于误差上限，如不⼩于误差上限，则对中间层和输出层权值和阈值进⾏更新，更新的算法为δ学习规则。更新权值和阈值后，再次将样本数据作为输⼊，得到中间层与输出层的值，计算误差E是否⼩于上限。学习次数是否达到指定值，如果达到，则学习结束。
BP算法只⽤到均⽅误差函数对权值和阈值的⼀阶导数（梯度）的信息，使得算法存在收敛速度缓慢、易陷⼊局部极⼩等缺陷。
3.实例
我们建⽴神经⽹络算法进⾏建模，建⽴的神经⽹络有3个输⼊节点，10个隐藏节点和1个输出节点。
#-*- coding: utf-8 -*-
#使⽤神经⽹络算法预测销量⾼低
import pandas as pd
#参数初始化
inputfile = 'F:/fenxiyuwajue/dataandcode/chapter5/chapter5/demo/data/sales_data.xls'
data = pd.read_excel(inputfile, index_col = u'序号') #导⼊数据
#数据是类别标签，要将它转换为数据
#⽤1来表⽰“好”、“是”、“⾼”这三个属性，⽤0来表⽰“坏”、“否”、“低”
data[data == u'好'] = 1
data[data == u'是'] = 1
data[data == u'⾼'] = 1
data[data != 1] = 0
x = data.iloc[:,:3].as_matrix().astype(int)
白喉杆菌
y = data.iloc[:,3].as_matrix().astype(int)
16位ms-dos子系统dels import Sequential
from import Dense, Activation
model = Sequential() #建⽴模型
model.add(Dense(input_dim = 3, output_dim = 10))
model.add(Activation('relu')) #⽤relu函数作为激活函数，能够⼤幅提供准确度
model.add(Dense(input_dim = 10, output_dim = 1))
理论与改革model.add(Activation('sigmoid')) #由于是0-1输出，⽤sigmoid函数作为激活函数
modelpile(loss = 'binary_crossentropy', optimizer = 'adam', class_mode = 'binary')
#编译模型。由于我们做的是⼆元分类，所以我们指定损失函数为binary_crossentropy，以及模式为binary
#另外常见的损失函数还有mean_squared_error、categorical_crossentropy等，请阅读帮助⽂件。
#求解⽅法我们指定⽤adam，还有sgd、rmsprop等可选
model.fit(x, y, nb_epoch = 1000, batch_size = 10) #训练模型，学习⼀千次
yp = model.predict_classes(x).reshape(len(y)) #分类预测
#混淆矩阵可视化函数
def cm_plot(y, yp):
ics import confusion_matrix #导⼊混淆矩阵函数
cm = confusion_matrix(y, yp) #混淆矩阵
plt.matshow(cm, Greens) #画混淆矩阵图，配⾊风格使⽤cm.Greens，更多风格请参考官⽹。 lorbar() #颜⾊标签
for x in range(len(cm)): #数据标签
for y in range(len(cm)):
plt.annotate(cm[x,y], xy=(x, y), horizontalalignment='center', verticalalignment='center')
plt.ylabel('True label') #坐标轴标签
plt.xlabel('Predicted label') #坐标轴标签
return plt
cm_plot(y,yp).show()
得出混淆矩阵结果如下：
历史唯心主义由上图可以看出，检测样本为34个，预测正确的个数为26个，预测准确率为76.4%，预测准确率较低，原因是训练数据较少。
在本⽂案例中，并没有考虑过度拟合的问题，⽽神经⽹络的拟合能⼒较强，容易出现过拟合现象，与传统的添加“惩罚项”不同，神经⽹络防⽌过拟合的⽅法是随机低让部分神经⽹络节点休眠。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议