Python机器学习项目化教程（微课视频版）课件 第10章 人工神经网络

第10章人工神经网络目录CONTENTS10.1感知机10.2神经网络模型10.3BP神经网络算法思想及实现10.4BP神经网络算法实现10.5本章小结10.1从感知机到多层感知机学习基础学习认知能力信息素养高M-P神经元模型如图10-1所示。输出一般可以表示为：1.激活函数假设有两个输入信号x1和x2，经过感知机处理后，输出结果为y，其网络结构如图10-2所示。10.1从感知机到多层感知机sigmoid函数、tanh函数和阶跃函数的图形如图10-3所示。10.1从感知机到多层感知机而对于图10-4所示的异或问题就显得无能为力。但是，可以通过对逻辑与、逻辑或、逻辑与非进行叠加后来实现逻辑异或运算，如图10-5所示。10.2神经网络模型一个单隐藏层的神经网络模型如图10-6所示。将神经网络每一层加上权值进行扩充后，就变成了图10-7所示的两层神经网络模型。：10.2神经网络模型经过输入层后，隐藏层的输出可通过以下公式得到：则上式就变为：：使用矩阵形式可以表示为：10.2神经网络模型隐藏层到输出层的初始权值、偏置及输入为：则有：10.3BP神经网络算法思想及实现假设有n个输入样本，每个特征向量xi包含m个特征xi=(d1,d2,…,dm)。现在要确定神经网络的映射函数：神经网络的输出要无限接近真实的标签值，就是要最小化预测误差，如果采用均方误差，则目标函数为：10.3BP神经网络算法思想及实现是一个2×3的矩阵，是一个二维的列向量，则有：第i个输出结果为yi，则误差函数可以表示为：10.3BP神经网络算法思想及实现BP反向传播计算分为两个部分：（1）隐藏层到输出层的参数W和b的更新；（2）从输入层到隐藏层的参数W和b的更新。10.3BP神经网络算法思想及实现输入为4个样本，每个样本包含两个数x1和x2，如果增加一个偏置x0，则每个输入样本包含3个数（x0，x1，x2）；输出为1个数，其值为0或1。importnumpyasnpdefinit_data():X=np.array([[1,0,0],[1,0,1],[1,1,0],[1,1,1]])Y=np.array([[0,1,1,0]])W1=np.random.random((3,4))*2-1W2=np.random.random((4,1))*2-1alpha=0.1returnX,Y,W1,W2,alpha10.3BP神经网络算法思想及实现（1）前向传播：根据输入数据和权值矩阵，计算X×W1，并将其代入激活函数，得到输入层到隐藏层的输出hidden_out；然后将其作为隐藏层到输出层的输入，再计算hidden_out*W2，将其代入激活函数，得到输出层的输出output_out。（2）计算误差：根据输出层的输出output_out与真实标签Y的取值，得到输出层的误差delta_output；根据隐藏层的输出hidden_out和隐藏层到输出层的权值矩阵W2，得到隐藏层的误差delta_hidden。（3）更新权值：先利用delta_output和hidden_out得到W2的变化量，然后更新W2；根据输入层的X和delta_hidden得到W1的变化量，然后更新W1。10.3BP神经网络算法思想及实现3.学习到参数W1和W2经过若干次迭代后，返回W1和W2。defbp_nn(X,Y,W1,W2,alpha,iter):foriinrange(iter):W1,W2=bp_train(X,Y,W1,W2,alpha)ifi%1000==0:hidden_out=sigmoid(np.dot(X,W1))#隐藏层输出为4×4的矩阵

output_out=sigmoid(np.dot(hidden_out,W2))#输出层输出为4×1的向量

print('当前误差:',np.mean(np.abs(Y.T-output_out)))returnW1,W210.3BP神经网络算法思想及实现4.测试样本defmodel_test(X,W1,W2):hidden_out=sigmoid(np.dot(X,W1))#隐藏层输出为4×4的矩阵

output_out=sigmoid(np.dot(hidden_out,W2))#输出层输出为4×1的向量

print('BP神经网络模型测试结果：')forsampleinmap(judge,output_out):print(sample,end='')10.3BP神经网络算法思想及实现当前误差:0.4979871475935289当前误差:0.4914224281784273…当前误差:0.10820928582709059当前误差:0.0934149541358422BP神经网络输出：

[[0.07394936][0.89675472][0.94200876][0.09623804]]BP神经网络训练结果：0110BP神经网络模型测试结果：0101110.4BP神经网络算法实现──鸢尾花分类1鸢尾花（iris）数据集包含4个特征，1个类别属性，共有150个样本。iris是鸢尾植物，数据集中存储了其萼片和花瓣的长宽，共4个属性；鸢尾花分为3类：山鸢尾（setosa）、变色鸢尾（versicolor）和维吉尼亚鸢尾（virginica）。其属性及类别描述如表10-1所示。10.4BP神经网络算法实现──鸢尾花分类22.样本标签数据处理为了方便实现对样本数据的多分类，可对原样本标签进行预处理，即把原分类标签0、1和2分别转换为[1,0,0]、[0,1,0]和[0,0,1]。foriinrange(len(all_feature)):newdata=[]newdata.append(list(all_feature[i]))ifall_data[i][4]=='setosa':newdata.append([1,0,0])elifall_data[i][4]=='versicolor':newdata.append([0,1,0])else:newdata.append([0,0,1])data.append(newdata)10.4BP神经网络算法实现──鸢尾花分类33.创建神经网络结构假设要构建一个3层神经网络模型，即包含一个输入层、一个隐藏层及一个输出层网络结构，需要初始化各层的权值，为方便调用，我们可以定义一个MyBPNetwork类，通过输入层、隐藏层和输出层神经元个数，构建输入层到隐藏层和隐藏层到输出层的权值矩阵，然后再通过随机生成函数初始化权值矩阵。10.4BP神经网络算法实现──鸢尾花分类33.创建神经网络结构defupdate(self,feature):foriinrange(self.in_num-1):self.in_layer[i]=feature[i]forjinrange(self.hidden_num):z=0.0foriinrange(self.in_num):z=z+self.in_layer[i]*self.W1[i][j]self.hid_out[j]=sigmoid(z)

forkinrange(self.output_num):z=0.0forjinrange(self.hidden_num):z=z+self.hid_out[j]*self.W2[j][k]self.out_out[k]=sigmoid(z)returnself.out_out10.4BP神经网络算法实现──鸢尾花分类defback_propagate(self,y_label,alpha):"""反向传播"""delta_output=[0.0]*self.output_numforindexinrange(self.output_num):err=y_label[index]-self.out_out[index]delta_output[index]=dsigmoid(self.out_out[index])*errdelta_hidden=[0.0]*self.hidden_numforiinrange(self.hidden_num):err=0.0forjinrange(self.output_num):err=error+delta_output[j]*self.W2[i][j]delta_hidden[i]=dsigmoid(self.hid_out[i])*err