第7章-线性神经网络

复习：感知器该模型由一个线性组合器+阈值函数组成yx1x2xn...uw1w2wnw0x0对于单层感知器，哪个说法是错误的?由一个线性组合器+阈值函数组成由Rosenblatt提出能解决非线性可分问题可以有多个输入下面的权重更新方程，哪些是正确的?

一个引例汽车重量和耗油量数据样本65辆汽车的重量和燃油消耗的数据样本假设我们给出第66辆汽车的重量

请你根据上述数据预测它消耗的油量?线性神经网络是等值映射函数。该单元的输出就是它的净输入。解决方案：基于给定的数据建立线性神经网络模型汽车重量和耗油量数据样本假设我们给出第66辆汽车的重量，请你根据上述数据预测它的耗油量?汽车重量和燃油消耗数据样本哪条线更优？如何去选择

？损失函数定义损失函数:E注意:N:训练样例的个数。:实际燃油消耗量。:模型根据方程计算出的预测值。损失函数的三维图w0w1E等高线图最小化损失最佳预测=最小化

E=最优参数

w0,w1怎样梯度下降——一种迭代搜索算法随机选择w0,w1的初始值。更新参数

w0,w1以减少E。重复步骤2，直到损失函数E接近于零。梯度GradientDescentLet’swatchavideo关于AndrewNg/Coursera机器学习(Coursera免费在线课程)/learn/machine-learningCS229:机器学习(斯坦福课程)深度学习梯度定义:梯度通常只指其偏导数的向量。对于三维坐标系:*梯度下降算法最佳预测=最小化

E=最优参数

w0,w1怎样梯度下降--一种迭代数值技术随机选择w0,w1的初始值。更新参数

w0,w1重复步骤2，直到损失函数E接近于零*计算梯度LMS:LeastMeanSquare最小均方学习算法

规则/学习Widrow-Hoff

学习算法B.Windrow,M.E.Hoff.Adaptiveswitchingcircuits,1960IREWESCONConventionRecord,NewYork:

IRE

Part4,pp.96-104最佳预测=最小化

E=最优参数w0,w1随机选择w0,w1的初始值。更新参数

w0,w1。重复步骤2，直到损失函数E接近于零。梯度下降算法随机选择w0,w1的初始值w0,w1。更新参数

w0,w1。3.重复步骤2，直到损失函数E接近于零。学习速率:太小:花费很长时间收敛太大:超过最小值线性回归线性回归这是一个神经网络x1-1yw0w1线性神经网络-多元回归如上的汽车实例:燃油消耗—重量…biasx1xninputsoutput图1假设我们有一个或者多个变量。通过添加更多的输入单元，我们的简单神经网络模型可以很容易地扩展到这种情况(图1)。线性神经网络-多元回归类似地，我们希望从数据中预测多个变量(图2)。

…biasx1xninputsoutputs图27.1线性神经网络的结构是等值映射函数。此单元的输出就是它的净输入。.线性神经网络…Adaline和Perceptron有什么区别？？？AdalineBernardWidrow,19597.2线性神经网络的功能Adaline本质上就是一个线性回归器7.3线性神经网络的学习算法讨论1:学习率如果

太小,该算法需要很长时间才能收敛如果

太大,最终可能会在误差曲面上来回跳动，最终发散lr=maxlinlr(P)P:输入向量Column:维度Row:示例输入向量组成的协方差矩阵的最大特征值讨论2:批量学习vs在线学习批量学习:在更新权重之前，累积训练集中所有数据点的梯度贡献。在线学习:在看到每个数据点后立即更新权重。讨论2:批量学习vs

增量/在线/随机学习当训练集数量巨大时，建议使用增量梯度下降算法Initializew0,w1Update,untilconvergeforp=1:N(numberoftrainingexamples){fori=1:n(numberofinputs)

{wi:=wi-learning_rate*Gradient;}}讨论3:性能评估MAE:MeanAbsoluteErrorMSE:MeanSquaredErrorSSE:SumSquaredError课堂练习推导损失函数E的梯度。假设我们有以下训练样本，请计算w1和w0的第一次迭代更新后的值。x1d-1.250.8-0.90.3-0.50.2w1

,w0

的初始值为0.1和0.2学习率=0.01Matlab实现P=0:0.5:10;%输入向量d=3*P+4*rand(1,length(P));%实际输出向量lr=maxlinlr(P,‘bias’)%学习速率plot(P,d,'*');

%%线性神经网络net=linearlayer(0,lr);%搭建网络net=train(net,P,d);%网络训练yhat=net(P);%网络仿真%%结果展示view(net)holdon;plot(P,yhat,'r');课后作业习题7-1补充内容：

第二部分:逻辑回归逻辑回归

分类问题

模型

代价函数

参数学习–梯度下降法其它问题线性回归分类010.5xy线性回归分类010.50.5并不足够好线性回归的输出可以是任何值，但这里是0/1值模型结构线性回归逻辑回归模型结构

Logistic函数Logistic函数，它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的，很像一个“S”型，所以又叫sigmoid曲线（S型曲线）。优点:输入：-负无穷,正无穷;输出:0-1理解:y=1的估计概率。Logistic函数具有如下哪些（）性质？其输入范围为-inf,inf其输出范围为[0-1]其输出可以看做是y=0的概率其输出可以看做是y=1的概率代价函数--OLD

47非凸函数48代价函数--NEW

49交叉熵参数更新--梯度下降

50参数更新--梯度下降

51多分类问题

一对多分类52多分类问题

一对多分类53多分类问题One-hot编码

例:三类问题54Multiclassclassificationsoftmaxclassification55下列关于逻辑回归，描述正确的有（）逻辑回归属于监督型算法逻辑回归属于回归问题逻辑回归属于分类问题逻辑回归只能解决二分类问题Regularization正则化

57总结与讨论感知器逻辑回归线性神经网络

58相同点不同点总结与讨论感知器逻辑回归线性神经网络

59任务线性--非线性硬分类软分类回归补充内容：

第三部分:ANN的历史ANN的历史Pitts皮茨（1923-1969）数学家McCulloch麦卡洛克（1898-1969）神经学家开始:1943年McCulloch和Pitts引入了神经网络模型。ANN的历史黄金时期:1958年Rosenblatt开发了感知器。F.Rosenblatt.Theperceptron:aprobabilisticmodelforinformationstorageandorganizationinthebrain.PsychologicalReview,65:386–408,1958.ANN的历史黑暗时期:1969年Minsky发表了一篇论文。Perceptrons不能完成XORM.MinskyandS.Papert.Perceptrons.MITPress,Cambridge,Mass,1969.Minsky明斯基（1927-2016）ANN的历史复兴:1982年Hopfield发开了HopfieldNets。Hopfield（1933-）JohnJ.Hopfield.Neuralnetworksandphysicalsystemswithemergentcollectivecomputationalabilities.Proc.oftheNationalAcademyofScience,USA,79:2554-2558,1982.ANN的历史复兴:1986年Rumelhart,Hinton,Williams,开发了反向传播。Rumelhart（1942-2011）认知心理学家DavidE.Rumelhart,GeoffreyE.Hinton,andR.J.Williams.Learninginternalrepresentationsbyerrorpropagation.InD.E.Rumelhart,J.L.McClelland,andthePDPresearchgroup.,editors,Paralleldistributedp