深度学习及自动驾驶应用 课件 第2章 深度学习基础

Chapter2深度学习基础第二章DeepLearningAndAutonomousDriving深度学习与自动驾驶应用DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第2页2.4Drop—out2.1神经网络的定义2.3神经网络步骤2.2神经网络的框架目录Content车的识别一个经典的定义：神经网络是由具有适应性的简单单元组成的广泛并行互连网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络的定义生物神经元结构人脑视觉机理视觉影像反射光线神经脉冲双极细胞i.视感觉阶段-信息采集纹状皮层初级视觉信息输入人体神经网络人脑视觉机理ii.视知觉阶段-信息认知纹状皮层纹外视觉皮层初级视觉信息中级视觉信息海马体长短时记忆信息神经脉冲输入人体神经网络从原始信号摄入（瞳孔摄入像素Pixels）

初步处理（大脑皮层某些细胞发现边缘和方向）

抽象（大脑判定，眼前的物体的形状，是圆形的）

进一步抽象（大脑进一步判定该物体是人脸）从原始信号，做低级抽象，逐渐向高级抽象迭代人脑视觉机理：神经-中枢-大脑测量空间（表象）特征空间（概念）人体神经网络图像在计算机中的存储方式神经网络最初是在图像识别中取得了很好的效果。

一张图片被表示成三维数组的形式，每个像素的值从0到255例如：300*100*3表示图像的长宽和颜色通道数列矩阵人工神经网络模仿人类的视觉系统底层特征中层特征高层特征像素矩阵可训练的分类器图像识别基本框架（场景识别、目标识别、人脸识别…）测量空间特征空间类别空间人工神经网络目的使用深度学习的目的：寻找一个合适的函数数字图片识别机器翻译自动问答“3”“倾盆大雨”“上海”“Rain

cats

and

dogs”“姚明是哪里人？”人工神经网络目的图像识别“烫烫烫烫”“8”“2”学习任务:寻找手写识别函数，候选函数集合为：人工神经网络目的学习过程确定函数集合如何评价好坏挑出最好函数=“2”=“3”….=“0”=“5”答案人人机器怎么做：对答案人工神经网络框架学习过程建立模型损失函数参数学习=“2”=“3”….=“0”=“5”训练数据人人机器监督学习（SupervisedLearning）人工神经网络框架学习过程建立模型损失函数参数学习答案人人机器

XY0

人工神经网络框架建立模型损失函数“0”“2”“5”参数学习Using“罗红霉素”TrainingTesting监督学习任务:手写识别训练数据图像识别测试数据Step1Step2Step3人工神经网络框架建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法人工神经网络步骤建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法人工神经网络步骤单层感知器输入节点：x1,x2,x3输出节点：y权向量：w1,w2,w3偏置因子：b激活函数：sign(x)=1 x>=0-1 x<0单层感知器（SingleLayerPerceptron）是最简单的神经网络。它包含输入层和输出层，而输入层和输出层是直接相连的。y

=1 (0.5x1+0.5x2+0.5x3-0.6>=0)-1 (0.5x1+0.5x2+0.5x3-0.6<0)单层感知器举例权值w都设成0.5，偏置b设为-0.6单层感知器单层感知器学习过程i

=

0,1,2…y是网络输出f是sign函数η表示学习率t是标签值t和y的取值为±1权值调整公式假设：t=1，η=1，x1=1，w1=-5，b=0:单层感知器学习过程简化演示，假设只有一个样本，一个特征𝜂取值一般取0-1之间;学习率太大容易造成权值调整不稳定;学习率太小，权值调整太慢，迭代次数太多。单层感知器学习过程1.误差小于某个预先设定的较小的值2.两次迭代之间的权值变化已经很小3.设定最大迭代次数，当迭代超过最大次数就停止模型收敛条件单层感知器学习过程题目：假设平面坐标系上有四个点，(3,3),(4,3)这两个点的标签为1，(1,1),(0,2)这两个点的标签为-1。构建单层感知器来分类。单层感知器实例思路：我们要分类的数据是2维数据，所以只需要2个输入节点，我们可以把神经元的偏置值也设置成一个节点，偏置也是一个输入，恒等于1，这样我们需要3个输入节点。输入数据有4个(1,3,3),(1,4,3),(1,1,1),(1,0,2)数据对应的标签为(1,1,-1,-1)初始化权值w0,w1,w2取-1到1的随机数，学习率(learning

rate)设置为0.11，激活函数为sign函数。单层感知器程序实现单层感知器分类.ipynb建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法人工神经网络步骤单个神经元y神经元…偏置bias权重weights………激活函数理解：简单线性函数f(x)=kx+b(x是向量，表示多维，k是斜率，b是截距)建立模型

网络结构神经元不同的连接方式构成不同的网络结构每个神经元都有自己的权重和偏置参数建立模型

建立模型—浅层神经网络建立模型—浅层神经网络建立模型—深度神经网络为什么引入激活函数为了增强网络的表达能力，我们需要激活函数来将线性函数->非线性函数深层神经网络中最常用的是ReLU，Sigmoid使用较少。建立模型神经元CNN在卷积层尽量不要使用Sigmoid和Tanh，将导致梯度消失。首先选用ReLU，使用较小的学习率，以免造成神经元死亡的情况。  如果ReLU失效，考虑使用LeakyReLU、PReLU、ELU或者Maxout，此时一般情况都可以解决。激活函数表达式以及对应的微分函数建立模型Google神经网络演示平台http://playground.tensorflow.org/前馈神经网络建立模型1-11-21-10激活函数1

0.980.124-2

自左向右依次计算建立模型1-11-21-101

0.980.124-2

2-1-1-20.860.113-14-10.620.8300-22

前馈神经网络输出层隐藏层输入层隐藏层数很多意味着网络越深神经元建立模型……………………………………y1y2ymx1x2xn…………前馈神经网络神经网络其实就是按照一定规则连接起来的多个神经元。输出层常用softmax函数作为输出层激活函数：容易理解、便于计算

32.7200.05建立模型1-30.880.12≈0应用示例：手写识别输入每一个输出值代表其对应标签的概率值输出神经网络is1is2is8……0.10.10.716x16=256……黑色像素点→1白色像素点→0建立模型“8”……神经网络图片被识别成数字“8”应用示例：手写体识别设置合适的网络结构：层数和结点个数、激活函数问题：应该设置多少层，多少结点？是否需要选择其他网络结构如CNN/RNN？建立模型is1is2is0…………………………………………y1y2ymx1x2xn…………X建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法使用步骤损失函数分类损失回归损失损失函数的设计依赖于具体的任务16x16=256y1

值最大；对于数字识别任务，设计用于分类的损失函数，使得学习目标变为：输入:y8

值最大······输入:损失函数………………………………y1y2y10x1x2x256…………is1is2……is0Softmax

“1”……100常用损失函数：平方损失函数、交叉熵损失函数目标尽可能接近好的参数使得所有训练数据的损失越小越好损失函数………………………………y1y2y10x1x2x256…………Softmax

学习一组参数损失函数对所有训练数据：

即确定参数使得总损失L最小总损失:尽可能小找到一个函数使得总损失L最小神经网络样本x1y1

样本x2y2

神经网络样本x3y3

神经网络样本xRyR

……神经网络建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法使用步骤参数学习

枚举所有可能的取值例如：语音识别模型有8层，每层1000神经元参数个数巨大L+1层……L层……106权重参数1000神经元1000神经元

参数学习梯度下降法总损失神经网络参数w初始值下的总损失总损失值最小总损失变小通过调节参数w，逐步逼近总损失最小值参数学习初始值w选择一个初始值w，Random,RBMpre-train

梯度为正梯度为负减小w增加w

梯度下降法选择一个初始值w，Random,RBMpre-train

η

是“学习率”迭代参数学习

梯度下降法总损失神经网络参数w在平坦区变化非常缓慢

停在鞍点

参数学习全局最优值停在局部最优值梯度下降法初始值影响选取不同的初始值，可能到达不同的局部最小值参数学习ABCDACBD例如：使用步骤建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法BP(Back

Propagation)神经网络1986年，由McClelland和Rumelhart为首的科学家小组提出，解决了多层神经网络的学习问题，极大促进了神经网络的发展。BP神经网络也是整个人工神经网络体系中的精华，广泛应用于分类识别、逼近、回归、压缩等领域。在实际应用中，大约80%的神经网络模型都采取了BP网络或BP网络的变化形式。……………………………………y1y2ymx1x2xn…………反向传播算法输入：x

总误差L

隐藏层参数学习InputLayer1Layer2Output反向传播的基本思想就是通过计算输出层与期望值之间的误差来调整网络参数，从而使得误差变小。信号正向传播

…

参数学习

…

参数学习

信号正向传播

…

参数学习

信号正向传播

…

参数学习

信号正向传播

…

参数学习

信号正向传播

…

参数学习

信号正向传播

…

参数学习

信号正向传播

…

参数学习

信号正向传播每一层的各个输出都是参数w的函数参数学习例子演示其中，输入数据

i1=0.05，i2=0.10;输出数据o1=0.01,o2=0.99;初始权重：w1=0.15,w2=0.20,w3=0.25,w4=0.30;w5=0.40,w6=0.45,w7=0.50,w8=0.55目标：给出输入数据i1,i2(0.05和0.10)，训练模型，更新权重参数，使输出尽可能与原始输出o1,o2(0.01和0.99)接近。参数学习例子演示Step1:信号前向传播(激活函数为sigmoid)：1.输入层---->隐藏层：2.隐藏层---->输出层：输出值为[0.75136079,0.772928465]，与实际值[0.01,0.99]相差大。参数学习例子演示Step2:误差反向传播1.计算总误差总误差：(squareerror)参数学习例子演示（以权重参数w5为例）这是一个“链式求导”过程Step2:误差反向传播2.隐藏层---->输出层的权值更新：参数学习例子演示反向传播计算：“链式求导”参数更新：参数学习例子演示同理，可更新w6,w7,w8:参数学习例子演示Step2:误差反向传播3.输入层---->隐藏层的权值更新：同理，计算出：两者相加得到总值：参数学习例子演示3.输入层---->隐藏层的权值更新：三者相乘：最后，更新w1权值：Step2:误差反向传播参数学习3.输入层---->隐藏层的权值更新：同理，可更新w2,w3,w4:第一次误差反向传播完成后，总误差E(total)由0.298371109下降至0.291027924。把更新的权值重新计算，不停地迭代，迭代10000次后，总误差为0.000035085，输出为[0.015912196,0.984065734](原输