2023学年完整公开课版神经网络

机器学习

——神经网络头歌教学研究中心头歌人工智能专业系列课程内容纲要神经网络概述123能力提升在于实践4人工神经元单层与多层感知器BP神经网络5总结6API和应用案例激活函数7头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——神经网络头歌教学研究中心头歌人工智能专业系列课程神经网络概述生物神经元细胞结构细胞体（Cellbody）树突(Dendrites)轴突(Axon)突触

(Synapticterminals)当树突将生物电信号传递到细胞体时，若引起细胞膜内和膜外的电位差超过阈值，则神经元进入兴奋状态，继续产生神经冲动传导下去。人脑中有1011-1012个神经元每个神经元平均与104

个其他神经元相连接形成神经网络神经网络概述神经网络概述生物神经元的突触可根据自身经验调整大小和连接强度生物神经元的学习机制——Hebbianlearning“Neuronsthatfiretogether,wiretogether.”神经网络概述McCulloch&Pitts(1943)被公认为第一个人工神经网络的设计者(MPmodel)试图通过用计算模型模拟生物神经系统的方法来理解生物神经系统的工作模式高度并行性使得其计算效率非常高有助于理解神经表示的“分布式”特征

早期的“专家系统”是用大量“如果-就”(If-Then)规则定义的，自上而下的思路人工神经网络

(ArtificialNeuralNetwork)，标志着另外一种自下而上的思路麦克洛奇(McCulloch)皮茨(Pitts)神经网络概述1985年，GeoffreyHinton使用BP算法（Back-propagationalgorithm，proposedin1969，practicablein1974）来计算网络参数

1989年，YannLeCun等人使用深度神经网络来识别手写体字符。图像认知过程的理解声音的理解深度学习-CNN和RNN头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——神经网络头歌教学研究中心头歌人工智能专业系列课程人工神经元人工神经元人工神经元显然w，p，和1分别对应着人工神经元的权值、输入和阈值在这个问题中建立的神经元采用的激活函数为二值函数（阶跃函数）二值函数可以做二分类——逻辑单元

x1x2xnw1w2wnyiny110bf(.)人工神经元MP模型采用的激活函数为二值函数可进行逻辑运算又称阈值逻辑单元（TLU，ThresholdLogicUnit）将不同的输入转换为0或1的输出神经元的权值与阈值可以统一起来

阈值人工神经元TLU可进行逻辑运算基本逻辑运算包括否定运算（非，┐，～

）合取运算（与，∧）析取运算（或，∨，可兼或）P┐P0(F)1(T)1(T)0(F)PQP∧Q000010100111PQP∨Q000011101111人工神经元其他常用逻辑运算条件运算（如果…则，→）等值运算（当且仅当

，↔）PQP→Q001011100111PQP↔Q001010100111显然P↔Q

（P→Q）∧（Q→P

)y1fx1x222x0-3x0x1x2WXT输出1001×(-3)+0×2+0×2=-3<001011×(-3)+0×2+1×2=-1<001101×(-3)+1×2+0×2=-1<001111×(-3)+1×2+1×2=1>01合取，与（AND）x1∧x2人工神经元x0x1x2WXT输出1001×(-1)+0×2+0×2=-1<001011×(-1)+0×2+1×2=1>011101×(-1)+1×2+0×2=1>011111×(-1)+1×2+1×2=3>01析取，或（OR）x1

∨x2y2fx1x222x0-1人工神经元头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——神经网络头歌教学研究中心头歌人工智能专业系列课程激活函数

激活函数激活函数1-1u激活函数1-1u激活函数Sigmoid函数，其特点是单调递增、光滑且具有渐近值，具有解析上的优点和神经生理学特征。1-1utanh是双曲函数中的一个，tanh()为双曲正切。在数学中，双曲正切“tanh”是由双曲正弦和双曲余弦推导而来。激活函数ReLU函数：分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——神经网络头歌教学研究中心头歌人工智能专业系列课程单层与多层感知器单层与多层感知器1958年Rosenblatt提出建立在MP神经元模型上，以解决线性可分的两类问题最简单的机器学习方法之一与MP稍有不同，两类记为{+1，-1}最简单的感知器

单层与多层感知器单层感知器输入层输出层单层与多层感知器多层感知器单层与多层感知器单层与多层感知器将上述的式子转换为矩阵表达式：单层与多层感知器将第二层的前向传播计算过程推广到网络中的任意一层，则:头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——神经网络头歌教学研究中心头歌人工智能专业系列课程BP神经网络BP神经网络学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。BP网络的标准学习算法BP神经网络算法思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播V.S.误差的反向传播将误差分摊给各层的所有单元－－－各层单元的误差信号修正各单元权值BP神经网络学习过程正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止BP神经网络BP神经网络BP神经网络BP神经网络BP神经网络BP神经网络BP神经网络BP神经网络BP神经网络BP神经网络BP算法直观解释情况一直观表达当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。whoe>0，此时Δwho<0BP神经网络BP算法直观解释情况二直观表达当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。e<0,此时Δwho>0who头歌教学研究中心头歌人工智能专业系列课程全面