人工智能应用概论（第2版） 课件 第四章：神经网络与深度学习

第四章

神经网络与深度学习

《人工智能应用概论（第2版）》RengongZhinengYingyongGailun“十四五”广西壮族自治区职业教育规划教材

新编21世纪高等职业教育精品教材·通识课系列Part0101神经网络与深度学习概念Part0202

深度学习原理目

录contentPart0303卷积神经网络

【课程导入】现实中，我们的大脑接收眼睛或耳朵传递来的数据（输入源），会通过一层层的神经元去解析数据（神经元），然后得到我们对于所见的判断（输出源）。对整个实现过程的抽象理解如图4-2所示Part01神经网络与深度学习概念4.1.1生物神经元（Biologicalneuron）人工神经网络是受到人类大脑结构的启发而创造出来的。生物神经元是神经系统的基本功能单元，负责接收、处理和传递信息。人类大脑中包含大约860亿个神经元，它们通过复杂的网络相互连接，实现各种神经功能。生物神经元的结构包括细胞体、树突、轴突和突触。以下是具体介绍：细胞体：细胞体是神经元的主要部分，包含细胞核、细胞质和细胞膜。它是神经元的代谢中心，维持细胞的生命活动。树突：树突是从细胞体向外延伸的分支纤维，主要作用是接收来自其他神经元的信号。一个神经元可以有多个树突，这使得神经元能从多个源头接收信号。轴突：轴突是一条长的纤维，从细胞体延伸出来，负责将信号从细胞体传递到其他神经元或组织。一个神经元只有一个轴突，其长度可从几微米到一米不等。突触：突触是神经元之间传递信息的连接点，通常是轴突末端与其他神经元的树突或细胞体相接触的部分。在这里，神经递质被释放，从而将信号从一个神经元传递到另一个神经元。4神经网络是一种模拟人脑神经元结构的计算模型。人工神经网络（ANN）由神经元（圆圈）和权重w（直线）两部分组成，分为输入层、隐藏层、输出层。其中，输入层相当于输入元，隐藏层相当于人工神经网络输出层相当于输出源。三层之间的神经元相互连接，和权重组（w1，w2）经过前向算法和反馈算法的数学运算，最终将结果以“激活码”的方式输出，这与生物（人类）神经元中的突触十分相似。输入层是神经网络与外界数据的接口，负责接收并传输输入数据到网络中。隐藏层通过非线性变换和特征提取来加工输入数据。输出层将神经网络的处理结果转换为外界可以理解的格式。4.1.2人工神经网络(ArtificialNeuralNetworks）4神经网络是深度学习的基础，而深度学习是神经网络的一种特殊形式。深度学习是一种特殊的机器学习方法，采用多层神经网络来学习数据的高级特征。每一层网络都从前一层的输出中提取更复杂的信息，如自动驾驶。4.1.3深度学习(DeepLearning)如：自动驾驶中，将摄像头、雷达、GPS、速度数据集放入到输入层，经过多层神经网络层计算，最终输出层输出方向、刹车、加速参数，实现自动驾驶的效果。4八大深度学习神经网络：CNN卷积神经网络（图像识别与分类）、RNN循环神经（）、GAN对抗神经网络（生成式AI，生成新图片）、LSTM长短期（天气预测）、Transformer神经网络（自然语言处理）。4.1.3深度学习(DeepLearning)4传统机器学习和深度学习算法的主要区别在于特征。传统机器学习算法中，我们需要手工编码特征；在深度学习算法中，特征由算法自动完成，但耗时且需要海量数据。4.1.4深度学习(DeepLearning)与机器学习Part02神经网络技术原理4感知器，也可翻译为感知机（神经元），是FrankRosenblatt在1957年就职于Cornell航空实验室时所发明的一种人工神经网络,被视为一种最简单形式的前馈式人工神经网络，是一种二元线性分类器。工作机制：输入层I*W（I1*W1+I2*W2+I3*W3+......）求和sum,将sum放入到f(X)激活函数，如果大于阈值T则为1，否则为0。如使用感知层识别西瓜和香蕉。4.2.1感知机模型-单层感知层1.假设西瓜和香蕉都仅有两个特征（feature）：形状和颜色，特征x1代表输入颜色，特征x2代表形状；2.进一步简化，我们把权重w1和w2默认值都为1，阈值θ（亦称偏值——bias）设置为0；3.感知器输出为“1”，代表判定为“西瓜”，而输出为“0”，代表判定为“香蕉”4多层感知机（MLP，MultilayerPerceptron）除了输入输出层，它中间可以有多个隐层。最简单的MLP只含一个隐层，即三层的结构，层与层之间是全连接的。输入层是神经网络与外界数据的接口，负责接收并传输输入数据到网络中。隐藏层通过非线性变换和特征提取来加工输入数据。输出层将神经网络的处理结果转换为外界可以理解的格式。4.2.1感知机模型-多层感知机44.2.2深度神经网络（DeepNeuralNetworks）【深度学习工作原理】深度学习是不停更改实验因素的参数，让预测值接近真实值的过程。深度学习的过程首先是输入层接收数据，经过隐藏层的前向算法（数据变换）得到一个预测值，预测值与真实目标值代入损失函数，使用反馈算法计算出最小的损失值，然后把损失值放入优化器中来有方向性地更改权重值，这样就完成了一次学习过程。不断循环以上过程更改参数，让预测值接近真实目标值，这就是深度学习的过程。44.2.3深度学习核心算法-前向传播前向传播用来计算预测值y。在神经网络中，信息从上一个神经元直接流转到下一个神经元，直到输出，最终得到在当前参数下的损失函数的过程，称为前向传播算法。（类似学生做试题写答案）44.2.3深度学习核心算法-反向传播算法反向传播算法是计算预测输出与真实标签之间的误差。反向传播是一种基于微积分中链式法则的算法，用于计算神经网络中各层权重和偏差的梯度。其核心思想是从输出层开始，逐层向输入层逆向传播误差，并计算每个参数的梯度。这一过程利用了前向传播中保存的中间结果，避免重复计算，提高了训练效率。44.2.3深度学习核心算法-梯度下降梯度下降的过程可把求解损失函数最小值的过程看成“站在山坡某处去寻找山坡的最低点”。我们并不知道最低点的确切位置，梯度下降的策略是每次向“下坡路”的方向走一小步，经过长时间地走“下坡路”，最后停留的位置也大概率在最低点附近。我们选这个“下坡路”的方向为梯度方向的负方向，因为每个点的梯度负方向是在该点处函数下坡最陡的方向，如图4-7所示。在计算出梯度后，使用梯度下降算法更新网络参数。更新规则为：新参数=旧参数-学习率*梯度，使得每次更新的参数其误差缩小最快。44.2.4深度学习应用场景-信贷场景下客户信用评分信贷评分卡模型（见图4-8）是当前最常见的金融风控手段之一，在信贷场景下客户贷前申请、贷中调额、贷后催收等贷款生命周期的主要环节中已经被普遍应用。它主要是根据客户的各种属性和行为数据，建设信用评分模型，基于模型判断是否给予授信以及授信的额度，从而识别和减少金融业务中的交易风险。在对客户进行信用评分时，核心难点在于突发事件等因素可能导致模型效果不稳定，因此需要能有效快速进行模型自迭代的完整循环。输入客户特征数据违约1/不违约0CHiME-6被称为“史上最难的语音识别任务”4深度学习在图像和物体识别方面的能力远远超过了人类CHiME-6“史上最难的语音识别任务”科大讯飞多场景语音识别大赛上夺冠。4.2.4深度学习应用场景CHiME-6被称为“史上最难的语音识别任务”4深度学习可以应用到医疗临床检测与诊断各个环节中4.2.4深度学习应用场景CHiME-6被称为“史上最难的语音识别任务”4深度学习加速推进智慧城市建设4.2.4深度学习应用场景Part03卷积神经网络卷积神经网络通过卷积、激活、池化等操作层层递进地处理图像数据，最终通过全连接层输出结果。这种结构使得CNN在计算机视觉等领域表现出色，成为深度学习的重要工具。4.3.1深度学习经典网络-卷积神经网络卷积层是完成图像特征提取池化层是图像降维（32*32像素

降维到5*5）全连接层是图像分类将图片8放入输入层经过Layer1卷积层提取图片特征经过Layer1池化层图片降维14*14经过Layer2卷积层提取图片特征经过Layer2池化层图片降维5*5经过全连接神经网络层完成图片分类，最终输出预测值y‘。卷积神经网络通过卷积、激活、池化等操作层层递进地处理图像数据，主要是特征提取。最终通过全连接层输出结果。这种结构使得CNN在计算机视觉等领域表现出色，成为深度学习的重要工具。4.3.2深度学习经典网络-卷积层卷积神经网络特征提取池化层在卷积神经网络（CNN）中的主要作用是通过降低特征图的空间维度来减少参数数量和计算量，同时保留重要信息以增强特征的不变性。池化层方式有2*2最大池化、2*2平均池化、2*2随机池化。4.3.3深度学习经典网络-池化层全连接层在卷积神经网络（CNN）中的主要作用是将前层（如卷积层和池化层）提取的特征进行整合，并将这些特征映射到样本标记空间，从而实现分类或回归任务。全连接层通常位于CNN的最后几层，每个神经元都与前一层的所有神经元相连。4.3.4深度学习经典网络-全连接层全连接层Part03神经网络模型TensorFlow是谷歌推出的深度学习开源框架，并且发布了TensorFlow游乐场。有了TensorFlow游乐场，我们在浏览器中就可以训练自己的神经网络，还有好看的图像让我们更直观地了解神经网络的主要功能以及计算流程。/4.4.1TensorFlow游乐场TensorFlow游乐场的左侧提供了四个不同的数据集（见图4-1