人工智能应用概论（第2版） 课件 第3、4章 机器学习、神经网络与深度学习

第三章

机器学习

《人工智能应用概论（第2版）》RengongZhinengYingyongGailun“十四五”广西壮族自治区职业教育规划教材

新编21世纪高等职业教育精品教材·通识课系列Part0101机器学习概念Part0202机器学习的工作原理及算法Part0303机器学习分类目

录contentPart01机器学习概念

【课程导入】人类学习与机器学习相同与相异1.1机器学习的定义机器学习是一门多学科交叉专业，涵盖概率论知识、统计学知识、近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序语音和手写识别、游戏和机器人等领域。1.2机器学习的原理机器学习与人类学习模式相似，如古代诸葛亮夜观天象实现草船借箭、牛顿被苹果砸发现“万有引力”、中国古人发现自然规律的“二十四气节”，春耕秋收。机器学习是一种使计算机能够从数据中学习并做出决策的技术。它通过训练模型来识别数据中的模式和规律，从而实现对未知数据的预测和分类。如人脸识别、猫狗识别、农作物病虫害识别、电路版上瑕疵识别等。1.3机器学习的地位机器学习在人工智能学科体系，乃至计算机科学体系中都占有举足轻重的地位。1.4机器学习的发展历程机器学习发展过程也是人工智能发展的过程，从IBM西洋跳棋人机PK到深度学习神经网络谷歌的阿尔法狗，再到最近的Ai大模型出现。1.5机器学习的分类机器学习是一个比较宽泛的概念，主要包括监督学习、无监督学习、强化学习等。1.6机器学习的算法分类Scikit-learn是机器学习领域中最知名的Python库之一，在学习机器学习的过程中，必绕不开Scikit-learn。Scikit-learn提供了一幅清晰的路线图给大家做算法选择。1.7【课堂练习】【课堂思考】简述机器学习与人类学习有什么相同之处？Part02机器学习的工作原理及算法2.1线性回归算法线性回归算法是一种通过属性的线性组合来拟合图中的点，找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。线性回归的基础概念涉及到统计学和机器学习领域，它利用称为线性回归方程的最小平方函数对一个或多个自变量和一个因变量之间的关系进行建模。2.1线性回归算法【案例】探索学习时长与分数之间的关系。某门课程中学生学习时长（天数）与期末考试分数统计表如表3-2所示。【问题】找出一根线拟合图中的点2.1线性回归算法（1）拟合图中的点有无数条直线，哪条直线是最好拟合图中的点。（2）计算出每个点分别到每条线上的误差之和（3）误差最小的就是最佳的拟合线，该线就是我们的要找的线（方程），该方程是我们的模型。2.2K最近邻分类算法K最近邻(k-NearestNeighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。如果K=3，绿色圆点的最近的3个邻居是2个红色小三角形和1个蓝色小正方形，少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。如果K=5，绿色圆点的最近的5个邻居是2个红色三角形和3个蓝色的正方形，还是少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于蓝色的正方形一类。2.2K最近邻分类算法

【做一做】使用无监督学习对10000篇新闻报到分析，对其新闻内容特征进行提取，K1科技类、游戏类K2、汽车类K3。请问下黑色点是属于哪个区域？属于哪些新闻？如何分析K1K2K3?2.3决策树算法决策树分类算法的关键就是根据“先验数据”构造一棵最佳的决策树，用以预测未知数据的类别。决策树是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。信用等级决策树算法模型2.4支持向量机SVM算法SVM想要的就是找到各类样本点到超平面的距离最远，也就是找到最大间隔超平面。【案例】使用SVM算法完成水果识别分类。比如红色表示“苹果”，黄色表示“猕猴桃”，那么如何找到一个平面最大化的将两类群体分开，如右图所示，分开有很多种方式，左侧也可以分开，右侧也能分开。但明显的，右侧会“分的更开”，因而如何寻找到这样的一个空间平面，让标签项各类别最为明显的分开，此算法过程即为支持向量机。将点分开时，离平面最近的点要尽可能的远，比如右侧时A点和B点离平面最近，那么算法需要想办法让该类点尽可能地远离平面，这样就称为“分的更好”。左侧时挨着平面最近的两个点离平面太近，所以右侧的分类更好。SVM算法完成水果识别分类2.4支持向量机SVM算法SVM想要的就是找到各类样本点到超平面的距离最远，也就是找到最大间隔超平面(多维)。Part03机器学习分类3.1监督学习【知识回顾】机器学习是一种使计算机能够从数据中学习并做出决策的技术。它通过训练模型来识别数据中的模式和规律，从而实现对未知数据的预测和分类。监督学习（supervisedlearning）是机器学习的一类，给机器学习的训练数据打上标签。房价预测模型：是根据房子的特征来预测房子价格。收集10个房子样本，样本的特征包括有地区、房子大小、年龄等共13个特征，10个房子的房价，作为标签。先将房子13个特征和标签作为值，放入SVM或者决策树算法，由电脑来计算，计算误差最小的方程。我们把这个过程称为监督学习。3.1监督学习监督学习分为回归和分类。回归的预测结果是连续性的，比如房价预测、路程花费时间预测、股价走势预测。监督学习分为回归和分类。分类的预测结果是离散的，比如肿瘤是良性/恶性，邮件是垃圾邮件/非垃圾邮件，天气时好还是坏。3.2无监督学习无监督学习是机器学习中的一种重要方法，与监督学习相对应。它的目标是从无标签的数据中发现隐藏的结构和模式，而不需要预先定义的目标变量。无监督学习的核心思想是通过对数据的统计特性和相似性进行分析，来发现数据中的潜在结构和模式。无监督学习可以分为两类问题：聚类和降维。聚类问题是将数据分成不同的组或簇，使得同一组内的数据相似度高，不同组之间的相似度低。降维问题是将高维数据映射到低维空间，以减少特征维度和数据复杂性。3.2无监督学习电商平台对客户的浏览痕迹、购买数量等特征进行学习分类。Google新闻按照内容结构的不同分成财经，娱乐，体育等不同的标签，这就是无监督学习中的聚类3.3强化学习在强化学习中，智能体（Agent）与环境（Environment）交互，智能体根据环境状态进行决策并执行动作，环境根据智能体的动作给予奖励或者惩罚。强化学习目标是让智能体学习到最优策略，使得累积奖励最大化。强化学习的原理五子棋人机博弈谢谢THANKS第四章

神经网络与深度学习

《人工智能应用概论（第2版）》RengongZhinengYingyongGailun“十四五”广西壮族自治区职业教育规划教材

新编21世纪高等职业教育精品教材·通识课系列Part0101神经网络与深度学习概念Part0202

深度学习原理目

录contentPart0303卷积神经网络

【课程导入】现实中，我们的大脑接收眼睛或耳朵传递来的数据（输入源），会通过一层层的神经元去解析数据（神经元），然后得到我们对于所见的判断（输出源）。对整个实现过程的抽象理解如图4-2所示Part01神经网络与深度学习概念4.1.1生物神经元（Biologicalneuron）人工神经网络是受到人类大脑结构的启发而创造出来的。生物神经元是神经系统的基本功能单元，负责接收、处理和传递信息。人类大脑中包含大约860亿个神经元，它们通过复杂的网络相互连接，实现各种神经功能。生物神经元的结构包括细胞体、树突、轴突和突触。以下是具体介绍：细胞体：细胞体是神经元的主要部分，包含细胞核、细胞质和细胞膜。它是神经元的代谢中心，维持细胞的生命活动。树突：树突是从细胞体向外延伸的分支纤维，主要作用是接收来自其他神经元的信号。一个神经元可以有多个树突，这使得神经元能从多个源头接收信号。轴突：轴突是一条长的纤维，从细胞体延伸出来，负责将信号从细胞体传递到其他神经元或组织。一个神经元只有一个轴突，其长度可从几微米到一米不等。突触：突触是神经元之间传递信息的连接点，通常是轴突末端与其他神经元的树突或细胞体相接触的部分。在这里，神经递质被释放，从而将信号从一个神经元传递到另一个神经元。4神经网络是一种模拟人脑神经元结构的计算模型。人工神经网络（ANN）由神经元（圆圈）和权重w（直线）两部分组成，分为输入层、隐藏层、输出层。其中，输入层相当于输入元，隐藏层相当于人工神经网络输出层相当于输出源。三层之间的神经元相互连接，和权重组（w1，w2）经过前向算法和反馈算法的数学运算，最终将结果以“激活码”的方式输出，这与生物（人类）神经元中的突触十分相似。输入层是神经网络与外界数据的接口，负责接收并传输输入数据到网络中。隐藏层通过非线性变换和特征提取来加工输入数据。输出层将神经网络的处理结果转换为外界可以理解的格式。4.1.2人工神经网络(ArtificialNeuralNetworks）4神经网络是深度学习的基础，而深度学习是神经网络的一种特殊形式。深度学习是一种特殊的机器学习方法，采用多层神经网络来学习数据的高级特征。每一层网络都从前一层的输出中提取更复杂的信息，如自动驾驶。4.1.3深度学习(DeepLearning)如：自动驾驶中，将摄像头、雷达、GPS、速度数据集放入到输入层，经过多层神经网络层计算，最终输出层输出方向、刹车、加速参数，实现自动驾驶的效果。4八大深度学习神经网络：CNN卷积神经网络（图像识别与分类）、RNN循环神经（）、GAN对抗神经网络（生成式AI，生成新图片）、LSTM长短期（天气预测）、Transformer神经网络（自然语言处理）。4.1.3深度学习(DeepLearning)4传统机器学习和深度学习算法的主要区别在于特征。传统机器学习算法中，我们需要手工编码特征；在深度学习算法中，特征由算法自动完成，但耗时且需要海量数据。4.1.4深度学习(DeepLearning)与机器学习Part02神经网络技术原理4感知器，也可翻译为感知机（神经元），是FrankRosenblatt在1957年就职于Cornell航空实验室时所发明的一种人工神经网络,被视为一种最简单形式的前馈式人工神经网络，是一种二元线性分类器。工作机制：输入层I*W（I1*W1+I2*W2+I3*W3+......）求和sum,将sum放入到f(X)激活函数，如果大于阈值T则为1，否则为0。如使用感知层识别西瓜和香蕉。4.2.1感知机模型-单层感知层1.假设西瓜和香蕉都仅有两个特征（feature）：形状和颜色，特征x1代表输入颜色，特征x2代表形状；2.进一步简化，我们把权重w1和w2默认值都为1，阈值θ（亦称偏值——bias）设置为0；3.感知器输出为“1”，代表判定为“西瓜”，而输出为“0”，代表判定为“香蕉”4多层感知机（MLP，MultilayerPerceptron）除了输入输出层，它中间可以有多个隐层。最简单的MLP只含一个隐层，即三层的结构，层与层之间是全连接的。输入层是神经网络与外界数据的接口，负责接收并传输输入数据到网络中。隐藏层通过非线性变换和特征提取来加工输入数据。输出层将神经网络的处理结果转换为外界可以理解的格式。4.2.1感知机模型-多层感知机44.2.2深度神经网络（DeepNeuralNetworks）【深度学习工作原理】深度学习是不停更改实验因素的参数，让预测值接近真实值的过程。深度学习的过程首先是输入层接收数据，经过隐藏层的前向算法（数据变换）得到一个预测值，预测值与真实目标值代入损失函数，使用反馈算法计算出最小的损失值，然后把损失值放入优化器中来有方向性地更改权重值，这样就完成了一次学习过程。不断循环以上过程更改参数，让预测值接近真实目标值，这就是深度学习的过程。44.2.3深度学习核心算法-前向传播前向传播用来计算预测值y。在神经网络中，信息从上一个神经元直接流转到下一个神经元，直到输出，最终得到在当前参数下的损失函数的过程，称为前向传播算法。（类似学生做试题写答案）44.2.3深度学习核心算法-反向传播算法反向传播算法是计算预测输出与真实标签之间的误差。反向传播是一种基于微积分中链式法则的算法，用于计算神经网络中各层权重和偏差的梯度。其核心思想是从输出层开始，逐层向输入层逆向传播误差，并计算每个参数的梯度。这一过程利用了前向传播中保存的中间结果，避免重复计算，提高了训练效率。44.2.3深度学习核心算法-梯度下降梯度下降的过程可把求解损失函数最小值的过程看成“站在山坡某处去寻找山坡的最低点”。我们并不知道最低点的确切位置，梯度下降的策略是每次向“下坡路”的方向走一小步，经过长时间地走“下坡路”，最后停留的位置也大概率在最低点附近。我们选这个“下坡路”的方向为梯度方向的负方向，因为每个点的梯度负方向是在该点处函数下坡最陡的方向，如图4-7所示。在计算出梯度后，使用梯度下降算法更新网络参数。更新规则为：新参数=旧参数-学习率*梯度，使得每次更新的参数其误差缩小最快。44.2.4深度学习应用场景-信贷场景下客户信用评分信贷评分卡模型（见图4-8）是当前最常见的金融风控手段之一，在信贷场景下客户贷前申请、贷中调额、贷后催收等贷款生命周期的主要环节中已经被普遍应用。它主要是根据客户的各种属性和行为数据，建设信用评分模型，基于模型判断是否给予授信以及授信的额度，从而识别和减少金融业务中的交易风险。在对客户进行信用评分时，核心难点在于突发事件等因素可能导致模型效果不稳定，因此需要能有效快速进行模型自迭代的完整循环。输入客户特征数据违约1/不违约0CHiME-6被称为“史上最难的语音识别任务”4深度学习在图像和物体识别方面的能力远远超过了人类CHiME-6“史上最难的语音识别任务”科大讯飞多场景语音识别大赛上夺冠。4.2.4深度学习应用场景CHiME-6被称为“史上最难的语音识别任务”4深度学习可以应用到医疗临床检测与诊断各个环节中4.2.4深度学习应用场景CHiME-6被称为“史上最难的语音识别任务”4深度学习加速推进智慧城市建设4.2.4深度学习应用场景Part03卷积神经网络卷积神经网络通过卷积、激活、池化等操作层层递进地处理图像数据，最终通过全连接层输出结果。这种结构使得CNN在计算机视觉等领域表现出色，成为深度学习的重要工具。4.3.1深度学习经典网络-卷积神经网络卷积层是完成图像特征提取池化层是图像降维（32*32像素

降维到5*5）全连接层是图像分类将图片8放入输入层经过Layer1卷积层提取图片特征经过Layer1池化层图片降维14*14经过Layer2卷积层提取图片特征经过Layer2池化层图片降维5*5经过全连接神经网络层完成图片分类，最终输出预测值y‘。卷积神经网络通过卷积、激活、池化等操作层层