《深度学习：基于PyTorch 》 课件 第1章：深度学习简介

深度学习课程介绍课程介绍导论人工智能概述深度学习发展历程神经网络的张量与数学基础张量的操作与运算深度学习的数学基础前馈神经网络前馈神经网络的基本组件梯度下降与反向传播算法过拟合现象及对应策略神经网络的Pytorch实现线性回归案例：颜值打分逻辑回归案例：性别识别多分类回归案例：Fashion-MNIST拓展：目标定位、语义分割相关应用卷积神经网络基础卷积与池化操作LeNet-5用于手写数字识别经典CNN模型介绍AlexNet等四种经典CNN模型批归一化和数据增强技术迁移学习序列模型RNN与LSTM模型编码-解码结构用于机器翻译拓展：注意力机制深度生成模型（自学）自编码器/变分自编码器生成式对抗网络拓展：AI辅助诊断应用介绍使用教材分组与成绩评定每组2-3人，平时作业+期末大作业汇报，均由小组完成，并由组长在课堂派进行提交平时成绩：40%小组作业课堂小测（成绩按个人记）期末小组成绩：20%命题作文（抽签决定），完成小组汇报成绩评定：汇报PPT、注释清晰的代码文档期末考试成绩：40%课程GPU使用方法详细使用说明参考/doc/p/4237b451839bfa3f175e66800ca6e65a06ee3810?pub=1&dver=2.1.0每小组共用一个账号课程GPU使用方法课程GPU使用方法课程GPU使用方法可通过命令行把需要的数据代码copy过来修改运行进入代码/数据目录查看文件结构返回上级目录进入教师目录查看文件夹结构使用cp命令将文件复制到自己的文件夹：cp目标文件目标路径Anaconda当然，对于一些比较简单的任务，建议也可以在个人电脑上完成，需要使用JupyterNotebook推荐安装Anaconda，这是一个打包的集合，里面预装了某个版本的Python、JupyterNotebook、众多Packages、以及其他专业科学计算工具等。JupyterNotebookJupyterNotebook是一款基于网页的用于交互计算的应用程序，可应用于全过程计算：开发、文档编写、运行代码和展示结果。以网页形式打开，可以在网页中直接编写和运行代码，运行结果也会直接显示出来。第一章：深度学习简介主讲人：周静学习目标人工智能的定义与发展历史深度学习的概念与适用领域深度学习与机器学习、人工智能、回归分析的关系常用的深度学习框架深度学习、机器学习与人工智能机器学习、深度学习与人工智能的关系人工智能、机器学习和深度学习之间的关系可以用下图说明。人工智能人工智能（ArtificialIntelligence）研究领域的确定：1956年达特茅斯会议人工智能（AI）的定义：让机器的行为看起来就像是人所表现出的智能行为一样（JohnMcCarthy）人工智能主要领域：感知：模拟人的感知能力，如语音信息处理、计算机视觉学习：模拟人的学习能力，如监督学习、无监督学习、强化学习认知：模拟人的认知能力，自然语言处理、推理、决策、规划等人工智能的发展历程萌芽期复苏期快速发展期图灵测试达特茅斯会议聊天机器人专家系统“深蓝”获胜神经网络兴起AlphaGo获胜低谷期计算性能不足问题复杂度提升数据量不足构建算法使机器自动地从数据中学习人工智能的流派符号主义（Symbolism）代表人物：MarvinMinsky假设：信息可以通过符号表示；符号可以通过逻辑运算来操作连接主义（Connectionism）代表人物：FrankRosenblatt、GeoffreyHinton、吴恩达、李飞飞等认为人的认知过程是由大量简单的神经元构成的神经网络处理信息的过程，而不是符号运算过程。机器学习机器学习（MachineLearning）是指如果一个程序可以在任务T上，随着经验E的增加，效果P也可以随之增加，则称这个程序可以从经验中学习。这一定义由卡内基梅隆大学（CarnegieMellonUniversity）的汤姆·迈克尔·米切尔（TomMichaelMitchell）教授在其1997年出版的《MachineLearning（机器学习）》一书中提出。通俗的说就是：从有限的观测数据中学习出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。机器学习是人工智能的重要分支。机器学习的分类监督学习（SupervisedLearning）是指从已标注的训练数据中学习判断数据特征，并将其用于对未标注数据的判断的一种方法。无监督学习（UnsupervisedLearning）不同于监督学习，它的学习算法是从没有标注的训练数据中学习数据的特征。什么样的人容易信用卡逾期？“逾期用户”机器学习从银行信用卡数据库中随机选取用户（训练数据），列出每个用户的所有特征：如性别，年龄，是否有住房贷款，信用卡额度，存款等以及逾期状态（输出变量）：是否有逾期、逾期天数。设计一个学习算法来学习用户的特征与输出变量之间的相关性模型。下次再有用户进行信用卡申请时，可以根据用户（测试数据）的特征，使用前面计算的模型来预测用户未来的逾期情况。机器学习：构建映射函数语音识别图像识别围棋机器翻译“熊大”“早上好”“5-5”“我爱你”“Iloveyou”(落子位置)机器学习模型的步骤结果数据预处理特征提取特征转换预测原始数据特征处理和预测一般是分开进行的根据人的经验选取好的特征，特征工程很重要如何将输入信息转换成更有效的特征，以提高预测模型的准确率表示学习表示学习（RepresentationLearning）：自动学习有效特征并提高机器学习模型的效能两个核心问题：什么是好的表示？如何学习好的表示？好的表示应具有的特征很强的表示能力可以包含更高层的语义信息更具一般性，容易迁移到其他任务中颜色局部表示（one-hot）分布式表示（RGB）琥珀色[1,0,0,0][1.00,0.75,0.00]天蓝色[0,1,0,0][0.00,0.50,1.00]中国红[0,0,1,0][0.67,0.22,0.12]咖啡色[0,0,0,1][0.44,0.31,0.22]深度学习需要构建具有一定“深度”的模型，通过学习算法让模型自动学习出好的特征，从而最终提升预测模型的准确率。需要从底层特征开始，经过多次非线性变换才能得到更高层语义的表示，而深层结构可以增加特征的重复使用。深度学习多采取的是神经网络模型。结果底层特征中层特征高层特征预测原始数据深度学习与机器学习的区别二者提取特征的方式不同：深度学习具备自动提取抽象特征的能力，机器学习大多是手动选取特征和构造特征。机器学习特征提取深度学习特征提取深度学习与回归分析回归分析理论框架回归分析是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，可以用如下公式表示。Y=f(X,ε)其中各参数的含义如下：Y：因变量。X：所有可能影响的因素。Ε：噪声项f：链接函数深度学习与回归分析的关系深度学习就是一个高度复杂的非线性回归模型，这是因为它完全符合上面所说的Y=f(X,ε)理论框架。举例说明深度学习是如何被规范成回归分析问题。通过人脸猜测年龄和性别图像以像素的形式存储，像素越多，图像包含的信息越多，也就越清晰。这是一个1

024像素×1

024像素×3的原图，说明这张图像由3个1

048

576像素的矩阵组成，每个像素矩阵以1

024行1

024列的形式排列。

课堂思考深度学习发展历程萌芽期普遍认为人工智能诞生于1956年达特茅斯会议，但人工神经网络的诞生要更早。M-P模型，1943年，沃伦·麦卡洛克（WarrenMcCulloch）和沃尔特·皮兹（WalterPitts）生物神经元人工神经元：M-P模型萌芽期感知机（Perceptron），Rosenblatt,Frank.ThePerceptron--APerceivingandRecognizingAutomaton.TechnicalReport,Cornell1957MarvinMinskyandSeymourPapert.Perceptrons:AnIntroductiontoComputationalGeometry.MITPress1969.什么是异或问题？与门：两个输入均为1时输出为1；与非门：两个输入均为1是输出为0或门：只要有一个信号是1输出就是1；异或门：仅当有一个输入为1时输出才为1000100010111001101011110000101011111000101011110什么是异或问题？发展期多层感知机（MLP）反向传播算法（Backpropagation,

BP）,DavidE.Rumelhart,GeoffreyHinton,RonaldJ.Willians.LearningRepresentationsbyBack-propagatingErrors.Nature,1986.低谷期人工神经网络并没有沿着深度的方向继续发展受限于当时的计算能力缺乏大规模高质量的训练数据神经网络本身就是一个黑箱20世纪90年代末，支持向量机兴起将数据维度提升，在高维空间中寻找将数据准确划分的方法在数据量不是很大时非常奏效发展期2006年，神经网络研究领域领军者Hinton，辛顿提出了神经网络DeepLearning算法，指出如果我们能够将神经网路的层数加深并精心设计网络训练方式，那么这种深层次的神经网络就会具有超强的表达能力和学习能力。HintonGE,SalakhutdinovRR.Reducingthedimensionalityofdatawithneuralnetworks.Science.2006;313(5786):504-507.深度学习时代2010年，由华裔女科学家李飞飞打造的大规模图像数据库ImageNet已经收录了100多万张图像。2012年，辛顿和他的两个学生AlexKrizhevsky和IlyaSutskever提出了AlexNet，在ImageNet竞赛分类任务上首次将分类错误率从25%降到17%。2012年以后，深度学习开始在学术圈流行起来。2013年，谷歌的TomasMikolov提出了Word2Vec技术，为人工神经网络处理自然语言奠定了基础。2016年，谷歌采取先进的循环神经网络技术在机器翻译上取得了接近人类的翻译水平。2016年3月，AlphaGo横空出世，预示着人工智能时代的到来。2022年12月，ChatGPT大语言模型被开发出来。CNN开山之作：LeNet-5卷积神经网络，ConvolutionalNeuralNetworks[LeCunet.al.1989,

1998]，Lecun,Y.,&Bottou,L..(1998).Gradient-basedlearningappliedtodocumentrecognition.

ProceedingsoftheIEEE,

86(11),2278-2324.阶段性历史总结微信公号：狗熊会北京大学林宙辰教授报告：机器学习简史/v1/course/video/v_60686a45e4b09890f0e05cc8?app_id=appKfzfb4lZ6715&available=1&available_product=0&entry=2&entry_type=2001&payment_type=&product_id=&resource_id=v_60686a45e4b09890f0e05cc8&resource_type=3&scene=%E5%88%86%E4%BA%AB&share_type=5&share_user_id=u_5ec657074fc9a_yFVtC0wOLl&type=2深度学习的影响因素1、大数据深度学习的影响因素2、深度网络架构前馈神经网络（全连接网络）卷积神经网络（CNN）深度学习的影响因素2、深度网络架构循环神经网络（RNN）更多网络架构（编码-解编码）深度学习的影响因素GPU：擅长大规模张量计算常见的深度学习框架深度学习为何如此成功特征学习（representationlearning）layer1、layer2学习到的特征基本上是颜色、边缘等低层特征；layer3则开始稍微变得复杂，学习到的是纹理特征，比如上面的一些网格纹理；layer4学习到的则是比较有区别性的特征，比如狗头；layer5学习到的则是完整的，具有辨别性关键特征。MDZeiler,&Fergus,R..(2013).VisualizingandUnderstandingConvolutionalNeuralNetworks.EuropeanConferenceonComputerVision.SpringerInternationalPublishing.深度学习为何如此成功迁移学习（transferlearning）前面已经训练好的神经网络进行特征提取再将这个特征提取器与后面的网络拼接从而解决一个完全不同的问题有了特征提取和迁移学习，可以实现端到端（endtoend）的学习，即输入原始数据，深度神经网络输出最终的结果。ImageNet数