人工智能应用基础 课件 任务6-8 LeNet之眼疾识别、RNN实现谣言监测、GRU电影评论情感分析

任务6

LeNet之眼疾识别任务6

LeNet之眼疾识别01020304LeNet-5AlexNetVGGNetGoogleLeNet一、LeNet-5LeNet-5卷积神经网络利用卷积、参数共享、池化等操作提取特征，避免大量的计算成本，最后再使用全连接神经网络进行分类识别。LeNet-5共包含七层卷积网络（不包含输入层）组成，结构如图所示，输入的原始图像大小是32*32像素，卷积层使用C开头，池化层使用S开头，全连接使用F开头。一、LeNet-5使用LeNet神经网络的工作流程如下所示：（1）卷积层（C1层），卷积核的大小为5*5，卷积核数量为6个，输出结果大小为28*28，即（32-5+1）×（32-5+1）=28×28，由于同个卷积核每个神经元均使用相同的参数，因此参数个数为（5×5+1）×6=156，其中5×5为卷积核参数，1为偏置参数；每层的连接数为每个卷积核参数*特征图，即（5×5+1）×6×28×28=122304个连接数。（2）S2层S2是一个池化层，主要作用是做池化或特征降维，池化单元为2*2，所以6个特征图的大小经池化后变为14*14。与常见的池化不同，该模型中，池化单元之间没有重叠，在池化区域内进行聚合统计后得到新的特征值，相当于图像大小减半，因此卷积后的28×28图像经2×2池化后就变为14×14，而图像的个数没有改变。一、LeNet-5（3）C3层C3卷积层的计算方式和C1相同，得出C3层的特征图大小为（14-5+1）×（14-5+1）=10×10，该层有16个卷积核，卷积模板大小为5*5。与C1的最大区别是，C3中每个特征图中的元素会与S2层中若干个特征图中处于相同位置的5x5的区域相连，C3与S2并不是全连接而是部分连接，有些是C3连接到S2三层、有些四层、甚至达到6层，连接规则如图所示。一、LeNet-5（4）S4层层S4是与S2类似，池化单元大小为2*2，有16个特征图，每个大小为5*5，输出为16个5*5的特征图。S4层有32个可训练参数和2000个连接。（5）C5层该层有120个卷积核，每个卷积核的大小仍为5*5，有120个特征图。由于S4层的大小为5×5，而该层的卷积核大小也是5×5，因此特征图大小为（5-5+1）×（5-5+1）=1×1。这样该层就刚好变成了全连接。注意：这里出现全连接纯属巧合。（6）F6全连接层F6就是一个简单的全连接层，它由84个神经元构成。和传统的全连接一样每个神经元将C5层中的特征图的值乘上相应的权重并相加，再加上对应的偏置再经过激活函数(tanh/sigmoid)。该层有84个特征图，F6层共有84×(120+1)=10164个可训练的参数。一、LeNet-5（6）说明：84个神经元是源于输出层的设计，对应于7*12个比特图，其中-1表示白色，1表示黑色，这样每个符号的比特图的黑白色就对应于一个编码。具体如图所示。（7）OUTPUT层OUTPUT层也称输出层，是一个全连接层，共有10个节点，分别代表数字0~9，如果第i个节点的值为0，则表示网络识别的结果是数字i。二、AlexNetAlexNet卷积神经网络自2012年诞生之后，带来深度学习的大爆发，使CNN成为在图像识别分类的核心算法模型。AlexNet是在LeNet基础上加深网络的结构，在使用过程中有以下特点：有更深的网络结构。使用卷积层+卷积层+池化层来提取图像的特征。使用Dropout抑制过拟合。使用Relu替换之前的sigmoid作为激活函数。能够支持多GPU训练。二、AlexNetAlexNet网络结构共有8层，前面5层是卷积层，后面3层是全连接层，采用两个GPU进行训练，结构图由上下两部分组成，一个GPU运行图上方的层，另一个运行图下方的层，两个GPU只在特定的层通信。例如第二、四、五层卷积层的核只和同一个GPU上的前一层的核特征图相连，第三层卷积层和第二层所有的核特征图相连接，全连接层中的神经元和前一层中的所有神经元相连接。三、VGGNet在VGGNet中全部使用3*3的卷积核和2*2的池化层，通过不断加深网络结构来提升性能。在模型结构中，深度从11层到19层不等，VGGNet把网络分成5段，每段都把多个3*3的卷积网络串联在一起，每段卷积后面接一个最大池化层，最后是3个全连接层和1个激活层。三、VGGNet使用VGGNet模型结构形象的展示图片识别的过程如图所示。可以看到包含卷积层、全连接层和输出层。一般输入的图像为224*224。在使用过程中VGG的训练过程比AlexNet收敛的快一些，主要是因为VGG使用的卷积核小，网络结构深，在特定的层中使用了预训练得到的数据进行参数的初始化，同时引入1*1的卷积核，在不影响输入输出维度的情况下，引入非线性变换，增加网络的表达能力，降低计算量。四、GoogleLeNetGoogleLeNet是一款网络架构简洁神经网络，是一个有22层深度的网络，在该模型中，提出了一种Inception结构。Inception结构是一个将多个卷积或者池化操作放在一起组成的网络模块，在设计神经网络时，以模块为单元去组装整个网络结构，其目的是将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能，从而增加神经网络的表现又能保证计算资源的有效性。四、GoogleLeNetInception是GoogleLeNet中核心组成单元，历经V1、V2、V3、V4等多个版本的发展，不断趋于完善。其中：在V1中使用1*1的卷积核，采用多尺度卷积核。在V2中，采用BatchNormalization（批归一化）在V3中，采用非对称卷积降低运算量在V4中，结合了ResNet中的思想，发现ResidualConnections貌似只能加快网络收敛速度，使更大的网络规模提高了精度。五、任务实施如今近视已经成为困扰人们健康的一项全球性负担，在近视人群中，有超过35%的人患有重度近视。近视会拉长眼睛的光轴，也可能引起视网膜或者脉络网膜的病变。随着近视度数的不断加深，高度近视有可能引发病理性病变，这将会导致以下几种症状：视网膜或者脉络网膜发生退化、视盘区域萎缩、漆裂样纹损害、Fuchs斑等。因此，及早发现近视患者眼睛的病变并采取治疗，显得非常重要。1、任务背景五、任务实施2、实验思路感谢观看任务7RNN实现谣言监测任务7RNN实现谣言监测0102循环神经网络LSTM模型一、循环神经网络循环神经网络，简称RNN，是一种对时间序列显示建模的神经网络，主要对文本语义和时序信息进行处理和预测，通常情况下与自然语言处理相互结合使用，循环神经网络包含输入层、隐藏层和输出层。一、循环神经网络以语言翻译为例，若需要翻译语句ABCD，此时循环神经网络的第一段每一个时刻的输入就分别是A、B、C和D，用“_”作为待翻译语句的结束符，在第一段中循环神经网络只有输入没有输出，从结束符“_”开始，循环神经网络进入翻译阶段，此时每一个时刻的输入是上一个时刻的输出，最终得到的输出XYZ就是语句ABCD翻译的结果，翻译输出结束符“_”时表示翻译结束。二、LSTM模型长短时记忆神经网络简称LSTM，是循环神经网络的一个变体，能够有效地解决长期依赖问题/梯度消失问题。LSTM模型的关键是引入了一组记忆单元（MemoryUnits），允许网络可以学习何时遗忘历史信息，何时用新信息更新记忆单元。在时刻t时，记忆单元ct记录了到当前时刻为止的所有历史信息，并受三个“门”控制：输入门it,遗忘门ft和输出门ot。三个门的元素的值在[0,1]之间。其核心为记忆（细胞状态）和门机制。二、LSTM模型门(Gate)是一种可选地让信息通过的方式。它由一个Sigmoid神经网络层和一个点乘法运算组成。Sigmoid神经网络层输出0和1之间的数字，这个数字描述每个组件有多少信息可以通过，0表示不通过任何信息，1表示全部通过。遗忘门是决定从细胞状态中丢弃什么信息，同时查看ht-1（前一个隐藏状态）和xt(当前输入)并为状态Ct-1(上一个状态)中的每个数字输出0-1之间的数字，其中1表示完全保留，0表示彻底删除。输入门决定要在细胞状态中存储的信息，在输入过程中首先经过Sigmoid层，该层决定了将更新的值，之后tanh层创建候选向量，该向量会被加到细胞的状态中，最终结合这两个向量来创建更新值，输出门决定要输出的内容，通过Sigmoid层决定输出细胞状态中的内容，之后将细胞状态通过tanh并乘以Sigmoid门的输出。三、任务实施传统的谣言检测模型一般根据谣言的内容、用户属性、传播方式人工地构造特征，而人工构建特征存在考虑片面、浪费人力等现象。本次实践使用基于循环神经网络（RNN）的谣言检测模型，将文本中的谣言事件向量化，通过循环神经网络的学习训练来挖掘表示文本深层的特征，避免了特征构建的问题，并能发现那些不容易被人发现的特征，从而产生更好的效果。1、任务背景三、任务实施2、实验思路感谢观看任务8GRU电影评论情感分析任务8GRU电影评论情感分析0102自然语言处理词向量Word2Vec一、自然语言处理1、自然语言处理概述自然语言处理简称NLP，是计算机科学和人工智能的一个重要领域和方向，主要目的是研究人与计算机之间的相互通讯的理论和方法，换句话说，计算机是通过用户以自然语言数据作为输入，在内部通过定义的算法进行加工和处理，从而返回用户所期望得到的结果。自然语言处理的任务主要包括两大核心任务，即自然语言理解（NaturalLanguageUnderstanding,NLU）与自然语言生成（NaturalLanguageGeneration,NLG）。一、自然语言处理2、自然语言处理发展历程自然语言处理的发展大致可以划分为4个阶段，即萌芽期、快速发展期、低谷发展期和复兴融合期。（1）萌芽期一、自然语言处理2、自然语言处理发展历程（2）快速发展期在1957-1970年期间自然语言处理的发展称为自然语言处理的快速发展期，在这一时期，自然语言处理很快融入了人工智能领域的研究，大量的自然语言研究工作都聚焦从语言学角度，分析自然语言的词法、句法等结构信息，并通过总结这些结构之间的规则，达到处理和使用自然语言的目的。（3）低谷发展期1971-1993年期间称为自然语言处理的低谷发展期，由于计算机语料库中的信息有限，自然语言处理的理论和技术处于一个低迷期，欧共体、美国、苏联等先后都有巨大的资金投入，却没有让自然语言处理得到实质性的创新与突破，此阶段相对之前的发展称为低谷发展期。一、自然语言处理2、自然语言处理发展历程（4）复兴融合期1994年至今称为自然语言处理的复兴融合期。在这一时期，自然语言处理领域具有两个鲜明特征，分别是大规模性和真实可用性。大规模性意味着计算机对自然语言的处理有了更深的层次要求，对文本信息的输入和处理不再是单一或片段语句；真实可用性强调计算机输出的文本处理内容在“丰富度”方面的要求，提高了计算机在自然语言处理结果中所包含信息的可利用程度，最终达到能够对自然语言文本进行自动检索、自动提取重要信息并进行自动摘要的要求。一、自然语言处理3、自然语言处理应用（1）搜索引擎人们每天都在享受着搜索引擎带来的便捷，当我们不小心写了错别字，搜索引擎会更正它们，仍然会找到需要的相关结果。一、自然语言处理3、自然语言处理应用（2）机器翻译翻译就是把一种语言文字的意义用另一种语言文字表达出来。那么机器翻译，顾名思义，就是由机器来完成这样的工作。百度翻译等类似的应用来查找特定单词或短语在英语或其他语言中的含义，这背后的技术就是机器翻译。一、自然语言处理3、自然语言处理应用（3）个性化推荐系统推荐系统依赖于数据、算法、人机交互等环节的相互配合。自然语言处理利用大数据和历史行为记录，借助数据挖掘、信息检索和计算统计学等技术，能够学习出用户的兴趣爱好，预测出用户对特定物品的偏好，实现对用户意图的精准理解，同时对语言进行匹配计算，实现精准匹配。二、词向量Word2Vec1、Word2Vec模型简介Word2Vec（WordEmbedding）中文名称为“词向量”或“词嵌套”，表示自然语言里单词的一种方法，即把每个词都表示为一个N维空间内的点，即一个高维空间内的向量。通过这种方法，实现把自然语言计算转换为向量计算。二、词向量Word2Vec1、Word2Vec模型简介Word2Vec是一种可以从原始语料中学习字词空间向量的预测模型，Word2Vec分为CBOW（ContinuousBag-of-Words）和Skip-Gram两种模式，其中CBOW是用一个词的上下文作为输入来预测词本身，Skip-Gram是用一个词语作为输入，来预测它的上下文词。如图8-6所示，左侧为CBOW模型，右侧为Skip-Gram模型。二、词向量Word2Vec1、Word2Vec模型简介在CBOW中，先在句子中选定一个中心词，并把其他词作为这个中心词的上下文。在Skip-gram中，同样先选定一个中心词，并把其他词作为这个中心词的上下文。二、词向量Word2Vec2、