《计算机导论》课件-计算机导论第九章

第九章大数据与人工智能9.1大数据9.2人工智能9.3大数据与人工智能的关系9.4大数据与人工智能的应用及社会问题

9.1大数据9.1.1大数据概述9.1.2数据科学和数据思维9.1.3大数据处理与可视化9.1大数据9.1.1大数据概述关于大数据，到目前为止还没有一个统一的概念，常见的概念有三个。第一是维基百科给出的定义：无法在可承受的时间范围内用常规软件进行捕捉、管理和处理的数据集合；

第二是研究机构Gartner给出的定义：需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产；第三是麦肯锡全球研究所给出的定义：一种规模大到在获取、存储、管理、分析方面都大大超出传统数据库软件工具能力范围的数据集合。大数据不仅体现在我们字面上理解的数据量巨大上，而是有四个方面的主要特点：第一，数据体量巨大。第二，数据类型繁多。第三，商业价值高，而价值密度却较低。第四，数据产生速度快。9.1大数据9.1.2数据科学和数据思维数据科学。数据科学是以数据为中心的科学，是指导数据分析与处理的科学以及相关的系统理论与方法。数据科学通过系统性地研究数据的组织和使用，可以促进发现及改进关键决策过程。数据科学研究内容包括以下几个方面：（1）基础理论。（2）实验方法与逻辑推理方法。（3）领域数据学。（4）数据资源的开发方法和技术。2.数据思维

数据思维是大数据时代的产物，是计算思维的最新的重要发展。数据思维首先要重视数据的全面性，而非数据的随机抽样性。其次是关注数据的复杂性，弱化精确性，要求对一个大的框架进行模糊的准确度趋势的判断。9.1大数据9.1.3大数据处理与可视化大数据处理数据清洗。数据清洗是在用户确认的前提下，运用每个过滤规则认真进行验证、过滤和修正，而不仅仅是要将无用的数据滤除。不同的状况和不同性质的数据问题，所采用的清洗方法也有所不同，如：（1）缺失值处理如果数据中的某个或某些特征的值是不完整的，则这些值称为缺失值。对缺失值处理有以下几种方法：删除法删除法是指将含有缺失值的特征或者记录删除。替换法替换法是指用一个特定的值替换缺失值。插值法常用的插值法有热平台、冷平台、回归插补、多重插补等。数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。9.1大数据9.1.3大数据处理与可视化（2）冗余属性处理冗余属性是指同一属性重复出现，同一属性命名不同，其他属性中包含另一属性或者很大程度上可以代表该属性。对冗余属性处理前，需要分析冗余属性产生的原因以及去除这部分属性后可能造成的不良影响（3）异常值处理常见的异常值是人为输入错误，常见的异常值处理方法有：删除含有异常值的记录：直接将含有异常值的记录删除。视为缺失值：将异常值视为缺失值，利用缺失值的处理方法进行处理。平均值修正：可用前后两个观测值的平均值修正异常值。不做处理：直接在含有异常值的数据及上进行数据分析、建模等操作。9.1大数据9.1.3大数据处理与可视化数据集成。数据集成是指将多个数据源中的数据合并，并存放到一个一致的数据存储(如数据仓库)中的过程。数据变换。在数据变换中，数据被变换成适用于算法需求的形式，数据变换策略主要包含以下几种。（1）简单函数变换简单函数变换是对原始数据进行某些数字函数变换，常用的变换函数包括平方、开方、取对数和差分运算等。简单函数变换常用来将不具有正态分布的数据变换成具有正态分布的数据。（2）规范化规范化也称为数据标准化或归一化处理，是数据挖掘的一项基础工作。主要有几下几种规范化方法：min-max标准化、小数定标标准化、z-score标准化

数据规约。在大数据集上进行复杂的数据分析和挖掘需要很长的时间，数据规约主要是为了在尽可能保持数据原貌的前提下，最大限度地精简数据量，得到原数据集的规约表示。常用的数据规约方法主要包括以下几种：（1）维规约。维规约指的是减少所考虑的随机变量或属性的个数。（2）数值规约：通过选择替代的、较小的数据形式替换原数据来减少数据量。（3）数据压缩：通过变换以便得到原数据的规约或“压缩”表示。9.1大数据9.1.3大数据处理与可视化2.数据可视化数据可视化是将大型数据集中的数据以图形图像表示，并利用数据分析和开发工具发现其中未知信息的处理过程。数据可视化技术的基本思想是将数据集中的每一个数据项作为单个图元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。一个典型的可视化分析过程如图9.2所示常用的可视化技术有直方图、盒状图、茎叶图、饼图、累积分布图、散点图、等高线图、曲面图、低维切片图、矩阵图、平行坐标系图等。9.2人工智能9.2.1人工智能概述9.2.2人工神经网络和深度学习9.2.3机器人9.2人工智能9.2.1人工智能概述人工智能是研究如何制造智能机器或智能系统来模拟人类智能活动的能力，以延伸人类智能的科学。人工智能的发展并非一帆风顺，它主要经历了以下几个重要的阶段。1.人工智能的诞生2.第一个快速发展期3.人工智能的第一寒冬4.人工智能研究的沉默探索与复苏5.人工智能的第二个冬天6.再一次腾飞9.2人工智能9.2.2人工神经网络和深度学习1.人工神经网络人工神经网络(ANN)是人工智能的重要研究领域之一，是从生物神经网络的研究成果中获得启发，试图通过模拟生物神经系统的结构及其网络化的处理方法以及信息记忆方式，由大量处理单元互连组成一个非线性的、自适应的动态信息处理系统，实现对信息的处理。人工神经网络在信息处理方面与传统的计算机技术相比有自身独特的优势。主要体现在以下几点。1)并行性2)自学习能力3)记忆功能4)高度的鲁棒性和容错性9.2人工智能9.2.2人工神经网络和深度学习人工神经网络的基本结构人工神经网络的基本组成如下：1）多层结构人工神经网络模仿人体神经网络系统进行抽象建模，设计成由相互连接（信号通路）的处理单元(ProcessingElement)组成的处理系统，如图9.15所示。人工神经网络的复杂程度与网络的层数和每层的处理单元有关。按照层级关系，整个网络拓扑结构可以分为输入层、输出层和隐藏层(有时也可以没有隐藏层)。9.2人工智能9.2.2人工神经网络和深度学习

9.2人工智能9.2.2人工神经网络和深度学习

9.2人工智能9.2.2人工神经网络和深度学习人工神经网络的分类。可以按照不同的分类标准，对人工神经网络进行分类。按照拓扑结构划分，人工神经网络可以分为两层神经网络、三层神经网络和多层神经网络。按照结点间的连接方式划分，人工神经网络可分为层间连接和层内连接，连接强度用权值表示。层内连接方式指神经网络同层内部同层结点之间相互连接，如Kohonen网络按照结点间的连接方向划分，人工神经网络可分为前馈式神经网络和反馈式神经网络两种。前馈式神经网络的连接是单向的，上层结点的输出是下层结点的输入。目前数据挖掘软件中的神经网络大多为前馈式神经网络，如1986年由Rumelhart和McCelland领导的科学家小组提出的BP(BackPropagation)网络，就是一种按误差逆传播算法训练的多层前馈网络。而反馈式神经网络除单向连接外，输出结点的输出又可作为输入结点的输入，即它是有反馈的连接9.2人工智能9.2.2人工神经网络和深度学习人工神经网络的基本特性。人工神经网络具有的四个基本特征1)非线性：非线性关系是自然界的普遍特性。人工神经元中的激活函数由非线性函数(例如sigmoid函数)构成，可以模拟处于激活或抑制的两种不同状态，在数学上则表现为一种非线性关系。2)非局限性：神经网络由多个神经元广泛连接而成，系统的整体行为不仅取决于单个神经元的特征，也由神经元之间的相互作用、相互连接所决定。通过神经元之间的大量连接来模拟大脑的非局限性。联想记忆就是非局限性的典型例子。3)非常定性：人工神经网络具有自适应、自组织、自学习能力。神经网络处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程来描写动力系统的演化过程。4)非凸性：一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。9.2人工智能9.2.2人工神经网络和深度学习2.深度学习深度学习的概念源于人工神经网络的研究，它是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象，以发现数据的分布式表示的算法，是机器学习的一个重要分支。下面介绍几种常用的深度学习方法。1）卷积神经网络卷积神经网络是一种深度的监督式学习的神经网络。由于它是稀疏的网络结构，在层的数量分布、每一层卷积核的数量都会有差异。这一结构决定了模型运算的效率和预测的精确度，理解不同结构的作用和原理有助于设计符合实际的深层网络结构。与其他前馈式神经网络类似，卷积神经网络采用梯度下降的方法，应用最小化损失函数对网络中各节点的权重参数逐层调节，通过反向递推，不断地调整参数使得损失函数的结果逐渐变小，从而提升整个网络的特征描绘能力，使卷积神经网络分类的精确度和准确率不断提高。卷积神经网络的低层是由卷积层和子采样层交替组成，这是特征提取功能的核心模块。通过卷积层和子采样层，可以在保持特征不变的情况下减少维度空间和计算时间。卷积神经网络的更高层次是全连接层，其输入是由卷积层和子采样层提取到的特征。卷积神经网络的最后一层是输出层，它可以是一个分类器，采用逻辑回归、Softmax回归、支持向量机等进行模式分类，也可以直接输出某一结果。9.2人工智能9.2.2人工神经网络和深度学习分别介绍各个组成模块及其功能：卷积层通过卷积层(Convolutionallayer)的运算，可以将输入信号在某一特征上加强，从而实现特征的提取，也可以排除干扰因素，从而降低特征的噪声。权重初始化用小的随机数据来初始化各神经元的权重，以打破对称性。而当使用Sigmoid激励函数时，如果权重初始化的较大或较小时，训练过程容易出现梯度饱和以及梯度消失的问题。可以采用Xavier初始化来解决，它的初始化值是在线性函数上推导得出的，能够保持输出结果在很多层之后依然有良好的分布，在tanh激活函数上表现较好。如果要在ReLU激活函数上使用，最好使用He初始化。或者应用BatchNormalizationLayer来初始化，其思想是在线性变化和非线性激活函数之间，对数值做一次高斯归一化和线性变化。此外，由于内存管理是在字节级别上进行的，所以把参数值设为2的幂比较合适（如32、64等）。9.2人工智能9.2.2人工神经网络和深度学习子采样层子采样层(Sub-samplingLayer)是一种向下采样(Downsampling)的形式，

在神经网络中也称之为池化层(PoolingLayer)。一般使用最大池化(Maxpooling)将特征区域中的最大值作为新的抽象区域的值，减少数据的空间大小。参数数量和运算量也会减少，减少全连接的数量和复杂度，一定程度上可以避免过拟合。池化的结果是特征减少，参数减少，但其目的并不仅在于此。为了保持某种不变性(旋转、平移、伸缩等)，常用的池化方法有平均池化(mean-pooling)、最大化池化(max-pooling)和随机池化(Stochastic-pooling)三种。平均池化和最大化池化的过程分别如图9.24和9.25所示9.2人工智能9.2.2人工神经网络和深度学习全连接层卷积层得到的每张特征图表示输入信号的一种特征，而它的层数越高表示这一特征越抽象，为了综合低层的各个卷积层特征，用全连接层(FullConnectLayer)将这些特征结合到一起，然后用Softmax进行分类或逻辑回归分析。输出层输出层(OutputLayer)的一项任务是进行反向传播，依次向后进行梯度传递，计算相应的损失函数，并重新更新权重值。在训练过程中可以采用Dropout来避免训练过程产生过拟合。输出层的结构与传统神经网络结构相似，是基于上一全连接层的结果进行类别判定。9.2人工智能9.2.2人工神经网络和深度学习2）循环神经网络循环神经网络(RecurrentNeuronNetwork，RNN)是一种对序列数据建模的神经网络。RNN不同于前向神经网络，它的层内、层与层之间的信息可以双向传递，以更高效地存储信息，利用更复杂的方法来更新规则，通常用于处理信息序列的任务。RNN主要用来处理序列数据。传统的神经网络模型每层内的节点之间是无连接的。RNN中一个当前神经元的输出与前面的输出也有关，网络会对前面的信息进行记忆并应用于当前神经元的计算中，即隐层之间的节点也是有连接的，并且隐层的输入不仅包括输入层的输出还包括上一时刻隐层的输出。理论上，RNN能够对任何长度的序列数据进行处理。但是在实践中，为了降低复杂性，往往假设当前的状态只与前面的几个状态相关，图9.27所示是一个典型的RNN结构。9.2人工智能9.2.2人工神经网络和深度学习

9.2人工智能9.2.2人工神经网络和深度学习

9.2人工智能9.2.2人工神经网络和深度学习

9.2人工智能9.2.2人工神经网络和深度学习长短期记忆网络：

长短期记忆网络(LongShortTermMemory，LSTM)能够学习长期依赖关系，并可保留误差，在沿时间和层进行反向传递时，可以将误差保持在更加恒定的水平，让RNN能够进行多个时间步的学习，从而建立远距离因果联系。LSTM通过门控单元来实现RNN中的信息处理，用门的开关程度来决定对哪些信息进行读写或清除。

图9.29所示为数据在记忆单元中如何流动，以及单元中的门如何控制数据流动。9.2人工智能9.2.2人工神经网络和深度学习（a）LSTM首先判断对上一状态输出的哪些信息进行过滤即遗忘那些不重要的信息。它通过一个遗忘门(ForgetGate)的Sigmoid激活函数实现。(b)通过输入门将有用的新信息加入到元胞状态。

(d)最后，从当前状态中选择重要的信息作为元胞状态的输出。9.2人工智能9.2.2人工神经网络和深度学习门限循环单元：门限循环单元(GatedRecurrentUnit，GRU)是LSTM的变种，本质上就是一个没有输出门的LSTM，因此它在每个时间步都会将记忆单元中的所有内容写入整体网络，该模型比标准的LSTM模型更加简化，其结构如图9.34所示。9.2人工智能9.2.2人工神经网络和深度学习3.深度学习流行框架目前深度学习领域中主要的实现框架有TensorFlow、Caffe、Torch/PyTorch、Keras、MxNet、Deepleaming4j等。9.2人工智能9.2.3机器人机器人是从事与人类相似动作的自动机械，代替人类行使某些智能动作，因此，它也是人工智能的研究对象。1.感知、推理和决策无论是哪一种机器人，必定需要感应系统以获得感知能力。在可移动机器人中，其感知能力