第9单元 人工智能概论

大学计算机9.1人工智能简介人工智能技术如火如荼，其应用的广度和深度不断变化。这些变化将会深刻的影响人类的生活和工作方式。——了解、理解人工智能技术已成为基本的社会需求人工智能的概念

人工智能(AI)是计算机科学的一个分支，它力求了解智能的实质，生产出一种具备类似人类智能的智能机器。目的模拟人的意识、思维起起落落，几经兴衰产生与发展诞生1943-19561956年夏天，香农和一群年轻的学者在达特茅斯学院召开了一次研讨会，历时一个月。麦卡锡提出使用“人工智能”作为这一领域的名称。黄金时代1956-1974迅速发展时期。程序新特点：可以解决代数应用题，可以证明几何定理，可以学习和使用英语。政府机构投入了大笔资金。问题：使用传统的人工智能方法进行研究，在语音识别、机器翻译等领域长时间无突破。第一次低谷1974-1980项目难度评估不足，新的研究项目基本以失败告终。人工智能研究遭遇瓶颈，乐观期望遭到严重打击。第一次繁荣1980-1987具备人工智能思想的“专家系统”

开始为一些大公司所采纳。专家系统：能力来自于存储的专业知识，解决某一特定领域问题。知识库系统和知识工程成为研究的主要方向，再加上新型神经网络和反向传播算法的提出使连接主义重获新生。第二次低谷1987-1993遭遇了一系列财政问题：硬件市场需求突然下跌；专家系统难以升级维护费高，应用范围窄。新的研究项目相继失败。再次发展1993-20051996年深蓝大战国际象棋冠军卡斯伯罗夫：2：4。1997战胜人类。此后，在国际象棋人机对弈领域，完败人类。深蓝团队是把机器智能问题变成了一个大数据和大量计算的问题。越来越多的AI研究者们开始开发和使用复杂的数学工具。大数据时代2005-今天2005年是大数据元年，Google以巨大的优势打败了全世界所有机器翻译研究团队。使用大量数据训练出一个六元模型。大数据是一种思维方式的改变。今天智能问题逐渐变为数据问题。全世界开始了新的一轮技术革命——智能革命。人工智能的主要流派符号主义连接主义行为主义人工智能技术知识表示神经网络控制理论知识图谱深度学习机器人主要流派理论基础核心技术又称逻辑主义、心理学派或计算机学派。原理：人工智能源于数理逻辑。人类认知和思维的基本单元是符号，而认知过程就是符号表示上的一种运算。成果：启发式程序逻辑理论家，发展了启发式算法等，并在20世纪80年代取得很大发展。符号主义目前，以基于规则的系统为代表的符号主义，正向以神经网络，统计学习为代表的连接主义转变。NLP知识图谱结构示意

新变化又称为仿生学派或生理学派。原理：主要为神经网络和神经网络间的连接机制和学习算法。成果：神经网络模型，多层网络中的反向传播（BP）算法。连接主义以工程技术手段模拟人脑神经系统的结构和功能：非线性并行处理器来模拟人脑中众多的神经细胞（神经元）；处理器的复杂连接关系模拟人脑中众多神经元之间的突触行为。人工神经网络模型在一定程度上实现了人的右脑形象抽象思维功能的模拟。又称进化主义或控制论学派。原理：基于“感知-行动”

方法，认为人工智能源于控制论。成果：

6足机器虫。由150个传感器和23个执行器构成，能像蝗虫一样6足行走。行为主义

连接主义符号主义

行为主义三种流派起源不同互相借鉴走向融合9.2人工智能的主要技术研究领域的体系结构硬件/计算力、大数据算法行业解决方案具体技术技术方向基础设置机器学习、深度学习、……机器视觉语音处理自然语言处理人机交互知识图谱、……图像识别图像理解视频处理语音识别语音理解语音合成机器翻译语义理解情感分析金融、医疗、安防、交通等计算机视觉人机交互技术自然语言处理主要技术机器学习知识图谱主要技术计算机视觉使用计算机模仿人类视觉系统。目的：让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力。应用：自动驾驶、机器人、智能医疗等领域。根据解决的问题不同，形成五大研究领域计算机成像学图像理解三维视觉动态视觉视频编解码机器学习研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，通过知识结构的不断完善与更新提升机器自身的性能。基于数据的机器学习从观测数据出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。采用高质量的神经网络评估下棋局势阿尔法Go原始样本集特征提取特征样本集监督学习评价训练部分预测模型预测部分机器学习的一般过程

监督学习

非监督学习

半监督学习学习模式学习方法

机器学习

深度学习机器学习分类机器学习深度学习算法能够像人一样，从数据中找到信息，从而学习一些规律。以大数据为基础，利用深度神经网络，模型处理更为复杂，模型对数据的理解更加深入。自然语言处理主要研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法。NLP基础技术NLP核心技术NLP核心技术NLP+词汇表示与分析短语表示与分析语法语义表示与分析篇章表示与分析机器翻译提问与问答信息检索信息抽取聊天对话知识工程语言生成推荐系统搜索引擎智能客服……语音助手用户画像

大数据

云计算

机器学习

领域知识自然语言处理主要技术人机交互技术研究人和计算机之间的信息交换，主要包括人到计算机和计算机到人的两部分信息交换，是人工智能领域重要的外围技术。传统：依靠交互设备进行。主要包括键盘、操纵杆、数据服装、眼动跟踪器、压力笔……，打印机、头盔式显示器……。非传统：包括语音交互、情感交互、体感交互及脑机交互等技术。

语音交互

情感交互人以自然语音或机器合成语音同计算机进行交互的综合性技术。包括四部分：语音采集、语音识别、语义理解和语音合成。赋予计算机类似于人一样的观察、理解和生成各种情感的能力，使计算机像人一样能进行自然、亲切和生动的交互。挑战：情感的描述，情感数据的获取和处理过程，情感的表达。

体感交互以体感技术为基础，通过肢体动作与周边数字设备装置和环境进行交互。运动追踪、手势识别、运动捕捉、面部表情识别等技术支撑。三类主要技术：惯性感测、光学感测以及光学联合感测。

脑机交互不依赖于外围神经和肌肉等神经通道，直接实现大脑与外界信息传递的通路。构成：信号采集、特征提取和命令输出三个模块。知识图谱知识图谱以符号形式描述物理世界中的概念及其相互关系，将所有不同种类的信息连接在一起而得到的一个关系网络，提供了从“关系”的角度去分析问题的能力。重要价值：在于让机器具备认知能力。知识来源

结构化知识非结构化知识半结构化知识知识加工

知识表示知识融合关系抽取事件抽取实体发现属性分类知识图谱

百科Schema常识……知识映射

知识检索实体分类本体对齐实体消歧机器阅读知识应用

问答推理联想推荐数据增强知识图谱的体系结构知识获取知识源知识融合知识计算及应用实体链接Schema知识融合知识表示实体分类知识补全知识扩展百科常识知识检索

问答推理联想推荐数据增强非结构化知识关系抽取事件抽取实体发现结构化知识知识映射半结构化知识Parser属性分类知识图谱的技术流程9.3机器学习基础实现人工智能的一个重要途径。理论基础：设计和分析一些让计算机可以自动“学习”的算法。算法能从数据中自动分析获得规律，并利用规律对未知数据进行预测。机器学习研究对象是人工智能，特别是如何在经验学习中改善算法的性能；研究能通过经验自动改进的计算机算法；用数据或以往的经验，优化计算机程序的性能标准。机器学习的特征关注的问题并非所有问题都适合用机器学习解决（很多逻辑清晰的问题用规则就能高效和准确地处理）；没有一个机器学习算法可以通用于所有问题。垃圾邮件识别文本情感褒贬分析图像类别判断分类问题票房收入房价预测回归问题客户群分类物体分类聚类问题监督学习非监督学习数据必须是有标签。分类与回归问题需要用已知结果的数据做训练，属于监督学习。不对数据进行标明，让机器自动去判断。聚类的问题不需要已知标签，属于非监督学习。微积分线性代数微分的计算及其几何、物理含义是机器学习中大多数算法求解过程的核心。梯度下降法、牛顿法等。大多数机器学习算法和线性代数关系密切。向量的内积运算，矩阵乘法与分解。概率与统计机器学习的很多任务和统计层面数据分析是非常类似的。极大似然思想、朴素贝叶斯、隐马尔科夫、隐变量混合概率模型。数学基础分类问题回归问题分类问题包括学习与分类两个过程。逻辑回归（工业界最常用）、支持向量机、随机森林、朴素贝叶斯（NLP中常用）、深度神经网络（视频、图片、语音等多媒体数据中使用）等。回归分析实际上就是根据统计数据建立一个能描述不同变量之间的关系的方程。线性回归，普通最小二乘回归，多元自适应回归样条等。聚类问题聚类是指将数据集划分为若干类，使得类内之间的数据最为相似，类之间的数据相似度差别尽可能大。K均值、基于密度的聚类、层次聚类等。典型算法python语言动态的、面向对象的脚本语言。语言简洁、易读、可扩展。众多开源科学计算软件包都提供了Python的调用接口。适合工程技术、科研人员处理实验数据、制作图表，开发科学计算应用程序。R语言用于统计分析，图形表示和报告的编程语言和软件环境。具备高效的数据处理和存储功能，擅长数据矩阵操作，提供大量适用于数据分析的工具，支持多种数据可视化输出。语言基础降维算法降维是机器学习中很重要的一种思想。在机器学习中经常会碰到一些高维的数据集存在维度灾难和特征冗余问题。常用算法：奇异值分解、主成分析、线性判断分析等。基本流程问题抽象获取数据特征预处理特征选择训练模型与调优模型诊断模型融合上线运行9.4人工神经网络简介神经网络是一个非常宽泛的称呼神经网络的基本类型神经网络人工神经网络生物神经网络反馈神经网络前馈神经网络单层神经网络多层神经网络两层神经网络普通深度网络卷积神经网络深度信念网络Hopfield神经网络循环神经网络神经元模型典型构成一个神经元通常具有多个树突(用来接受传入信息)；一条轴突(用于传递信息)；轴突末梢跟其他神经元的树突产生连接，传递信息给其他多个神经元。神经元的构成抽象的神经元模型输入1输入2输入3求和激励函数输出W1W2W3典型模型典型的神经元模型：3个输入；1个输出；2个计算功能。箭头线称为连接，每个连接都有一个权值。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算可以类比为细胞核。连接与权重连接是神经元模型中最重要的概念，每一个连接上都有一个权重。训练神经网络就是让权重的调整到最佳，使整个网络的预测效果最好。训练后,某输入权重较高，则该输入更重要。权重为零则表示该特征微不足道。Waa*W激励函数

Sigmoid函数ReLU函数Softmax函数Sigmoid函数最常用的激励函数。输出处于0到1之间，适用于输出概率的模型。可微，可以得到曲线上任意两点之间的斜率。ReLU函数用来处理隐藏层。当X>0时，函数的输出值为X；当X<=0时，输出值为0。能够有效缓解梯度消失问题，能以监督的方式训练深度神经网络。不足：神经元死亡问题；输出具有偏移问题。Softmax函数Softmax通常用于输出层，用于多类分类问题。通过softmax函数，可以使得P(i)的范围在[0,1]之间。在回归和分类问题中，θ通常是待求参数，通过寻找使得P(i)最大的θi作为最佳参数。

神经元模型的扩展输出输入1输入2输入3f输出W1W2W3输出将sum函数与激励函数合并，代表神经元的内部计算；一个神经元可引出多个值相同的输出；神经元可以看作一个计算与存储单元（对输入进行计算。暂存计算结果，并传递到下一层）。求和激励函数人工神经网络的构成典型的神经网络包含三个部分。结构指定网络中的变量和它们的拓扑关系。（变量可以是神经元连接的权重和神经元的激励值）。激励函数用来定义神经元如何根据其他神经元的活动来改变自己的激励值。依赖于网络中的权重。学习规则指定网络中的权重如何随时间推进调整。依赖于神经元的激励值,

监督者提供的目标值和当前权重的值等。单层神经网络输入层输出层X1X2X3Y1Y2Y3Y41958年，提出单层神经网络(感知器),第一个可以学习的人工神经网络。两个层次：输入层和输出层。输入单元只负责传输数据，输出层里的输出单元需要对前面一层的输入进行计算。需要计算的层次称为计算层拥有一个计算层

感知器中的权值通过训练得到。感知器类似一个逻辑回归模型，可以做简单的线性分类任务。

输入层中间层输出层X1X2X3Y1Y2Y3两层神经网路结构典型构成包含三部分：输入层、输出层和中间层（隐藏层）。输入层有3个单元；隐藏层有4个单元；输出层有3个单元。多使用平滑函数sigmoid作为激励函数输入层中间层输出层W(1)ABZW(2)11Y(1)Y(2)除了输出层外，每层次都会默认存在一个偏置节点。偏置节点本质上是一个只含有存储功能，且存储值永远为1的单元。带偏置节点的两层神经网路结构神经网络的矩阵运算：g(

A*W(1)+Y(1))=

B;

g(

B*W(2)+Y(2))=

Z;A为输入层矩阵，W(1)为输入层权值矩阵，Y(1)为输入层偏置节点的权值矩阵；B为中间层矩阵，W(2)为中间层权值矩阵，Y(2)为中间层偏置节点的权值矩阵。使用矩阵运算描述神经网络简洁明了，不会受到节点数增多的影响（无论有多少节点参与运算，乘法两端都只有一个变量）。神经网络大量使用矩阵运算来描述。本质：通过参数与激活函数来拟合特征与目标之间的真实函数关系。单层网络只能做线性分类任务。两层神经网络通过中间层和输出层两个线性分类任务结合实现非线性分类任务。对复杂的非线性分类任务，具有很好的分类效果。多层的神经网络的本质就是更复杂的函数拟合。基本结论模型的训练目的：所有参数尽可能的与真实的模型逼近。给所有参数赋随机值使用随机参数值预测训练数据中的样本定义一个损失值loss为：loss=(T1-T)2预测目标为T1，真实目标为T。目标：所有训练数据的损失和尽可能小。问题：调整参数，使损失函数的值最小。BP算法正向反向多次反复

正向传播

反向传播BP算法(即误差反向传播算法)适合于多层神经元网络，建立在梯度下降法基础上。

输入信息逐层处理并传向输出层。取输出与期望的误差的平方和作为目标函数，判定训练是否完成。反向逐层求出目标函数对权值向量的梯度。依据特定规则调整权值矩阵。9.5深度学习基础指在多层神经网络上运用各种机器学习算法解决图像，文本等领域的识别、分类等问题的算法集合。大类上可以归入神经网络，在具体实现上有许多变化。深度学习的概念核心是特征学习：可以用非监督式或半监督式的进行特征学习和特征分层。解决以往需要人工设计特征的重要难题。深度学习的特征训练阶段深度学习预测阶段特征提取模型训练区别传统机器学习：需要事先人为定义一些特征。深度学习：特征是由算法自身通过学习得到。基本特征通过自动学习得到特征。实现特征表示和分类器的联合优化。表达结构更深，能力更强。具有提取全局特征和上下文信息的能力。形状边缘图案特征普通多层神经网络输入层中间层1中间层2W(1)A(1)A(2)ZW(2)输出层A(3)W(3)参数三层神经网络。W(1)中有12个参数，W(2)中有16个参数，W(3)中有12个参数，所以整个神经网络的参数有40个。若输入矩阵为A(1)，各层的参数矩阵分别为W(1)，W(2)，W(3)。输出Z的推导公式如下：g(A(1)*W(1))=

A(2)

g(A(2)*W(2))=

A(3)g(A(3)*W(3))=Z模型调整可根据实际需求调整中间层的节点数输入层中间层1中间层2W(1)A(1)A(2)ZW(2)输出层W(3)A(3)参数中间层1：5个节点，中间层2：5个节点。整个网络：55个参数。层数保持不变，参数数量增加，表示能力更好。表示能力是一个重要性质输入层中间层1中间层2W(1)A(1)A(2)ZW(2)输出层A(3)W(3)中间层3W(4)A(4)参数中间层1：4个节点，中间层2：4个节点。中间层3：3个节点。整个网络：49个参数。有3个中间层。说明在参数数量接近情况下，也可用更深的层次去表达。常见的深度学习框架研究者将深度学习算法的相关代码封装成一个框架放到共享资源库中供人们共享使用。随着时间的推移，逐渐形成了多种不同的框架。不同框架适用的领域不完全一致，框架提供一系列的深度学习的组件（对于通用的算法，里面会有实现）。若需要新算法，用户可自己定义，然后通过框架的函数接口使用自定义新算法。Theano深度学习库高性能的符号计算及深度学习库。官方网址：/software/theano/GitHub：/Theano/TheanoTensorFlow拥有产品级的高质量代码，整体架构设计非常优秀。相比于Theano，TensorFlow更成熟、更完善。官方网址：/TensorFlow深度学习库Torch深度学习库Torch是Facebook开源的库，定位为LuaJIT上的一个高效的科学计算库，支持大量的机器学习算法，同时以GPU计算优先。官方网址：http://torch.ch/

GitHub：/torch/torch7Caffe深度学习库Caffe是一个被广泛使用的开源深度学习框架，在TensorFlow出现之前一直是深度学习领域GitHub star最多的项目。官方网址：/

GitHub：/BVLC/caffeKeras库深度学习库Keras基于Python实现，崇尚极简、高度模块化的神经网络库，可以同时运行在TensorFlow和Theano上。官方网址：keras.io

GitHub：/fchollet/kerasMXNet深度学习库MXNet是一款开源、轻量级、可移植、灵活的深度学习库，用户可以混合使用符号编程模式和指令式编程模式，是AWS官方推荐的深度学习框架。官网网址：mxnet.io

GitHub：/dmlc/mxnetCNTK库深度学习库CNTK是微软研究院的研发的开源深度学习框架，已经发展成一个通用的、跨平台的深度学习系统，在语音识别领域广泛使用。官方网址：cntk.ai

GitHub：/Microsoft/CNTKDeeplearning4J库深度学习库Deeplearning4J，简称DL4J，是一个基于Java和Scala的开源分布式深度学习库，核心目标是创建一个即插即用的解决方案原型。官方网址：/

GitHub: /deeplearning4j/deeplearning4jLeaf库深度学习库Leaf是一个基于Rust语言的跨平台深度学习框架，拥有清晰的架构，仅依赖计算库Collenchyma。官方网址：/leaf/book

GitHub：/autumnai/leafDSSTNE深度学习库DSSTNE是亚马逊开源的稀疏神经网络框架，在训练非常稀疏的数据时具有很大的优势。GitHub：/amznlabs/amazon-dsstne DSSTNE目前只支持全连接的神经网络，不支持卷积网络。如何选择深度学习框架常见深度学习库比较性能性能一部分主要由实现该框架的语言决定，一小部分原因该框架的实现的架构决定。理论上说，语言运行最快的仍旧是C或C++等；在相同的条件下Torch运行速度要快一些。活跃度非常重要的参考因素。活跃的社区就意味着很多人在使用这个框架，会有更多人贡献代码。语言深度学习框架几乎都支持Python，少部分框架只支持原生接口，例如Torch只支持Lua脚本，CNTK只支持C++。9.6卷积神经网络卷积神经网络是一个包含卷积计算的深度前馈神经网络。能够进行平移不变分类，也被称为平移不变人工神经网络。本质上是一个多层感知机。卷积神经网络的优缺点优点局部连接，权值共享；自动选取学习；下采样，减少数据量。缺点实现比较复杂，训练所需时间长；不同的任务需要单独训练；多级特征物理含义不明确。卷积神经网络的构成-AlexNet输入层隐藏层输出层输入层可以处理多维数据：一维卷积神经网络：接收一维或二维数组，一维数组常为时间或频谱采样，二维数组可能包含多个通道；二维卷积神经网络：接收二维或三维数组；三维卷积神经网络：接收四维数组。主要任务图像的预处理去均值；归一化；主成分分析；白化等。隐藏层卷积运算(本质是加权叠加)，提取局部特征。图像的局部特性使传统的神经元全连接失去意义。特征选择和信息过滤。通过预设的池化函数将单个点的结果替换为其相邻区域的特征图统计量。搭建在隐藏层的最后，向其它全连接层传递信号

卷积层

池化层

全连接层包含三部分

卷积1

池化1

卷积2

池化2

……

全连接

卷积层卷积核包含多个卷积核。卷积核有规律地扫秒输入特征，对图像上扫描区域进行卷积处理。使用多个卷积核分别卷积会得到多个特征图。多次卷积可得到更高层次的