《工业大数据导论》 课件 第7章 工业大数据与新一代人工智能

工业大数据与新一代人工智能目录传统人工智能与新一代人工智能新一代人工智能的基础算法工业大数据在新一代人工智能的定位010203学习目标1.了解人工智能“三起两落”的发展史以及每一阶段的特征2.了解人工智能的基本概念、研究内容和实现方法3.了解新一代人工智能的研究内容及其去传统人工智能的三大区别4.掌握深层神经网络、卷积神经网络、循环神经网络的基本原理5.了解深度学习的发展方向6.了解工业大数据与新一代人工智能的关系01传统人工智能与新一代人工智能传统人工智能与新一代人工智能新一代人工智能及其与传统人工智能区别人工智能发展史人工智能概述人工智能发展史自机械设备使人类从重复繁重的体力劳动中解放以来，人们还希望能从脑力劳动中解放出来，因而研究者们开始转向智能化人工系统的研究。1956年，达特茅斯会议正式标志着人工智能研究进入第一次发展阶段。斯坦福大学JohnMcCarthy教授麻省理工学院MarvinLeeMinsky教授卡内基梅隆大学HerbertSimont卡内基梅隆大学AllenNewell教授在美国召开的达特茅斯会议上正式确立“人工智能”为独立的新兴学科“信息理论之父”ClaudeElwoodShannonIBM公司NathanielRochester第一次发展与低谷阶段知识人为提供，决策固化尽管这些成果在一定程度上可以代替人类重复性的脑力劳动，但当时的AI程序基本属于确定性的输入输出，即输入的对象特征、分析的规则都是人为制定，得到的输出结果同样是确定的，称之为“知识人为提供，决策固化”。显然，这也决定此类算法所能解决问题的局限性，导致第一次研究热潮逐渐褪去。上世纪50～70年代是人工智能发展的第一次黄金时代。1.具有学习特性的“感知机模型”被提出2.“尤尼梅特”作为世界上首款工业机器人在通用公司生产线上服役工作3.IBM公司的360型计算机称为第一款规模化生产的计算机等第二次发展阶段知识人为提供，决策灵活知识层面决策层面上世纪80年代，人工智能开始复苏。专家系统随机算法专家系统是一种可模拟人类专家解决相关领域问题的计算机程序系统，它被众多公司采纳并实现了市场化应用。该系统由人机界面、知识库、推理机、解释器、综合数据库和知识获取六大部分组成。计算机根据知识库通过推理机对问题进行分析学习。以蒙特卡罗树搜索算法为代表的随机算法是将抽取样本进行遍历，减小计算量同时保障较优解来解决上述问题，这种选取较优解的方法使得决策更加灵活。随机算法：蒙特卡罗树搜索算法蒙特卡罗树搜索（MonteCarloTreeSearch，MCTS）算法：它因赌博中多用到随机算法而以赌城蒙特卡罗命名，其基本原理可通过简易的“黑箱摸球”示例理解。假定黑箱中有100个相同大小的球，每球贴有数字，大小不一；随机取一球，再随机取一球，挑数字大者，如此循环，挑出的球的数字至少不比上一次所挑数字小；随取球次数增加，挑出的数字越接近箱中最大数。简言之，经一定搜索采样后，选择样本最优者，其接近全局最优但不一定是全局最优。此类算法受欢迎在于：尽管遍历数据集再作出决策固然能得到最优解，但当输入为高维随机变量时，可能的结果种类将达到指数级的数据量，这对计算机决策而言将造成维数灾难，随机算法采用折中办法，既减小计算量又保障较优解，因而决策灵活。“深蓝”战胜国际象棋世界冠军1997年，IBM公司的超级计算机“深蓝”以3.5:2.5战胜当时的国际象棋世界冠军卡斯帕罗夫。尽管卡斯帕罗夫本人及部分人认为人有情绪波动而计算机无此缺陷，才使深蓝“作弊”勉胜，但是——（1）当时的深蓝计算机已使用专家系统，基于大量棋谱训练集遍历所有走法；（2）由于“下一步棋”的走法可能性过多，故通过蒙特卡罗树搜索决定较优落子方法，使其在国际象棋方面有机会与顶级选手较量。因此，“深蓝”的成功也标志着人工智能往前大跨一步，实现“知识人为提供，决策灵活”。第二次低谷阶段2.人工神经网络的理论模型可以解决专家系统的弊端，但其需要的超级计算能力与海量数据这两大基础在当时无法实现。1.专家系统终究是依赖于人类整理的知识库，无法实现对更复杂问题的求解；因此，人工智能的研究热再次熄灭。第三次发展阶段知识自主学习，决策灵活2016年，区别于深蓝的勉胜，Google公司的智能机器人AlphaGo以4:1的大比分战胜围棋世界冠军李世石，甚至李世石本人也对AlphaGo棋艺的大幅进步而震惊。这一重大事件也标志着人工智能终于迎来全新发展阶段。“深蓝”AlphaGo深蓝严格意义上只可称为“手工”程序。保留深蓝的优点基础上，还真正实现自我学习的能力。李世石与AlphaGo的人机大战第三次发展阶段第三次发展源自计算机的计算量与海量数据两大问题已不再是瓶颈，这也使得人工神经网络得以发挥作用；且“评价网络”与“策略网络”两种深层神经网络成功应用于AlphaGo的围棋算法中。1.评价网络可根据当前局势计算己方最终的胜率；2.策略网络则可以判断对手最可能的落子点；3.决策仍是基于蒙特卡罗树搜索算法确定己方的下一步最佳落子点。受限于专家系统，深蓝更多只可适用于国际象棋的对弈。AlphaGo的算法则因为人工神经网络自学习知识的特点没有领域限制，更容易实现泛化。尽管人工神经网络往往在具备海量数据集的前提下才能发挥优势，这与人类大脑对于任意领域均能实现基于少量样例便可进行演绎推理的能力无法比拟，也正说明与强人工智能的愿景尚有差距，但技术的不断突破与商业化应用无疑使人工智能更进一步。人工智能概述：基本概念人工智能（ArtificialIntelligence，AI）自诞生以来出现过多种定义。美国斯坦福大学人工智能研究中心的尼尔逊（Nelson）教授曾认为，“人工智能是关于知识的学科——即怎样表示知识以及怎样获得知识并使用知识的科学。”美国麻省理工学院的温斯顿（Winston）教授则定义，“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”人工智能：研究人类智能活动的规律，通过计算机的软硬件模拟、延伸和扩展人的某些思维过程和智能行为，从而创造出具有一定智能程度的人工系统。从另一个角度，人工智能虽是计算机科学的一个分支，但又涉及心理学、哲学、语言学等多种社会科学，已远远超出计算机科学的范畴，因此她可独立成为一门研究智能理论、方法、技术及应用系统的新技术科学。人工智能概述：研究内容人类通过将小白鼠的听觉中枢与视觉神经进行人为连接，发现听觉中枢拥有视觉功能，验证了包括人类在内的哺乳动物的大脑中各块区域都拥有类似的学习机制，这为研究具有通用性智能的机器或称为具备多元智能的系统提供了理论基础。但是考虑到通用性智能的实现复杂性，研究者们决定先从单一模块分别实现突破。人工智能研究内容人类特征眼耳口鼻舌等感官语言交流能力运动能力学习能力情感规划知识库自主感知自然语言处理运动与控制机器学习情感社交智能规划知识表示法人工智能概述：研究内容【自主感知】包括机器视觉、计算机视觉等图像处理类技术，以及机器听觉、语音识别等技术；【自然语言处理】就狭义角度而言，即将语音识别的结果以及其他来源作为自然语言处理的素材，并转化成适于另一群体使用的语言结果的技术；【运动控制】智能系统如智能机器人能根据环境完成正确的运动并实现自主控制的技术；【机器学习】模拟人类的学习行为获取新的知识并实现知识的转化应用，机器学习也是人工智能的核心技术，是计算机具备智能的根本途径；【情感社交】计算机通过情感计算对人给予的反应作出表情、姿态、语气等的变化，实现人机交互更加和谐；【智能规划】通过建立自我的世界模型，并与真实世界进行对比，根据预测与现实的差别进行计划的制定与调整；【知识表示法】通过逻辑表示法或产生式表示法等表示方法搭建常识知识库，用作计算机决策的知识来源之一。此外，人类也具备创造力，即在某些特定情况下的一种不依赖于量变而产生质变的特殊模式，这也是人工智能尚待研究攻克的内容之一。人工智能概述：实现方法【机器学习】正如Google所言，“先解决智能问题，再用智能解决一切问题。”人的高级属性在于可通过学习获取知识，然后用于解决问题，并且良性循环，不断提高；因而人工智能的关键就在于能否真正使计算机如人类一般进行学习和提高，这便是为什么机器学习是人工智能的核心技术。从学习策略角度，机器学习可进行如下分类。机器学习归纳学习：经验性归纳学习事实上，分类与回归问题本质上均为根据输入对输出作预测，而分类问题的输出是一种定性输出，即离散型变量；而回归问题的输出则是一种定量输出，即连续型变量。经验性归纳学习主要用于解决分类问题和回归问题：分类可理解为数据划分界限，譬如输入人脸图片输出人物身份识别结果；回归可理解为数据拟合，譬如输入人脸图片输出人物年龄预测。经验性归纳学习决策树模型算法朴素贝叶斯模型算法支持向量机算法等逻辑回归算法归纳学习：经验性归纳学习决策树模型决策树模型（DecisionTreeModel，DTM）是在已知各种情况发生概率的基础上，通过构成决策树来求取各期望值的概率（非负数），评价事件风险来判断其可行性的决策分析方法，是直观运用概率分析的一种树状结构的图解法，也是最简单的归纳学习算法，并且决策过程近似于人类在社会环境中的逻辑思维过程。建立决策树模型主要包括四项内容：1.模型欲实现的目标；2.根节点，表示训练数据集；4.叶节点，表示模型的判定结果。3.内部节点，表示多层测试条件，以对数据进行分类纯化；注：训练数据集是已知特征属性的数据样本，是决策树结构形成过程的数据源。归纳学习：经验性归纳学习“高尔夫球场的顾客”问题在不同环境下，高尔夫球场的顾客量会出现很大的波动，这当然也会影响服务员人员的需求量。比如在下雨时，顾客量会很少，服务人员的需求量就会小，而在阴天时，顾客量可能就会多，服务人员的需求量自然就大。因此，球场可以记录不同天气情况下的顾客访问量，从而预测出未来指定时间段内的服务人员需求量。日期天气气温（℃）相对湿度（%）有/无风有/无顾客1晴2985无无2晴2790有无3多云2878无有4雨2196无有5雨2080无有6雨1870有无7多云1765有有8晴2295无无9晴2070无有10雨2480无有11晴2470有有12多云2290有有13多云2775无有14雨2180有无两周高尔夫球场顾客数据集归纳学习：经验性归纳学习“高尔夫球场的顾客”问题建立高尔夫球场顾客问题的决策树模型：归纳学习：经验性归纳学习“高尔夫球场的顾客”问题由此，本示例建立的决策树模型将顾客打球时间与原因进行了有效的分类，并为将来的实际待测数据集提供了预测模型，即只要根据今后的天气相关指标值便可推测出当日是否会有顾客光临，从而灵活调整雇员数量，包括固定员工与临时工的合理搭配等。1.单论天气情况，可得出第一层结论，即多云天气时，顾客总是喜欢打高尔夫球，而晴雨天则视情况而定；2.晴天时，顾客喜欢在相对湿度低于70的日子里打高尔夫球，或在雨天时，只要无风，也有狂热的爱好者前来打球；但在晴雨天的其他情况下，顾客则不会选择打球。上述决策树模型的根节点的训练数据集即来自“两周高尔夫球场顾客数据集”表格，其中天气、气温、相对湿度、有/无风等特征值为测试条件，且须遵从选择可令子集纯度更高的测试条件作为最优特征值进行划分。根据决策树模型可知：归纳学习：经验性归纳学习朴素贝叶斯模型朴素贝叶斯模型（NaiveBayesianModel，NBM）算法也是一种基于概率论的预测算法。其核心法则是基于如下条件概率公式：

假设有特征：性别、有无纹身等，根据这些样貌特征，我们训练出一个标准的“好人模型”和“坏人模型”。这样，当一个品行未知的人来以后，我们迅速获取TA的样貌特征向量，分布输入“好人模型”和“坏人模型”，得到两个概率值。如果“坏人模型”输出的概率值大一些，那这个人很有可能就是个大坏蛋了。归纳学习：经验性归纳学习逻辑回归支持向量机支持向量机（SupportVectorMachine，SVM）算法通过寻找两个平行的超平面并使之距离最大化实现分类。逻辑回归（LogisticRegression，LR）算法通过拟合曲线实现分类或回归。尽管用于分类的算法众多，但因各自优缺点而有各自的适用范围。1.决策树的优点在于属于白盒模型，即无需专业解读，具有天然的解释性；但缺点在于对异常值敏感，易导致树结构的巨大变化，以及对未出现过的值束手无策导致泛化能力不足；2.朴素贝叶斯模型优点是其源于古典数学理论，分类效率稳定，且对缺失数据不敏感；但其缺点在于各个特征相互独立的假设在实际应用中往往不成立，这对概率计算值的真实性造成影响；3.逻辑回归的优点是其计算代价低，易于实现；缺点在于易出现欠拟合，导致分类精度可能不高；4.持向量机的优点在于其对异常值敏感度低，易于泛化；缺点是对大规模训练数据集难以实施，以及难以解决多分类的问题。归纳学习：遗传算法遗传算法的基本过程如下：确定实际问题的参数集并进行编码得到初始化的种群，再通过适应度函数评价种群，若当前解已满足评价要求，则结束，此解即所求期望解；若当前解不满足停止规则，则进行遗传操作，包括选择、交叉和变异，从而迭代产生新一种群，随后重复评估适应度及后续过程，直至得到期望解。遗传算法（GeneticAlgorithm，GA）主要用于解决搜索问题。自上世纪90年代后，它的应用已从函数优化、车间调度等范围扩展至基于遗传算法的机器学习领域，并且遗传算法也正日益和人工神经网络、模糊推理及混沌理论等其他智能计算方法互相渗透融合。归纳学习：遗传算法以典型的“袋鼠跳”来描述遗传算法的求解过程。假定需要求解函数曲线的最大值，而函数曲线图有多个极大、极小值。现将曲线图理解为一座山脉，有多处山峰与山谷，令随机得到的一组解作为第一群袋鼠散落于山脉不同位置中，并让袋鼠不断往高处跳（逼近），直至有袋鼠跳至最高山峰处。袋鼠跳的方法有多种：1.

“爬山法”：由于是依赖随机产生的单点往周边进行跳跃寻找高峰，故易导致到达局部最优解即停止，而可能无法到达全局最优解；1.遗传算法：不以单点跳跃，而是多点并行，即随机产生一群袋鼠散落于山脉中，每隔一个周期，对低海拔的袋鼠进行全体射杀，剩下高海拔的袋鼠存活，并且存活的袋鼠可进行繁殖，在此地产生更多的袋鼠，同时袋鼠可以往周边跳跃寻找附近的高峰；如此循环，最后仅最高峰的袋鼠得以存活，即找到全局最优解。若求最小值同理。2.

“模拟退火法”：通过令袋鼠有较大的跳跃量以解决遇到局部最优解即停止的问题，而可以有足够能量跳过局部点并在接近全局最优解时降低跳跃量直至到达全局最优解，但仍是单点跳跃，跳跃时间长；注：遗传算法具有其独特的优势，即算法与问题涉及领域无关，适用广泛，同时不采用确定性规则而以概率的变迁规则指导搜索方向；但其不足在于搜索速度较慢，欲得到精确解需较长训练时间等。归纳学习：联结学习联结学习主要指人工神经网络（ArtificialNeuralNetwork，ANN）算法，是一种模拟人脑神经元网络的信息处理模型，自上世纪50年代起，至今已发展60余年。经历了浅层神经网络到深层神经网络（深度学习算法）的发展历程。深层神经网络浅层神经网络单层线性感知机模型多层非线性感知机模型归纳学习：联结学习浅层神经网络起初，FrankRosenblatt教授在由美国心理学家McCulloch和数学家Pitts提出的“人工神经元模型”，或称为“M-P神经元模型”的基础上，于1958年正式定义“感知机(MultilayerPerceptron，MLP)模型”。图中的单层单神经元感知机模型中，x1～xn为n个从研究对象提取的特征值，w为权重值，b为激活阈值，所有特征值xi通过线性加权和作为输入，f为激活函数。当模型完成输入后，经激活函数作用，若其值大于设定阈值，则输出阶跃值1激活，反之则输出阶跃值0抑制，从形式上仿照人体神经元突触处的兴奋和抑制机制。归纳学习：联结学习浅层神经网络感知机模型还在于将各输入值的权重定义为可变，通过设置基于误分类的损失函数，利用梯度下降法对损失函数不断迭代求得极小值，即可将权重调整至最接近真实的情况，这也使“感知机模型”被赋予学习的特性。但是单个神经元的输出只有0和1两种情况，而实际对象的输出往往有多种，需要通过多个神经元共同完成分类。右图是单层多神经元感知机模型，由m个神经元构成，最多可区分出2^m种输入模式。但无论神经元个数有多少，它仍是单层的感知机模型。归纳学习：联结学习浅层神经网络在上世纪60年代末70年代初，尽管“感知机模型”调整权值的算法十分简洁，但随着它的深入使用，研究者们遇到三层阻碍：1.单层的感知机模型只能解决可线性分割的问题，对于非线性分割问题如异或门则束手无策；2.当时作为样本输入的数据量缺失；3.由于单层感知机模型的局限性，当问题复杂度提高，多神经元感知机模型的神经元数量增加，分类结果也将呈指数级增长，伴随的是计算难度的指数级增长，而当时计算机的计算量是远远达不到要求的。因此，人工神经网络自身的“单层感知机模型”存在不足与时代发展阶段的外部因素共同限制进一步其发展。归纳学习：联结学习深层神经网络直至80年代，“深层神经网络（DeepNeuralNetwork，DNN）”的出现有效克服了“单层感知机模型”无法解决异或运算的问题。“多层”和“非线性”是“深层神经网络”的两大特性：【多层】区别于单层感知机模型，其在输入和输出层间加入“隐层”，从而扩展为多层感知机模型。【多层】体现在激活函数采用非线性函数。归纳学习：联结学习深层神经网络20世纪80-90年代21世纪至今80年代末90年代初，卷积神经网络与循环神经网络等当下热门的人工神经网络算法，与深层神经网络同样得到较好的发展，并在当下均被称为“深度学习”算法。但同时，神经网络的发展再次遇阻，此时的人工神经网络理论模型已取得可观的进展，却仍然受制于当时的计算机计算能力不足，以及可供使用的数据量无法达到训练深层神经网络所需的要求。直到近年来，云计算等技术极大地提高计算系统的计算量，同时大数据的出现亦使得深层神经网络所需的海量数据不再成为制约，因此人工神经网络在自身理论成熟与外部技术环境支持的共同驱动下，得到了空前的发展与应用，也直接推动了新一代人工智能的到来。演绎学习：分析学习【归纳学习】从经验性归纳学习、遗传算法、联结学习等算法的实现原理可以看出，归纳学习是指在大量样例的前提下总结一般规律，创立新的概念、理论，再用于预测分析、解决智能问题。【演绎学习】指在已知事实规律的前提下就少量样例进行推理分析，并不产生新的概念、知识，是一种基于解释的学习策略，以分析学习为典型实现算法。相对于归纳学习，分析学习在可用训练数据不足的情况下较有优势。以珍稀物种中华鲟的识别为例，若归纳学习需要通过大量中华鲟图片作为训练数据集得到识别中华鲟的算法模型，分析学习则是基于先验知识，即将中华鲟相较其他动物所特有的特征属性与训练数据共同作为输入，分析少量的训练数据，明确这些样例如何满足中华鲟的目标特征，则可基于逻辑推理而非统计推理对样例进行泛化。新一代人工智能及其与传统人工智能区别人工智能自诞生以来每一次发展都会受阻，但沉默期之后也都会重新迎来曙光，现今正处于第三次发展阶段。之所以称为“新一代人工智能”，主要在于社会需求的变化、技术环境的变革以及人工神经网络理论的成熟这三大关键因素，这也是其与传统人工智能的区别所在。有别于上世纪以学术牵引为主的AI研究，21世纪的人工智能则转变为需求牵引。随着人们对智慧城市、智能医疗、智能交通、智能物流、智能机器人等各领域提出智能化的诉求，人工智能已走出小规模的实验室研究范围，进而走进各个大小城市、企业等，形成大规模的AI研究热。1.社会需求变化过去每一次人工智能低谷期，除去算法本身的局限性，往往还受限于时下的技术条件，譬如计算机的计算能力有限，训练数据样本量有限等。如今计算机的超强计算能力，使得神经网络中可能出现的指数级计算量不再是技术壁垒；互联网技术的普及与成熟使海量数据的获取也变得便捷且低廉。技术环境的重大变革为人工智能的跨越式发展迎来重要契机。2.技术环境变革新一代人工智能及其与传统人工智能区别2006年，Hinton等人提出的深度学习的概念，事实上可认为是深层神经网络等的变相说法，解决的关键问题是可以自主地将提取的简单特征组合成更复杂的特征，进而利用它们进行预测、解决问题。与单层感知机模型不同，传统浅层神经网络均是对人工提取的特征进行权重学习与优化，而深度学习算法则是从原始输入中自主提取基础特征，进而继续多层复杂特征的提取，再对特征进行学习与优化，克服了人工特征提取的局限性。同时——(1)通过指数衰减法设置梯度下降算法中的学习率可让模型快速接近较优解并保持稳定，加快训练速度；(2)通过正则化可有效避免训练过程中的过拟合现象；(3)通过控制参数的初始值或设置损失函数为凸函数可保证模型优化能达到全局最优解。因此深度学习算法在自主学习及自主优化上的优势尤为凸显。3.人工神经网络理论成熟人工智能机器学习神经网络深度学习人工智能-机器学习-人工神经网络-深度学习关系图新一代人工智能研究内容从研究内容方面看，“新一代人工智能”包括跨媒体智能、人机交互智能、群体智能与大数据智能等。1.跨媒体智能2.人机交互智能现代社会的信息传播方式已不再是单一的文字、图像、音频或视频等，而是多种形式相互融合，共同呈现，是跨媒体特性的集中表现。跨媒体数据在综合反映个体或群体行为信息的同时，也反映出此类信息数据关联复杂、多源异构等特征。相较于传统的文本类数据，多种数据统一表征尚具有较大难度。因此，跨媒体智能的核心任务即是针对复杂的多媒体数据，探索出可联合提取多种数据特征的综合方法，并进行识别与应用。人机交互认为人与机器的本质是共存关系，即beingtogether，人机交互智能便是人的智慧同机器的智能结合在一起。新一代人工智能研究内容人机交互智能续=>莫拉维克悖论认为：对计算机而言，实现逻辑推理等人类高级智慧只需要相对很少的计算能力，而实现感知、运动等低级智慧却需要巨大的计算资源。换言之，“困难的问题是简单的，简单的问题是困难的”。因而，计算机除去代替重复性脑力劳动外，通过基于海量数据集的算法训练达到与人类一般层面的沟通交流，便可为人类提供巨大的方便。但是某些高级智能如人类的“顿悟”、“创造力”等，则可完全发挥人独有的优势，两者共同解决生产生活中的各种问题。3.群体智能群体智能一般是指某些情况下，群体性的智能能超过群体中最优秀个体所表现的智能。人工群体智能是在互联网平台下自然地集合众多智慧的方法体现。以百科词条编辑为例，人人可编辑且并不强迫人人参与，但又能借互联网之手，汇集大众的智慧，使得各种词条释义不因个的局限而有失偏颇。对于用户而言，搜索关键词得到的百科词条解释，便是海量修改数据截至当前的呈现结果，实现知识共享。人工群体智能并不止于人与机器，还有机器与机器等共同完成智能任务。新一代人工智能研究内容互联网与物联技术真正使海量数据的采集存储变为现实，再结合新一代人工智能中的深度学习等技术方可真正实现各领域的“大数据智能”。4.大数据智能以“智能交通出行”为例，居民出行的方式有多种，但基本都会选择最快捷的出行方式，其中公共汽车也是众多选项之一。公交系统将每一辆运营中车辆的位置信息实时采集并显示于公交站台，可帮助居民及时进行合适交通工具的选择；同时，通过将后续时段的路段交通状况分析的具有高置信度的预测结果以APP等方式告知用户，更有利于用户的出行保障。以“智能船舶研究”为例，船舶是资产，它各方面的设计应尽可能满足用户需求。制造商可在母型船的基础上，与用户共同完成船只的定制化设计制造；并且在船只交付使用后，制造商通过持续采集船只航行过程中的船速、吃水等各种实时状态参数，并基于分析模型进行综合评估，可辅助船员完成对推进系统、导航系统等的操作管理，以及定期给出船体维保建议等。显然，大数据智能将在更多领域发挥重要作用。02新一代人工智能的基础算法深层神经网络DNN深层神经网络（DeepNeuralNetwork，DNN）算法可有效解决具有非线性或异或特征的分类、回归问题，它在原单层感知机模型基础上进行了多层变换和非线性变换，通过损失函数评价深层神经网络的分类、回归效果。1.多层变换【必要性】多层的思想源自心理学出身的GeoffreyHinton（被誉为“人工智能教父”）针对单层感知机提出的“分布式知识表达”的概念，源自大脑对于任何事物的记忆并非存储于单一的神经元，而是分布式地存在于巨大的神经元网络中。以钢片为例，假定有m种长度值和n种宽度值——若按单层感知机模型表达，则需要m×n个神经元参与才能将所有类型表达完全；若以分布式表达思想，通过2层神经元分别为m和n个神经元节点，则只需m+n个神经元，即可表达m×n种钢片类型；体现了线性增加的神经元数目可实现指数级增加的概念数目的巨大优势。深层神经网络DNN【实现过程】对于线性可分的二分类问题，只需要一个输入输出即可实现；对于线性不可分数据，则需进行多次二分类，使之变为线性可分；而通过隐层设置多个节点即构造多个二分类器，这便是隐层的物理意义所在。隐层数和每个隐层节点数的设置需要根据神经网络模型的训练效果进行调整，但在初次搭建模型时可按如下方法进行设置：（1）隐层数设置一般优先考虑设置1个隐层。因为增加隐层数尽管可降低模型误差，但也意味着模型复杂化，导致训练时间变长且更易出现过拟合现象，而单隐藏层对绝大多数问题也已够用。另外，为降低模型误差，通过增加隐层节点数比增加隐层更易实现，但对于高维输入数据样例，或许增加隐层数的效果更佳。深层神经网络DNN（2）隐层节点数设置

单层感知机模型只是将所有输入的加权和通过线性的激活函数得到模型结果，深度神经网络则是在加权和的基础上通过非线性的激活函数和偏置项（常数项）进行非线性变换，非线性激活函数作用于隐层和输出层的每一个节点。事实证明，非线性变换的使用使得复杂分类和回归的效果更加显著。2.非线性变换深层神经网络DNN

tanh函数图像3.损失函数以多分类问题为例，深层神经网络模型有n个输出节点即代表共有n个类别，当输入一个待测样例后，由于其最终只可能属于其中一个类别，故对于最终输出的n个概率值理论上只有一个接近1，而其他值接近0，这n个值即该样例输出的一个n维向量。此时则需通过损失函数对该n维向量进行评价，而基于Softmax回归方法的交叉熵便是一种常用的损失函数。

深层神经网络DNN

以一个三分类问题为例，建立其深层神经网络模型。深层神经网络DNN以一个三分类问题为例，建立其深层神经网络模型。三分类问题的深层神经网络原理图深层神经网络DNN以一个三分类问题为例，建立其深层神经网络模型。但若当前模型经损失函数评价后效果不佳，则还需进行修改，就需要通过“反向传播算法”对模型进行优化，“反向传播算法”是梯度下降算法与随机梯度下降算法的综合结果，它们的基础都是梯度下降算法。【梯度下降算法】若损失函数较大，即模型分类效果不理想，则通过该算法调整单个节点的权重值W，如此循环迭代直至损失函数值达到极小值，也因此若节点数过多，则利用该算法进行所有权重值的调整需要大量的训练时间，效率低下。【随机梯度下降算法】若采取随机梯度下降算法，即每一次的优化过程，只选择一项数据进行调整，而这尽管大大降低训练时间，却也显然无法保证模型整体的损失函数减小。反向传播算法综合两者优点，每次优化过程均只选部分数据进行权重调整，实现高质高效地优化网络模型。卷积神经网络CNN深层神经网络可解决复杂的非线性问题，但存在两大不足。1.在输入特征数增大到一定程度时会因计算量增加而使训练时间加长；2.无法确保在模型架构不变下对多维数据特征的识别保持不变性。卷积神经网络（ConvolutionalNeuralNetwork，CNN）在上述两方面体现出优越性；卷积神经网络模型一般由输入层、多个卷积层与池化层，以及全连接层和输出层组成。卷积神经网络CNN首先将输入的原始图片分解成部分重合的小图块；然后把每个小图块通过卷积和池化用于提取图片中人物的特征而忽略其他环境等无关要素；最后通过全连接层，即已建立的儿童分类器模型识别图中是否为一个儿童从而进行输出判断。以一张图片中儿童的识别（二维数据）为例。卷积神经网络CNN【一维数据与多维数据】一维数据：语音数据是时间维或频率维的一维数据；二维数据：图像数据因像素需要至少有“宽度×高度”两个维度，其中黑白图像在色彩通道只有一个灰度，因此为二维数据；三维数据：RGB图像有三个色彩通道，因此为三维数据；多维数据：视频数据在彩色图像基础上还有时间维度，因此为四维数据。1.输入层对于输入为多维数据的情况，深层神经网络仍将其展成一个一维向量，易出现相同特征在不同位置却无法始终都能识别的情况，卷积神经网络通过卷积层与池化层能有效解决这个问题。以一张图片中儿童的识别（二维数据）为例。卷积神经网络CNN卷积过程是将原始输入数据通过一块限定大小的局部区域对整个数据的基础特征依次进行扫描并得到高抽象程度的中间数据的过程，其中该局部区域称为卷积核，卷积核区域的输入节点经加权求和连接至下一层的一个节点。现假定有一组4×4的二维数据，并限定卷积核尺寸为2×2，则可得到一组3×3的二维数据。2.卷积层二维数据卷积过程原理图以一张图片中儿童的识别（二维数据）为例。卷积神经网络CNN

若对于三维数据的卷积，如4×4×3的数据，实质是三层4×4的二维数据，“3”代表该组数据的深度，其卷积表示卷积核圈定范围下的三层数据均通过加权求和连接到下一层的一个节点上，且该三层数据中每一层的权重配比各不相同。此外，卷积处理后的节点矩阵相较于原始数据，矩阵深度通常会增加；因此，卷积过程是一个令特征量更突出的过程，同时能够减小数据的计算量。以一张图片中儿童的识别（二维数据）为例。卷积神经网络CNN池化是进一步减小数据量的过程，并且保障有效识别信息不丢失,主要功能是剔去除主要提取特征以外的冗余信息，基本原理如下：假定本例中的儿童图像是对一张黑白图像的卷积过程，则池化即通过设置一个灰度下限值ξ_0（ξ_0∈[0，255]），将输出结果中值小于ξ_0的节点剔除，剩余数据则作为全连接层的输入数据，实现进一步减小数据量。3.池化层池化后的数据处理会像深层神经网络一样继续进行分类或回归问题的求解。以一张图片中儿童的识别（二维数据）为例。由此可见，卷积神经网络的卷积与池化过程类似于人类观察外部环境时，优先关注显眼的部分，体现主次之分，在保障效果的同时提高观察效率。所以卷积神经网络在语音、图像识别等领域中可发挥核心作用。循环神经网络RNN循环神经网络（RecurrentNeuralNetwork，RNN）算法主要擅长处理和预测时间序列相关的问题，而深层神经网络与卷积神经网络对于此类问题的处理效果并不好。在模型结构上，深层神经网络与卷积神经网络只是层与层之间进行正向的全连接或部分连接，而循环神经网络还进行节点间的反向连接。循环神经网络原理图循环神经网络RNN如需要翻译一句英文，同时输入该句的多个单词后启动翻译，模型的隐层首先对第一个单词翻译为汉字，该汉字一方面作为最终结果输出，另一方面在下一时刻与下一个单词共同作为输入，通过上下文情境实现更好地预测和翻译后续的内容，即通过历史消息辅助当前的决策。以中英文翻译为例。但是直接利用RNN进行基本的翻译工作时，容易产生另一个问题——假定该句翻译的正确答案为“某同学一度因为肥胖问题，尽管擅长举重，却在1000米跑步测试中成绩不佳，但坚持长期锻炼，如今举重依然优秀，跑步亦能取得良好。”从中不难发现，依据前半部分擅长举重自然可以预测后半部分的举重优秀；但若依旧参照因肥胖问题而跑步不佳来预测“跑步亦能取得”之后的词语，可能仍是“较差”等性质的评价，而事实上已转变为良好。这便需要一种机制来