人工智能的演进培训课件

人工智能的演进。内容简介:

电子计算机的发明不仅大大改变了人们的工作方式，同时也极大改变了人类的学习甚至生活方式。计算机科学研究的终极目标之一是实现与人类智能水平相当甚至更高的人工智能，其检验标准是图灵测试。目前我们离这一目标还很遥远。本报告介绍讨论人工智能的由来、进展和挑战性问题主讲人：

高文北京大学信息科学技术学院教授。中国工程院院士、ACM

Fellow、IEEE

Fellow。1991年获日本东京大学电子工程学博士。曾任国家八六三计划智能计算机主题专家组成员、组长，973项目首席科学家。曾任中国科学院计算技术研究所所长、中国科学技术大学副校长、中国科学院研究生院常务副院长。曾任第四届、第五届国务院学位委员会计算机科学技术学科评议组成员、计算机学报主编、IEEE

T-MM、IEEE

T-CSVT、SPIC、JVCIR、IEEE

T-IP等编委。是第十届、十一届、十二届全国政协委员。目前兼任国家自然科学基金委员会副主任、中国计算机学会理事长、全国信息技术标准化技术委员会多媒体技术分委员会主任委员、IEEE

1857（AVS）标准工作组组长、数字音视频编解码技术标准（AVS）工作组组长。1人工智能的演进。内容简介:电子计算机的发明不仅大大改变了人1人工智能的演进高

文北京大学人工智能的演进高文2目录3从AlphaGo谈起人工智能与Alan

Turing人工智能发展历程n 图灵测试n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo对人工智能发展的作用n 挑战与展望o 总结目录3从AlphaGo谈起目录4从AlphaGo谈起人工智能与Alan

Turing人工智能发展历程n 图灵测试n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo对人工智能发展的作用n 挑战与展望4. 总结目录4从AlphaGo谈起AlphaGo

5：0战胜欧洲冠军樊麾2段。樊麾出生于中国西安，曾入国家少年队，后入籍法国，曾获欧洲围棋冠军，目前是法国国家围棋队总教练。October5–9,

2015<Official

match>- Timelimit:1

hourAlphaGo，AI重要里程碑AlphaGo5：0战胜欧洲冠军樊麾2段。樊麾出生于中5AlphaGo，AI重要里程碑AlphaGo战胜世界冠军李世石9段。李世石，被认为是过去十年间韩国最强棋手。March9–15,

2016<Official

match>- Timelimit:2

hoursVenue:Seoul,Four

SeasonsHotelAlphaGo，AI重要里程碑AlphaGo战胜世界冠军李6ComputerGo

AI?2016年1月28日，《自然》

在AlghaGo与李世石开赛前，刊登封面文章David

Silver，

黄世杰（Aja

Huang），DemisHassabis用深层卷积神v经s.网络来缩小传统蒙特卡洛树搜索的广度和深度，以挑选最佳招数。作者来自GoogleComputerGoAI?2016年1月28日，《自然7AINext

Step？Science2015年12月12日发表封面文章《

Human-levelconceptlearningthroughprobabilistic

programinduction

》提出利用贝叶斯的小样本学习方法作者来自MIT、纽约大学和多伦多大学8AINextStep？Science2015年12月12人工智能的三个派别9o 逻辑主义（符号主义）n 符号推理与机器推理n 奠基人：西蒙（CMU）o 连接主义n 神经元网络与深度学习n 奠基人：明斯基（MIT）o 行为主义n 控制、自适应与进化计算n 奠基人：维纳（MIT）人工智能的三个派别9o 逻辑主义（符号主义）AI时代真的到来了吗？10o Yes/Non Yes，如果你仅仅期望计算机能够比以往做得更多更好n No，如果你认为从此开始，人类就是计算机的败将了逻辑主义大行其道30年，又沉寂了30年连接主义发育成长了50多年，现在正当年行为主义发育较慢，尚处于幼年AI时代真的到来了吗？10o Yes/No目录11从AlphaGo谈起人工智能与Alan

Turing人工智能发展历程n 图灵测试n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo对人工智能发展的作用n 挑战与展望4. 总结目录11从AlphaGo谈起人类为什么做计算机？12o 进化的需要n 约150万年前，人类开始用火。火的使用是人类文化进化的关键转折点n 约1.8万年前，新石器时代，人类开始种植、畜牧、纺织，人类社会进入农业社会n 18世纪中叶，蒸汽机的发明，开启了工业革命，人类社会进入工业化时代n 20世纪中叶，计算机的出现，使我们进入了信息化社会人类为什么做计算机？12o 进化的需要人类为什么做计算机？131946年，第一台全自动电子数字计算机ENIAC（ElectronicNumericalIntegratorand

Calculator）在美国研制完成，用于计算弹道1954年,第一台通用数据处理机IBM650诞生，用于商业数据处理1964年,

IBM360系列制成，用于军事计算或商业数据处理军事用途，是计算机发展的第一动力事务处理，是计算机发展普及的根本动力人工智能，是计算机发展的最高挑战人类为什么做计算机？131946年，第一台全自动电子数字计算何谓智能14智力或知能n

是指生物一般性的精神能力。这个能力包括以下几点：理解、计划、解决问题，抽象思维，表达意念以及语言和学习的能力。智力三因素理论（RobertSternberg）n 成分性智力（componential

intelligence），指思维和问题解决等所依赖的心理过程n 经验智力（experiential

intelligence），指人们在两种极端情况下处理问题的能力：新异的或常规的问题n

情境智力（contextual

intelligence）反映，在对日常事物的处理上。它包括对新的和不同环境的适应，选择合适的环境以及有效地改变环境以适应你的需要何谓智能14智力或知能多元智能理论15由哈佛大学心理学家加德纳创立，著作：Framesof

Mind逻辑

(logical)语言文字

(linguistic)空间

(spatial)音乐

(musical)肢体运作

(kinesthetic)内省

(intra-personal)人际

(inter-personal)（这里可以指家庭比较好些）自然探索

(naturalist)图形图像

(Graphics)多元智能理论15由哈佛大学心理学家加德纳创立，著作：何谓人工智能16人工智能（ArtificialIntelligence,AI）n

也称作机器智能，是指由人工制造出来的系统所表现出来的智能。通常人工智能是指通过普通计算机实现的智能。人工智能研究n

主要研究内容包括认知建模、知识表示、推理及应用、机器感知、机器思维、机器学习、机器行为和智能系统等n

研究动机包括推理，知识，规划，学习，交流，感知，移动和操作物体的能力等。n

目前有大量人工智能应用系统，其中包括搜索和数学优化，逻辑，基于概率论和经济学的方法等。何谓人工智能16人工智能（ArtificialIntellAlan

TuringusMathison

Turing）n 计算机科学之父n 人工智能之父n 1912.6.23-1954.6.7n 父亲朱利斯·麦席森·图灵（Juli英属印度公务员。n

1911年，图灵的母亲Ethel在印度的Chatrapur怀孕。他们希望艾伦在英国出生，所以回到伦敦，住在帕丁顿（Paddington）。Alan出生于伦敦。n 由于担心印度的气候不利于儿童成长，父母把家庭留在英伦与朋友同住。养成了图灵的性格。n

图灵很小的时候就表现出他的天才，据说他在三个星期里自己学会阅读。而且，从小就对数字和智力游戏着迷。17AlanTuringusMathisonTuring）Alan的孩童和年轻时代186岁的时候，他的父母为他在一间叫圣迈克尔的（St.Michael's）学校注了册。校长很快就注意到他的天才，随后Marlborough学院的许多教育家也注意到这点。14岁的时候，转到在多塞特郡（Dorset）的Sherborne寄宿学校。图灵天生对科学的喜好并没有给他在Sherborne的老师留下好印象。他们对教育的定义是着重于人文学科而不是科学。虽然如此，图灵继续在他喜欢的学科表现出惊人的能力，还没有学过基础微积分的他，就已经能够解答以他年纪来说算是很高深的难题。16岁的时候，开始阅读阿尔伯特·爱因斯坦的著作。他不但能够理解，而且看出了爱因斯坦理论与牛顿力学不相符合，即使爱因斯坦的著作中并没有明白指出这点。Alan的孩童和年轻时代186岁的时候，他的父母为他在一间叫Alan大学和研究生时代191931年，考入剑桥大学国王学院。1934年他以优异成绩毕业。1935年因中心极限定理论文当选为国王学院Fellow1936年，他的论文《论可计算数及其在判定问题上的应用》（OnComputableNumbers,withanApplicationto

theEntscheidungsproblem，）发表。他对哥德尔1931年证明和计算的限制的结果作了重新论述，他用有限状态自动机（也称图灵机）的简单形式设备代替了哥德尔的以通用算术为基础的形式语言。图灵证明了图灵机有能力解决任何可想像的数学难题，如果这些难题是用一种算法来表达。图灵机的最大贡献是奠定了今天电子计算机的理论基础：由0和1组成的有限状态自动机演算，以及电子计算机的体系结构：处理器、存储器、输入输出设备在普林斯顿大学度过了1937年和1938年的大部分时间。1938年，他取得了博士学位。他的论文研究了超计算（hypercomputation）的概念，在图灵机加上了预言机，让研究图灵机无法解的问题变得可能Alan大学和研究生时代191931年，考入剑桥大学国王学院密码破译1938-1945，参加英国Bletchley

Park密码破译团队但是德国的潜艇经常袭击英国战略物资运输船队，德国使用了由机器生成密码的技术，可以产生1500万种以上的组合图灵设计了可以破译上述密码的算法，主要思想利用统计方法优化处理过程，有效减小搜索空间，为二战胜利做了贡献他的上述成果一直保密，直到完成70多年以后，2012年百岁诞辰时才公开Turing–Welchmanbombe20密码破译1938-1945，参加英国BletchleyPa二战以后的研究兴趣211945年到1948年，图灵在英国国家物理实验室工作，负责自动计算引擎（ACE）的工作

。1949年，他成为曼彻斯特大学计算机实验室的副主任，负责最早的电子计算机--曼彻斯特一号的软件工作。在这段时间，他继续作一些比较抽象的研究，如“计算机械和智能”。图灵在对人工智能的研究中，提出了一个叫做图灵测试（Turing

test）的实验，尝试定出一个决定机器是否有感觉的标准。1952年，图灵写了一个国际象棋程序。可是，当时没有一台计算机有足够的运算能力去执行这个程序，他就模仿计算机，每走一步要用半小时。他与一位同事下了一盘，结果程序输了。二战以后的研究兴趣211945年到1948年，图灵在英国国家二战以后的研究兴趣22从1952年直到去世，图灵一直在生物数学方面做研究。他在1952年发表了一篇论文《形态发生的化学基础》（The

Chemical

Basisof

Morphogenesis）。他主要的兴趣是斐波那契叶串行，存在于植物结构的斐波那契数。他应用了反应-扩散公式，现在已经成为图案形成范畴的核心。他后期的论文都没有发表，一直等到1992年《艾伦·图灵选集》出版，这些文章才见天日。二战以后的研究兴趣22从1952年直到去世，图灵一直在生物数判罪受罚23图灵中学时代有一位挚友Christopher

Morcom，极为聪明，爱好天文学，图灵对他极为崇拜。1930年，Chris因为不慎饮用感染病毒的牛奶而去世。图灵悲痛欲绝，立志帮他完成想做的事情。这段经历使他形成了同性恋倾向。1952年，他的同性伴侣的熟人在图灵的房子盗窃，他丢失了父亲送给他的手表，图灵为此而报警。英国警方调查后判他流氓罪。他没有申辩，被定罪。公审后，他被给予了两个选择：坐牢或女性荷尔蒙注射“疗法”（即化学阉割）。他最后选择了后者，持续一年。在这段时间里，他对政府极度失望，加上药物的作用使他身体发生变化，大脑思维缓慢，图灵的身心受到极大伤害。判罪受罚23图灵中学时代有一位挚友ChristopherM英年早逝o 1954年6月8日，图灵被发现去世，原因是食用了浸过氰化物溶液的半个苹果。24英年早逝o 1954年6月8日，图灵被发现去世，原因是食用罪名赦免252009年9月10日，一份超过3万人的请愿签名，使英国首相戈登·布朗在《每日电讯报》撰文，因为英国政府当年以同性恋相关罪名起诉图灵并定罪，导致他自杀身亡，正式向艾伦·图灵公开道歉2012年，有21000多人签名请愿，要求英国政府追授图灵死后赦免状，但被当局拒绝。英国上议院的麦克纳利勋爵解释说，死后赦免状是不合适的，因为图灵是根据当时的法律被定罪2013年12月24日，英国司法大臣宣布英国女王伊丽莎白二世赦免1952年因同性恋行为被定罪的艾伦·图灵罪名赦免252009年9月10日，一份超过3万人的请愿签名，苹果故事的继续o 苹果公司的Logo和图灵的苹果有关吗？n Itisn’ttrue,butGod,we

wishitwere.–Steve

Jobs26苹果故事的继续o 苹果公司的Logo和图灵的苹果有关吗？226苹果故事的继续o Tim

Cookn Steve

Jobs的接班人n

2014年10月30日，《商业周刊》网站发表文章27苹果故事的继续o TimCook27图灵奖28被称为是计算机领域的诺贝尔奖1966年，由ACM（Association

for

ComputingMachinery

，1947年成立，总部纽约）学会设立每年1-3名获奖人迄今为止，共有60余人获奖华人获奖者：姚期智n 2000年，Inrecognitionofhisfundamentalcontributionstothe

theoryofcomputation,includingthecomplexity-basedtheoryof

pseudorandomnumbergeneration,

cryptography,and

communicationcomplexity.图灵奖28被称为是计算机领域的诺贝尔奖图灵奖与人工智能Minsky,Marvin

(1969)，MITMcCarthy,

John

(1971)，斯坦福大学Newell,Allen

(1975)，CMUSimon,Herbert(“Herb”)Alexander

(1975)，CMUFeigenbaum,

Edward

A(“Ed”)

(1994)，斯坦福大学Reddy,DabbalaRajagopal(“Raj”)

(1994)，CMUValiant,

Leslie

Gabriel

(2010)，哈佛大学，机器学习与神经计算理论Pearl,Judea

(2010)，UCLA，概率计算与因果推理图灵奖与人工智能Minsky,Marvin(1969)，29目录从AlphaGo谈起人工智能与Alan

Turing人工智能发展历程n 图灵测试n 人工智能第一次浪潮（1956-1976）n 人工智能第二次浪潮（1976-2006）n 人工智能第三次浪潮（2006-至今）n AlphaGo对人工智能发展的作用n 挑战与展望4. 小结30目录从AlphaGo谈起3030图灵测试o 图灵测试（Turing

Test）n 计算机具有智能的判据p 让一台计算机器和一个人参与测试p

提问人无法通过非智能特征（例如语音语调）区分人和机器p

如果测试结束后人不能判断哪个是人，哪个是机器，则可以认为该计算机器具有智能31图灵测试o 图灵测试（TuringTest）3131人工智能起源32o 两个标志性基石n 图灵测试。n

香农信息论，引入了语义无关的假设，以熵作为信息量的测量，使得传统的数据处理转向信息处理。统计方法成为研究主流。人工智能起源32o 两个标志性基石人工智能发展里程碑33年代20世纪40年代20世纪50年代20世纪60年代20世纪70年代20世纪80年代20世纪90年代计算机1945

计算机（ENIAC）1957FORTRAN语言人工智能研究1953

博弈论1956

达特矛斯会议1977

知识工程（英语：Knowledge

engineering）宣言1982

第五代电脑计划开始1991

人工神经网络人工智能语言1960

LISP语言1973

PROLOG语言知识表达1973

生产系统1976

框架理论专家系统1965DENDRAL（英语：Dendral）1975

MYCIN（英语：Mycin1980

Xcon人工智能发展里程碑33年代20世纪40年代20世纪50年代21976）34基于规则的产生式系统=》功能系统领头羊n 斯坦福大学n CMUn MIT、IBMn 哈佛大学o

标志性基石：在统计方法中引入符号方法进行语义处理，出现了基于知识的方法，人机交互开始成为可能。1976）34基于规则的产生式系统=》功能系统达特茅斯会议暑期会议351956年夏天，在Dartmouth大学，由JohnMcKarthy、Marvin

Minsky,

Nathaniel

Rochester、Claude

Shannon联合发起为期2个月，10人，讨论研究人工智能问题其他参加人包括：n RaySolomonoff,

OliverSelfridge

(MIT)

n TrenchardMore,

ArthurSamuel

(IBM)

n HerbertA.Simon,

AllenNewell

(CMU)提出人工智能定义n 使一部机器的的反应方式就像是一个人在行动时所依据的智能达特茅斯会议暑期会议351956年夏天，在Dartmouth人工智能的优秀研究者o HerbertAlexander

Simonn 1916-2001年n

1936年，芝加哥大学本科n

1943年，芝加哥大学博士n

1949-2001年，CMU教授n 1967年，NAS院士n 1975年，ACMTuringAwardp “basiccontributionstoartificialintelligence,thepsychologyofhumancognition,andlist

processing”n 1978年，Nobel

Prize

inEconomicsn 1986年，美国国家科学奖n 贡献：LogicTheory

Machine、GeneralProblemSolver、Boundedrationality36人工智能的优秀研究者o HerbertAlexander人工智能的优秀研究者o

AllenNewelln 1927-1992年n 1949年，斯坦福大学本科n 1952年，CMU博士（导师H

ASimon）n 1972年，NAS院士n 1975年，

ACMTuringAwardp fortheirbasiccontributionstoartificialintelligenceandthepsychologyofhuman

cognitionn 1992年，美国国家科学奖n 贡献：Information

Processing

Language、Soar人工智能的优秀研究者oAllenNewell37人工智能的优秀研究者o

JohnMcCarthyn 1927.09.04-2011.10.24n 1948年，CalTech本科n 1951年，普林斯顿博士n 1962-2000，斯坦福大学教授n 1971年，

ACMTuringAwardn NAE院士（1987），NAS院士（1989）n 1990年，美国国家科学奖n 贡献：Artificialintelligence;

Lisp;

Circumscription;Situationcalculus人工智能的优秀研究者oJohnMcCarthy38人工智能的优秀研究者o Marvin

Minskyn 1927.08.09–

2016.01.24n

1950年，哈佛大学本科n

1954年，普林斯顿博士n

1958年-，MIT教授n NAE院士，NAS院士n 1969年，

ACMTuringAwardp Forhiscentralroleincreating,shaping,promoting,andadvancingthefieldofArtificial

Intelligence人工智能的优秀研究者o MarvinMinsky39克劳德·香农

(Claude

Shannon)信息论创始人克劳德·香农

(Claude

Shannon)也被麦卡锡邀请参加了达特茅斯会议。当时已是贝尔实验室的资深学者。香农的硕士和博士论文都是关于如何实现布尔代数方面的，由当时麻省理工学院校长布什(Bush)

亲自指导。博士毕业后香农去了普林斯顿高等研究院，曾和爱因斯坦、哥德尔、外尔

(Weyl)等共事。战争中，他一直在贝尔实验室做密码学工作，阿兰·图灵

(Alan

Turing)

在

1943

年曾秘访美国，和同行交流破解德国密码的经验，期间和香农曾有会晤，一起聊过通用图灵机。战后香农去英国还回访过图灵，一起讨论计算机下棋的问题。香农内向，以前从没说过这段往事，直到

1982

年接受一次采访时才提起。1950

年，香农在《科学美国人》发表过一篇关于计算机下棋的文章。40克劳德·香农(ClaudeShannon)信息论创始人克40AI领域著名预言o 1958年，Simon

&

Newelln 十年内，计算机将成为国际象棋冠军n 十年内，计算机将发现和证明有意义的数学定理n 十年内，计算机将能谱写优美的乐曲n 十年内，计算机将能实现大多数的心理学理论41AI领域著名预言o 1958年，Simon&Newell41Selfridge)1955

年,

洛杉矶,

美国西部计算机联合大会

(WesternJointComputer

Conference),“学习机讨论会”(SessiononLearningMachine)。讨论会的参加者中有两个人参加了第二年的达特茅斯会议n 奥利弗·赛弗里奇

(Oliver

Selfridge),

维纳最喜欢的学生n 艾伦·纽厄尔

(Alan

Newell)赛弗里奇发表了一篇关于模式识别的文章，而纽厄尔则探讨了计算机是否能下棋。他们分别代表两派观点。讨论会的主持人是神经网络的鼻祖之一皮茨

(Pitts)，他最后总结时说“

（一派人）企图模拟神经系统，而纽厄尔则企图模拟心智⋯ ⋯ 但殊途同归”这预示了随后的几十年人工智能关于“结构与功能”两条路线的”斗争”。42Selfridge)1955年,洛杉矶,美国西部计算机42克劳德·香农

(Claude

Shannon)信息论创始人克劳德·香农

(Claude

Shannon)也被麦卡锡邀请参加了达特茅斯会议。当时已是贝尔实验室的资深学者。香农的硕士和博士论文都是关于如何实现布尔代数方面的，由当时麻省理工学院校长布什(Bush)

亲自指导。博士毕业后香农去了普林斯顿高等研究院，曾和爱因斯坦、哥德尔、外尔

(Weyl)等共事。战争中，他一直在贝尔实验室做密码学工作，阿兰·图灵

(Alan

Turing)

在

1943

年曾秘访美国，和同行交流破解德国密码的经验，期间和香农曾有会晤，一起聊过通用图灵机。战后香农去英国还回访过图灵，一起讨论计算机下棋的问题。香农内向，以前从没说过这段往事，直到

1982

年接受一次采访时才提起。1950

年，香农在《科学美国人》发表过一篇关于计算机下棋的文章。43克劳德·香农(ClaudeShannon)信息论创始人克43人工智能第一次浪潮的特点44o 结构与功能n 功能主义占主流人工智能第一次浪潮的特点44o 结构与功能这一时期的主要进展45o 定理证明n 1956年，CMU的LT程序证明了数学家罗素（Russel）所著《数学原理》第二章的38条定理n 1959年，洛克菲勒大学教授王浩使用“王算法”，证明了《数学原理》全部350条定理n 1963年，CMU改进的LT程序证明了《数学原理》第二章全部52条定理，该程序其后被改进成GPS逻辑程序语言n Prolog产生式系统n 一个综合DB

+

一组产生式规则

+

一个控制系统n 研究重点p 规则表达、规则生成、谓词演算、知识获取、...p 搜索算法、启发式策略、…这一时期的主要进展45o 定理证明第一次论战461976年前后，由于四大预言实现遥遥无期，关于人工智能方法论的争论风声渐紧1977年，曾是Simon研究生的Feigenbaum提出知识工程的概念，1981年，日本提出第五代计算所研究计划，延续第一次浪潮的基本思路1960年代中后期，Minsky发表perceptrons，提出用神经元网络仿真人工智能1979年，

Minsky发表“K-lines:A

TheoryofMemory”第一次论战461976年前后，由于四大预言实现遥遥无期，关人工智能的优秀研究者o EdwardA("Ed")

Feigenbaumn 1936-n 1956年，CMU本科n 1960年，CMU博士n 1965-2000年，斯坦福大学教授n NAE院士（1986）n 1994年，

ACMTuringAwardp Forpioneeringthedesignandconstructionoflargescaleartificialintelligencesystems,demonstratingthepracticalimportanceandpotentialcommercialimpactofartificialintelligence

technology人工智能的优秀研究者o EdwardA("Ed")Fe47人工智能的优秀研究者o DabbalaRajagopal

("Raj")Reddyn 1937年，出生于印度n 1958年，印度Anne大学本科n 1966年，斯坦福大学博士n 1969年-，CMU教授n NAE院士（1984）n 中国工程院、中国科学院外籍院士n ACMTuringAward(1994)p “Forpioneeringthedesignandconstructionoflargescaleartificialintelligence

systems”48人工智能的优秀研究者o DabbalaRajagopal2006）49人工神经元网络1975年，PaulWerbos提出了backpropagationalgorithm（BP算法），使得多层人工神经元网络的学习变为可能1978年，甘利俊一出版《神经元网络的数理》1983年，Les

Valiant发表“A

theory

of

thelearnable,”AI神经元网络方法（Neural

Network

Approachto

AI）2006）49人工神经元网络人工智能与控制论ArtificialIntelligence/artificial

intelligenceCybernetics/cybernetics199050200019801960

1970AICybernetics人工智能与控制论ArtificialIntelligenc人体的神经系统CNSprocessesinformationandgeneratesbehavioral

planPNSsensoryneuronscollect

informationPNSmotorneuronsrelaybehavioralplanto

musclesThenervoussystem

hasthreefunctions:1.Collect

information2.Processinformation3.Generate

behavior[MarkGlucketal,LearningandMemory,2007

]人体的神经系统CNSprocessesinformati51突触连接的可塑性lTherearemanydifferent

neurotransmitters.lEachtransmitterhasseveraldifferent

receptors.lTheprecisemessagedependsonthespecifictransmitter

andthespecificreceptor,somanydifferentmessagesarepossible.[MarkGlucketal,LearningandMemory,2007

]突触连接的可塑性lTherearemanydiffer52大脑皮层的功能区lFrontal

lobes(额叶)

–

planning

and

performing

complex

actionslParietallobes(顶叶)–touch,feeling,senseofspacelOccipitallobes(枕叶)–visionlTemporallobes(颞叶)–hearingandtemporalprocessing[MarkGlucketal,LearningandMemory,2007

]大脑皮层的功能区lFrontallobes(额叶)–p53视觉信息处理的多通道和深层学习结构Where

通路What

通路视点视点视觉信息处理的多通道和深层学习结构Where通路What54视觉信息处理的多通道和深层学习结构[NorbertKrügeretal,PAMI2013]视觉信息处理的多通道和深层学习结构[NorbertKrü55视觉信息处理的多通道和深层学习结构视觉信息处理的多通道和深层学习结构56聚类模型-自组织映射神经网络(Self-Organization

Map,

SOM)SOM[T.Kohonen,

SCIP’1981]W0

W1W0’=W0+αW1,W1’=W1+

αW0+ +输出层有横向连接的神经元把各自代表的数据相互拉近聚类模型-自组织映射神经网络(Self-Organizati57感知机(Perceptron,

1957)1Rosenblatt,Frank(1957),ThePerceptron--aperceivingandrecognizingautomaton.Report85-460-1,CornellAeronautical

Laboratory.l

线性分类模型l

使用差量法(Delta

Rule)进行学习，在数据线性可分时可以证明收敛偏置输出层y输入层xW,b2ii 2minLoss

||

t

y

||iwji (t

j

y

j

)xi1 wx

b

0otherwisey

0感知机(Perceptron,1957)1Rosenbla58误差反传网络(Back

Propagation

Net,

1986)McClellandJL,RumelhartDE,PDPResearchGroup.Paralleldistributedprocessing[J].Explorationsinthemicrostructureofcognition,1986,2.1偏置输出层yR,c隐含层h1W,b输入层xh(Wx

b)y(Rh

c)2ii 2iminLoss

||

t

y

||Loss

Loss

y hW y h

Wl

引入隐含层，可以进行非线性分类l

理论上不限制隐含层个数的情况下可以拟合任意平滑曲线l

使用误差反传算法进行快速学习误差反传网络(BackPropagationNet,159支持向量机(Support

Vector

Machine,

1995)Cortes,C.;Vapnik,V.(1995)."Support-vectornetworks".MachineLearning20(3):

73.1偏置输出层yw,b核映射层hl

约束分类器获取类间最大Margin，推广性能良好l

利用核函数处理非线性分类问题hi

(x,

ki)输入层x22min12||w

||w.r.t t(wh

b)

1y

wh

by>1y<-1y=022||w

||2Margin支持向量支持向量机(SupportVectorMachine,60人工智能第二次浪潮的特点61o 结构与功能n 结构主义占优势人工智能第二次浪潮的特点61o 结构与功能第三次浪潮（2006-至今）o 基于互联网大数据的深度学习62第三次浪潮（2006-至今）o 基于互联网大数据的深度学习6人类大脑基本信息n 1.4-1.5公斤，占体重2%n 功耗：20W，占人体的20%大脑皮层：意识与信息处理n 神经元数~100B

（100

/

200

/1000亿）n 水平分功能区。区内密集连接，区间有侧连接n 纵向分层6层。成柱(1~2M个)，每柱10K个神经元n 每个神经元通过1000-10000突触与其他神经元相联n 突触总数~100T

（60

/150

/240

T）n 初级视皮层v1所在Brodmann

17区突触1~2Tn 神经元的放电频率为200Hzo 新皮层的计算能力估计n 人脑：100B突触×200Hz

=

20

P/s

@20W

n 天河2号：33.86

pfs @18×106W/chudler/facts.html#brain人类大脑基本信息63何谓机器学习AcomputerprogramissaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperience

E“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。“机器学习是对能通过经验自动改进的计算机算法的研究”。“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”64何谓机器学习Acomputerprogramissa64机器学习的分类监督学习从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类。无监督学习与监督学习相比，训练集没有人为标注的结果。常见的无监督学习算法有聚类。半监督学习介于监督学习与无监督学习之间。增强学习通过观察来学习做成如何的动作。每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。65机器学习的分类监督学习从给定的训练数据集中学习出一个函数，65机器学习算法o 构造条件概率：回归分析和统计分类n 人工神经网络n 决策树（Decision

tree）n 高斯过程回归n 线性判别分析n 最近邻居法n 感知器n 径向基函数核n 支持向量机o 通过再生模型构造概率密度函数（Probabilitydensityfunction）：n 最大期望算法（Expectation-maximizationalgorithm）n graphical

model：包括贝叶斯网和Markov随机场n GenerativeTopographic

Mappingo 近似推断技术n 马尔可夫链（Markov

chain）蒙特卡罗方法n 变分法o 最优化（Optimization）66机器学习算法o 构造条件概率：回归分析和统计分类66AIo

DeepBluebeatsKasparov(1997)n WonFredkin

Prizen NewellmedalsforGreenblatt,Berliner,Thompson,

etcp EssentialsteppingstonesforDeepBlue

SuccessAIoDeepBluebeatsKasparov(671997ChessWorldChampionTeam(TopImage)andChessPioneers(BottomImage)withFredkinandReddyTopImage:RajReddy,MurrayCampbell,CBHsu,andJosephHoaneJr.,Ed

FredkinBottomImage:MurrayCampbell,JoeCondon,RajReddy,KenThompson,CBHsu,RichardGreenblatt,LarryAtkin,HansBerliner,DavidSlate,AndreasNowatzyk,ThomasAnantharaman,GordonGoetsch,EdFredkin,JosephHoane

Jr1997ChessWorldChampionTeam68AIo MachineTranslation:GoogleTranslate

(2006+)n Tolerabletranslationamong60+

languagesn Deemedimpossible10years

agon RankedNo1inNISTevaluationin

2009n Accesstoverylargedatasetskey,notjust

statisticsAIo MachineTranslation:Googl69Jeoperdyo Feb.2011,withtwolastchampionsKenand

Brad70Jeoperdyo Feb.2011,withtwo）71o 非确定性信息处理与贝叶斯网络n 以知识处理为核心的人工智能研究，常常遭遇非确定性难题n 以神经元网络为主的感知与识别系统，也会常常遭遇识别率天花板n 1984年，Judea

Peral

发表了启发式搜索的论文：Heuristics:IntelligentSearchStrategiesforComputerProblemSolving，n 1985年，Judea

Peral

提出贝叶斯网络概念o AI概率方法（ProbabilisticApproachto

AI））71o 非确定性信息处理与贝叶斯网络人工智能的优秀研究者本科士o LeslieGabriel

Valiantn 1949-n 1970年，King’s

College,

Cambridge

n 1974年，University

of

Warwick博n 1982年-，哈佛大学教授n NAS院士（2001）n 2010，

ACMTuringAwardp Fortransformativecontributionstothetheoryofcomputation,includingthetheoryofprobablyapproximatelycorrect(PAC)learning,thecomplexityofenumerationandofalgebraiccomputation,andthetheoryofparallelanddistributed

computing人工智能的优秀研究者本科o LeslieGabrielV72人工智能的优秀研究者o Judea

Pearln 1936-n 1960年，Technion本科n

1965年，PIB@NY博士n 1969年-，UCLA教授n NAE院士（1995）n 2010，

ACMTuringAwardp Forfundamentalcontributionstoartificialintelligencethroughthedevelopmentofacalculusforprobabilisticandcausal

reasoning人工智能的优秀研究者o JudeaPearl7319601986（1975）2006感知机误差反传网络深度网络线性模型非线性非线性无解过拟合判别式无法学习深层生成式深度学习发展历程19601986（1975）2006感知机误差反传网络深度网7420062010(1989)2013深度网络判别式生成式深度卷积网络DropOut、DropConnect卷积网络过拟合无法利用图像先验卷积DropOutDropConnect深度学习发展历程20062010(1989)2013深度网络判别式生成式深度75)★海量图像识别l

ImageNet(1000类图像120+30万张)l

2010:72%l

2011:74%l

2013:85%(11%(CNN)深度学习重大标志性进展-图像识别)★海量图像识别深度学习重大标志性进展-图像识别76★

手写数字识别l

MNIST(10类图像6+1万张)l

Human:99.8%l

2013:99.79%(CNN-DropConnect)深度学习重大标志性进展-字符识别★手写数字识别深度学习重大标志性进展-字符识别7720092012★

语音识别

87.7%(深度)深度学习重大标志性进展-语音识别2009★语音识别87.7%(深度)深度学习重大标志性进78深度学习方法分类o 非监督特征学习n Deep

Belief

Networks

(DBN,

深度信念网络，Hinton2006)n Deep

Auto-Encoder(DAE,

深度自编码机,Bengio

etal

2010)n DeepBoltzmannMachine

(DBM,深度玻耳兹曼机)o 全监督分类识别n Convolutional

Neural

Networks

(CNN,卷积神经网络，LeCun1989)n DeepConvexNetwork(DCN,深度凸网络)n DeepStackingNetwork(DSN,

深度堆叠网络)深度学习方法分类o 非监督特征学习79}}}}DBN/DBM/DAE(深度信念网络,

深度玻耳兹曼机,

深度自编码机)紧致投影(判别式)数据重构(产生式)非监督深度学习构造模块：双层全连接网络(RBM,Auto-Encoder)}紧致投影数据重构非监督深度学习80误差反响传播(BP)层间施加局部连接先验，代替非监督学习卷积神经网络

(CNN)

[

Y.

LeCun,

et

al.,

Neural

Computation

1989

]监督性深度学习误差反响传播(BP)层间施加局部连接先验，代替非监督学习81卷积神经网络

(Convolutional

Neural

Net)非监督学习+监督学习卷积核 CIFAR-10,

Conv-AutoEncoder卷积核 Kyoto自然图像数据库,

Conv-RBM监督性深度学习-CNN卷积神经网络(ConvolutionalNeuralN82深度堆叠网络

(Deep

Stacking

Network)CELMCELMCELM…j

1l

1X

j

(X1

Wl

Ol)O1O2OLXLX1X2n构造单元:CELM[Vinyals,etal.,NIPS’

2012]监督性深度学习-DSN深度堆叠网络(DeepStackingNetwork)83深度堆叠网络

(Deep

Stacking

Network)原始数据第10层第20层监督性深度学习-DSN第21层第23层第22层深度堆叠网络(DeepStackingNetwork)84深度堆叠网络

(Deep

Stacking

Network)第24层第25层第26层监督性深度学习-DSN第27层第29层第28层深度堆叠网络(DeepStackingNetwork)85深度堆叠网络

(Deep

Stacking

Network)第35层第36层第37层监督性深度学习-DSN第50层深度堆叠网络(DeepStackingNetwork)86谷歌大脑

（Google

Brain）无标注样本谷歌大脑人脸、猫脸非监督学习神经元筛选最大的神经网络典型应用谷歌图像搜索谷歌语音谷歌眼镜谷歌自驾车谷歌大脑（GoogleBrain）无标注样本谷歌大脑人脸87Facebook人脸识别

（Deep

Face）人脸三维对齐8层卷积网络学习LFW数据库97.25%准确率，接近人类的97.53%！YTF数据库91.4%准确率典型应用Facebook人脸识别（DeepFace）人脸三维对齐88微软语音识别、翻译&合成l

2012.10.25

在中国天津首秀l

实时语音识别、语言翻译和语音合成l

误差下降10%~20%,

提速30%l Deep+HMM典型应用微软语音识别、翻译&合成l2012.10.25在中国天津89苹果SIRI使用深度学习技术辅助语音识别与自然语言理解细节不明典型应用苹果SIRI使用深度学习技术辅助语音识别与自然语言理解典型应90百度图片内容搜索、广告投放、为你写诗、百度翻译使用深度学习技术进行学习（CNN、深度条件随机场?）典型应用百度图片内容搜索、广告投放、为你写诗、百度翻译使用深度学习技91AlphaGo对人工智能发展的作用好处：获得全社会的关注，将可变现成成丰富研究的资源坏处：给人们的预期值太高92AlphaGo对人工智能发展的作用好处：获得全社会的关注，将92Definition00000000000000000000000010

0000000000000000000000000000000000000000000000(e.g.wecanrepresenttheboardintoamatrix--likeform)s

(state)d=

1=*Theactualmodelusesotherfeaturesthanboardpositionsas

wellDefinition000000000s(93Definitions

(state)d=

1d=

2a

(action)Givens,pickthebest

aComputer

GoArtificialIntelligencesas'Definitions(state)d=1d=2a94ComputerGoAI–

AnImplementation

Idea?d=

1d=

2…Howaboutsimulatingallpossibleboard

positions?ComputerGoAI–AnImplementat95ComputerGoAI–

AnImplementation

Idea?d

=

1 d=

2d=

3……………ComputerGoAI–AnImplementat96d

=

1 d=

2d=

3………………d=

maxDProcessthesimulationuntil

thegame

ends, thenreportwin/loseresultsComputerGoAI–AnImplementationIdea?d=1 d=2d=3…………d=maxDPr97d

=

1 d=

2d=

3………………d=

maxDProcessthesimulationuntil

thegame

ends, thenreportwin/loseresultse.g.itwins13timesifthenextstonegetsplaced

here37,839

times431,320

timesChoosethe“nextaction/

stone”thathasthemostwin---countsinthe

full---scale

simulationComputerGoAI–AnImplementationIdea?d=1 d=2d=3………………d=maxD98ThisisNOTpossible;itissaidthepossibleconfigurationsoftheboardexceedsthenumberofatomsinthe

universeKey:ToReduceSearch

Space！ThisisNOTpossible;itissa99ReducingSearch

Space1.Reducing“actioncandidates”(Breadth

Reduction)d

=

1 d=

2d=

3…d=

maxDWin?Loss?………IFthereisamodelthatcantellyouthatthesemovesarenotcommon/

probable(e.g.byexperts,etc.)

……ReducingSearchSpace1.Reduci100ReducingSearch

Space1.Reducing“actioncandidates”(Breadth

Reduction)d

=

1 d=

2d=

3…………Removethesefromsearchcandidates

inadvance(breadth

reduction)…d=

maxDWin?Loss?ReducingSearchSpace1.Reduci101ReducingSearch

Space2.Positionevaluationaheadoftime(Depth

Reduction)d

=

1 d=

2d=

3……d=

maxDWin?Loss?Insteadofsimulatinguntilthemaximumdepth

..…ReducingSearchSpace2.Positi102ReducingSearch

Space2.Positionevaluationaheadoftime(Depth

Reduction)d

=

1 d=

2d=

3…V=

1V=

2…V=

10…IFthereisafunctionthatcanmeasure:V(s):“boardevaluationofstate

s”ReducingSearchSpace2.Positi103candidates”Learning:P(nextaction|currentstate

)=P(a|s

)candidates”Learning:P(next1041.Reducing

“actioncandidates”(1)Imitatingexpertmoves(supervised

learning)Current

StatePredictionModelNext

States1s2s2s3s3s4Data:OnlineGoexperts(5~9

dan)160Kgames,30Mboardpositions1.Reducing“actioncandidates”105candidates”(1)Imitatingexpertmoves(supervised

learning)Prediction

ModelCurrent

BoardNext

Boardcandidates”(1)Imitatingexper106candidates”(1)Imitatingexpertmoves(supervised

learning)Prediction

ModelCurrent

BoardNext

BoardThereare19X19=

361possible

actions(withdifferent

probabilit