人工智能漫谈演讲April

人工智能漫谈谭营北京大学计算智能实验室（CIL@PKU）北京大学智能科学系漫谈要点•••••••人工智能的起源人工智能的发展历程计算智能的研究几个人工智能发展中的重大成就当前人工智能的热点对人工智能发展的几点思考结语人工智能的起源•

思想萌芽可以追溯到十七世纪的巴斯卡和莱布尼茨，萌生了有智能的机器的想法。•

十九世纪，布尔和摩尔根提出了“思维定律”，这是人工智能的开端；英国科学

家巴贝奇设计了第一架“计算机器”，被认为是计算机硬件，也是AI硬件的前身。•

1943年M-P

Model提出，Heb学习率发现,

Perceptron的提出，神经网络训练,

…•

1956年Dartmouth会议，由J.McCarthy及一批多学科的科学家在Dartmouth大学召开的会议上，首次提出“Artificial

Intelligence”概念。•

今年是AI诞生60周年（1个甲子）！计算机能具有智能吗？

•

阿兰·图灵认为机器可以模拟人脑思维过程；一个良好设计的计算

机能够做到人脑所能做的一切。“计算机科学之父”、“人工智能之父”

——阿兰·麦席森·图灵The

Turing

Test图灵奖什么是人工智能？

•

让机器做需要人类智能才可以做的那些事情。

•

让机器做人类需要它做的任何事情。•

认识、模拟和扩展人的（自然）智能，为人类社会服务。2016/4/12

Tuesday6人工智能的发展历程：

人工智能的三个学派•

符号主义学派

–

始于20世纪50年代–––以知识为基础，通过推理来进行问题求解功能模拟的方法代表人物：Simon,

Minsky和Newell.

McCarthy,

Nillsson.•

联接主义学派––––始于1943年的M-P模型（McCulloch,

Pitts）1982年Hopfiled提出的用硬件模拟神经网络,

BP算法结构-功能模拟的方法代表人物：

McCulloch,

Pitts,

Hopfield,

Rumelhart等。•

行为主义学派–––––进化主义或控制论学派始于20世纪60-70年代智能行为的“感知-动作”模式行为模拟的方法代表人物：

R.A.

Brooks螺旋式上升发展路线人工智能的研究内容方法层面：•

启发式搜索•

推理方法•

知识表示•

AI语言(Lisp，Prolog,

…)•

模式识别•

机器学习•

生物激发方法（计算智能）……应用层面：•

自然语言理解、数据库的智能检索、专家系统、机器定理证明、博弈、机

器人学、自动程序设计、组合调度（智能优化）、感知、语音、视觉、生

物特征识别、虚拟现实、复杂系统、大数据，等。计算智能的研究-Computational

Intelligence•••••人工神经网络---例如：多层神经网络（MLP）及其Back

Propagation

(BP)

Alg.模糊逻辑与推理进化计算---例如：Genetic

Alg.群体智能---例如：PSO,

Fireworks

Alg.等等计算智能（CI）涉及神经计算、模糊计算、进化计算和人工生命等领域，它的研究和发展正反映了当代科学技术多学科交叉与集成的重要发展趋势，是人工智能的最新发展。传统人工智能VS计算智能•

传统人工智能

–符号人工智能

–始于20世纪50年代

–以符号形式的知识和信息为基础，通

过逻辑推理，运用知识进行问题求

解

–知识获取、知识表示、知识组织与

管理、知识运用、基于知识的智能

系统•

计算智能

–

计算人工智能

–

始于20世纪80年代

–

以数值数据为基础，通过数值

计算，运用算法进行问题求解

–

人工神经网络、进化计算、群体

智能、人工免疫系统、模糊系统生物神经网络vs.人工神经网络生物神经网络结构多层前馈人工神经网络模型∑

x,

x∈[−5,5]f

(x)

=

20

+

e

−

20exp−

0.2∑

1

=

i

x

2

−

exp

1∑cos(2πxi)

,

x

∈[−

32,32]n

n

i=111ni2f

(x)

=

ni=12）Rosenbrock

Function

2

i+1

i=1

3）Rastrigin

Function

D

2

i

i

i=1n1

nn4）Ackley

Function

复杂优化问题

Standard

benchmark

functions1）Sphere

Function12更复杂优化问题---智能优化搜索方法遗传算法-Genetic

Algorithm生物进化是一个优化过程，目的是在不断变化的竞争环境

中提高某生物(或系统)的生存能力。个体环境候选解待求解问题??达尔文适者生存，优胜劣汰

建

模自然群体FWA•

Ying

Tan,

FireworksAlgorithm,

Springer,

2015.10.•

Y.

Tan,

C.

Yu,

S.Q.

Zheng

and

K.

Ding,

"Introduction

to

Fireworks

Algorithms

,"

International

Journal

of

Swarm

Intelligence

Research

(IJSIR),

October-December

2013,

vol.

4,

No.

4,

pp.

39-71.•

谭营(著)，《烟花算法引论》,

科学出版社,

2015.04.机器学习（Machine

Learning）

通过经验提高系统自身性能的过程

（系统自我改进）机器学习是人工智能的主要核心研究领域之一,

也是现代智能系统的关键环节和瓶颈。一个没有学习功能的系统是不能被称为智能系统。机器学习正逐渐从AI中独立出来,成为一种新的问题求解工具。2016/4/12

Tuesday谭营---机器学习研究及最新进展18机器学习的任务

•

令W是这个给定世界的有限或无限所有对象的集合，由于观察能力的限制，我

们只能获得这个世界的一个有限的子集Q⊂W，称为样本集。

•

机器学习就是根据这个有限样本集Q

，推算这个世界的模型，使得其对这个世

界为真。WQWModel建模泛化训练与泛化浅层学习（Shallow

Learning）•

浅层学习是机器学习的第一次浪潮•

上世纪80年代，计算智能研究中的人工神经网络热潮，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。•

多层感知机（Multi-layer

Perceptron），支撑向量机（SVM）、

Boosting、最

大熵方法（如Logistic

Regression）等。•

人工神经网络的反向传播算法（BP算法）深度学习

-

Deep

Learning•

2006年，Prof.

Geoffrey

Hinton等在《科学》上发

表的文章开启了深度学习的新浪潮。他们的两个主要观点：•

1）多隐层的人工神经网络具有优异的特征学习能

力，学习得到的特征对数据有更本质的刻画，从

而有利于可视化或分类；•

2）深度神经网络的训练问题，可以通过“逐层预

训练”（layer-wise

pre-training）来有效解决。

深度学习是机器学习的第二次浪潮•

Deep

learning

algorithms

attempt

to

learn

multiple

levels

of

representation

of

increasing

complexity/abstraction.Deep

Architectures•

Deep

multi-layer

neural

networks

are

the

basic

architectures

of

deeplearning.When

a

function

can

be

approximated

by

adeep

architecture

with

few

computationalelements,

it

might

need

a

very

largearchitecture

to

be

approximated

by

aninsufficiently

deep

one.Breakthrough•

Greedy

layerwise

unsupervised

pre-training.–

Hinton

et

al.,

2006;

Bengio

et

al.,

2007;

Ranzato

et

al.,

2007.•

Use

the

weights

got

by

pre-training

to

initialize

the

weight

of

supervisedtraining.•

Then

run

the

general

supervised

training

process

such

as

BP

algorithm.Experimental

ComparisonWithout

pre-training,

training

converges

to

a

poorer

apparent

local

minimum.Unsupervised

pre-training

helps

to

find

a

better

minimum

of

the

online

error.Experiments

were

performed

by

Dumitru

Erhan.Race

on

ImageNet

(Top

5

Hit

Rate)Answer

from

Geoff

Hinton:

85%,

2012在科技界，微软、谷歌、Facebook、百度等巨头对于研发的狂热追逐举世皆知，ImageNet

大规模视觉挑战也是其角力的重要战场人脸识别程序•

CUHK的汤晓鸥教授领导的计算机视觉研究组

(.hk)

开发了

一个名为DeepID的深度学习(DL)模型，

在LFW

(Labeled

Faces

in

the

Wild)数

据库上获得了99.15%的识别率，这也是有史以来首次超过99%的LFW识别率，比肉眼识别更加精准。•

此前,

Facebook发布了另一套基于深度学习的人脸识别算法DeepFace，在LFW上取得了97.35%的识别率。

免疫浓度特征•

生物免疫系统中的抗体浓度垃圾邮件与正常邮件的浓度特征分布•

邮件样本的抗体浓度特征

–

“自己”“异己”浓度

免疫应答过程中抗体浓度的变化•

抗体浓度特征的表征能力

浓度特征在分类器BPNN、LD、SVM上与其他方法的对比Single-CDCS-LALWFGWFDTE-DLAccuracy•

基于危险理论的集成检测模型

–

危险区域定义匹配信号与危险信号的协同

免疫检测模型•

P.

Matzinger的免疫危险模型集成检测中的匹配信号集成检测中的危险信号PU2PU3PUATREC0.89

PU1

免疫危险模型•

集成检测模型的性能表现

0.98

0.97

0.96

0.95

0.94

0.93

0.92

0.91

0.9集成检测模型与其他集成方法的对比围棋人机大战：AlphaGo

v.s.

Lee

Sedol（李世石）Results:

4:1人工智能下棋程序AlphaGo获得大胜！引起了世界范围的广泛关注与热议，以及对人工智能飞速发展的鼓舞，和些许恐惧与担忧！AlphaGoCombining•

Monte

Carlo

Search

Tree

(MCST)

+

Supervised

Learning

(SL)

+

Reinforcement

Learning

(RL)

+

Deep

Neural

Networks

(DNN).Clever

Idea:•

(Good

starting

point):

Use

SL

Policy

Network

to

learn

from

human

expertgood

experience•

(Rapidly

boosting

up):

Use

RL

Policy

Network

to

improve

by

playing

withitself•

(Efficient

strategy):

Use

RL

Value

Networks

to

compute

the

outcome

ofevery

moveAlphaGO’s

Framework31Monte

Carlo

tree

search

(MCTS)Supervised

learning

of

policy

networks

in

AlphaGO•

Definition:•

s:

state

(3^(19*19))•

a:

action

(19*19)•

SL

policy

network:–

predict

p(a|s)•

RL

policy

network–

sampling

each

move

from

its

outputprobability

distribution

over

actions.•

RL

policy

network

vs

SL

policy

network•

won

80%

of

games32

Evaluating

the

playing

strength

of

AlphaGo•

AlphaGo

vs

other

Go

programs

–

won

494

out

of

495

games

(99.8%)•

The

distributed

AlphaGo

vs

AlphaGo

–

won

77%

of

games•

The

distributed

AlphaGo

vs

othe