人工智能与大模型通论

人工智能与大模型通论清华大学人工智能研究院常务副院长孙茂松1950

图灵测试Turingtest“Canmachines

think?”图灵在文章中提出的问答测试样例阿兰˙图灵22022

ChatGPT与图灵测试32022

ChatGPT与图灵测试4人工智能发展历史走向5大规模深层神经网络（深度学习）62010

语音识别（感知+认知）72012

图像识别（感知+认知）82015

机器翻译（认知）92016

AlphaGo10深度学习第一重境界：白手起家

+

各家自扫门前雪11深度学习第二重境界：预训练模型+大小联调12深度学习第三重境界：预训练大模型

+

一巨托众小13大道至简：语言生成模型(GPT-3)+ 下一个词预测14大道至简：语言生成模型(GPT-3)+ 学习并存储世界知识（World

knowledge）ThecurrentcapitalofBrazil,sinceitsconstructionin1960,is

[Brasilia]+ 学习得出合乎逻辑和常识的结论（

Logical

and

common

senseconclusion)She

wanted

to

go

to

China

or

Japan.

For

China

she

couldn’t

get

a

visa,

so

she

wentto

[Japan]He

had

to

be

at

the

airport

in

90min.

Since

his

car

was

still

in

the

shop

and

therewerenobussesgoingtotheairport,hecalleda

[taxi]15InductiveDeductiveAbductiveSpecificobservationGeneralconclusion(may

be

true)GeneralruleSpecificconclusion(always

true)IncompleteobservationBestprediction(may

be

true)语言生成模型的特点GPT：强大而较为准确的理解和生成能力（莫作临岐叹，行藏总自如？）及与生俱来的“幻觉”问题（按概率随机游走？）山东最高的山是哪座山？哪座山是山东最高的？山东最高的山是哪座山？山西最高的山是哪座山?北京的女孩很大气。

北京女孩很大气。北京的大学很赞。 北京大学很赞。北京文化研究会……17AIGC（人工智能生成内容）具有天马行空式创造性18AIGC的多样性上联：夜阑卧听风吹雨top-p

search兴到狂吟雪满枝晓起坐看露湿衣醉后休夸柳漫山春暖吟看雪映梅更起愁看月破云19AIGC的个性化20新的摩尔定律?21大模型：力拔山兮气盖世22谷歌PaLM（2022）：5400亿参数Asthescaleofthemodelincreases,theperformanceimprovesacrosstaskswhilealsounlockingnew

capabilities.来源：/2022/04/pathways-language-model-palm-scaling-to.html23大模型：与大数据相得益彰AnnualSizeoftheGlobalDatasphere(Source:IDCDataAge2025)/2020/12/31/self-supervised-learning.html25大模型+大数据：大算力26大道至简：从GPT-3到ChatGPT+

你昨晚在城隍庙吃了什么？吃了上海小笼包。

good吃了上海烤鸭。

bad29通用人工智能?休伯特·德雷福斯教授（国际著名现象学家，曾任美国哲学学会会长）以兰德公司顾问的身份，1965年发表了《炼金术与人工智能》报告，

1972年以该报告为基础出版了《计算机不能做什么——人工智能的极限》，指出：如果我们的目标是要到月亮上去，AI现有的做法无非是爬上一棵高树，虽然离月亮近了一些，但永远都无法到月亮上去。“物之反常者为妖”（纪晓岚《阅微草堂笔记》）：事出神奇必有仙30ChatGPT

之玄机：复杂系统的涌现现象？+

1972年Philip

Anderson（物理学家、诺贝尔奖得主）Science文章：Emergenceiswhenquantitativechangesinasystemresultinqualitativechangesin

behavior.+

一个典型的复杂系统由无数个个体成分或因子构成，它们聚集在一起会呈现出集体特性，这种特性通常不会体现在个体的特性中，又无法轻易地从个体的特性中预测。31部分内因：从万物皆数到万物皆向量图灵奖获得者（深度学习开创者）32z-－literaturewn"t响S3OC1ety，一

committeeartmusic

--...-/lsal

e.．

．: membe

r-、.- --...、

一.,,,...s--a

·le--s-

!lectio

r--.、-organ,之at1o

n、-—

work

smoveme

;、-chap

ter、-c

o

s

ts

—-、-v

o

lum哗 n

tu

r

y

—-

—h

isto

rypayment

一、-—p

r

o

d

uc

t

io．i

n

c

o

m e

—.

.

_

i

n

su

r

am守r

od

u

c

t---capnaci

ty- -

,

0

碑

Y

/- -＿e

广

iS..trib

u主iO~

n

--...- - te

m

？

吨部伊币:

n

e

e

—d

u

tyi

nv

e

s

t

""csecur

gi- －-protect

IOnr activity

s

r尹红

纠

e

s

工a

tu

rt- -y- －-fo

odformat

I云－～··· `y

-door--...—

car乒郧'si百es

s-. ／ K

牙w iS

Io

n

sp

宁－e－s

e-n

c

e

g.`

·/-3SSIstance、,－-

至斤ec

ts

.,

omamsprop

ert洷ervices

-－．z--_.,,,...e

q

芦

pa

m

s r-Zaddition工它t.hmp

a-中

可泛g i毡c.t.riuo几

-:-storyfriend--...

•/－．｀

．＿ management—

． 一 --:-;

=

•今.T1E:_n

_i:宅xte..fl行 n

e

e .:..

_;-一1..

:corpor它“-

....,迈 L心和On

g

- cel

l

- exa

mp垣-

fa

的产 气＿

．气

o

m

e

n

t

乞r

l

if

竺

气

e

r

s

o

n

~w i:fe/－•--:_.d

ee

:v.ve

:e,oropEmJ1en1tl:ea

m in;

s

v

s

t

e. v

a纪

I.I么．＿

，多hou、尹

t--、、S

P

iLI•/_ iea

m i

n乏 syste

m,

e_

I

.

means

·environment

-－'

Z J::::::,r -Z

O汪- 夕-

.....,乙只沪mig h

t getting~deat

h雹- constru...c,tIo

n-- Kn

o

女 罕 玉 o

户 ter

m

气 竺

气旦a::

in产 pm

ro

巳 me

n｀ 叩

＇尸4•．

－勹

咄

器吵

玉，s

一P罗丫叩 judg

ment

—-m

f

o

F

m

朵i

O

n-

·•p

r

o

b-leems尸0

nse,r--,:::::e乙，一

solution•P

r

o

c

e

d

u

r

e

-zdec匼mnyea氏

尹Sz-

－夕n

a

a的

-

-- c

o

n

s

id

尹

函

如

画 芹n

c

e

s． 歹e

a

rper

IOdXe

O1icy

--

乓

至

勹

e

I

-I.I

—.．

.

..,,-s

ta

tem 年 六

o

ay

so

ff

ic

e

—--夕－勺OV笚

·ntn ent-reat

Bl全mt$

soonditlon

s-

－h－e

a

rt含－

v

石eda入y .a —

-..,agency

,,,.m

e

郅 丐乏

吨

扣

仁心r

s．text—-resoIUuon

--.._

._？

乙O

I

s

ea

s

e＿

/··z-4agreemen

t-、_

－authori

tyla

n

gua

g

e —--—w

ord

s'!.:- pe ac

e--—even

t'-

minutes．-—n

ationcountry

_.,,,,.oeer令g

o~.unit

一'economy．growth全a

te

s

—-degree-、一SC1ence

—·estate'arms••`=

·e后兀familykingplaintiffdefendant霉'＇Itrialnames

—-．num

bers

-/relationship­—relations ,,,.＿population

--"，于夕＿ cofllmunity．屯

e今

--::'－J

-．·-

、-rive

rcounty

一、tow

np

ercent

..../＿、-cen

t-

street多road意义空间（宇宙）中的“万有引力”恩格斯谈事物普遍联系的“辩证图景”：“当我们深思熟虑地考察自然界或人类历史或我们自己的精神活动的时候，首先呈现在我们眼前的，是一幅由种种联系和相互作用无穷无尽地交织起来的画面。”36CLIP：图像向量与句子向量的对齐37Stable

Diffusion之Part

1：高质量图像生成38Stable

Diffusion之Part

2：由文本生成图像http://jalammar.github.io/illustrated-stable-diffusion/39跨模态生成大模型极简主义肖像，一个女孩，戴黄色太阳镜，黑色美学，深银色和黄色，单色，波普艺术感，gif动画40生成式人工智能的特点及其能力边界+

均属于概率式方法范畴具有不确定性（虽然看上去效果已经很惊艳）+

针对句子向量和图像向量的整体性语义操作具有不可解释性难以进行精确操控+

基本定位启发、辅助人类41自监督学习“炼”就的大模型已成为信息基础“软”设施（基础模型）42又一个大道至简—语言掩蔽模型（BERT）Today,Iwent

to

the

andboughtsomemilkandeggs.Iknewitwasgoingtorain,butIforgotto

take

my

,andendedupgettingwetonthe

way.43大模型：天气预报谷歌

MetNet：神经网络天气模型◼主流气象预报方法都是基于大气层的物理模型◼系统输入自动从全美雷达站和卫星网络获取◼能以2

分钟间隔和

1平方公里分辨率预测全美

未来

8

小时内降水概率，且预测耗时只需几秒（之前的模型需要

1

小时）◼优于

NOAA

（美国国家海洋与大气管理局）当前使用的、基于物理定律的最先进模型HRRR44“一只南美洲亚马逊河流域热带雨林中的蝴蝶，偶尔扇动几下翅膀，可以在两周以后引起美国得克萨斯州的一场龙卷风。”4546大模型走向具身智能谷歌PaLM-E:

An

EmbodiedMultimodal

LanguageModel来源：https://palm-e.github.io/47来源：https://palm-e.github.io/大模型更深介入虚拟空间来源：https:///blog/building-interactive-agents-in-video-game-worlds49新的编程语言?TweetinginJanuary2023,AndrejKarpathy,Tesla'sformerdirectorof

AI,50ChatGPT与技术创新与变革+

全民化的生成式AI（Democratized

Generative

AI）到

2026年，超过80%的企业将使用生成式AI的API或模型，或在生产环境中部署支持生成式AI的应用，而在2023年初这一比例不到5%。+

AI信任、风险和安全管理（AI

Trust,

Risk

and

Security

Management）+

AI增强开发（AI-Augmented

Development）+

智能应用（Intelligent

Applications）+机器客户（Machine

Customers）一种可以自主协商并购买商品和服务以换取报酬的非人类经济行为体。到2028年，将有150亿台联网产品具备成为客户的潜力，这一数字还将在之后的几年增加数十亿。+可持续技术（Sustainabl