复旦大学：人工智能时代的历史、现状与展望

现状与展望张军平复旦⼤学计算机科学技术学院2024.3.14提纲•AI重要突破•挑战与思考AI重要突破GPT-4Turbo/CEO山姆·奥特曼•上下⽂⻓度、最新知识和价格•通⽤GPT模型•GPTStore/300万+⾃定义GPT•GPT开发环境•DALL-E3、GPT-4Vision和语音合成的API•更便宜的收费OpenAIDevDay活动/Nov.6.23⻄红柿炒蛋刘禹锡《乌⾐巷》：旧时王谢堂前燕，⻜⼊寻常百姓家编程：程序员Promptitwithinteractiveandboxes.pointsAutomaticallysegmenteverythinginanimage.Generatemultiplevalidmasksforambiguousprompts.Promptsspecifyingwhattosegmentinanimageallowforawiderangeofsegmentationtaskswithouttheneedforadditionaltraining./11Mimages,1B+masks善⽤ChatGPT，科研与学习•⽂⼼⼀⾔、通义千问、ChatGPT3/3.5,Gemini等•Midjourney,DALL-E3,StableDiffusion•Copilot,WPSAI从猫视觉⽪层发现神经元具有⽅向性SemanticNetworks语义⽹人工智能的成长期JosephWeizenbaum建成第⼀个智能聊天机器⼈EliZAZadeh提出模糊逻辑apnik统计机器学⽀持向量机annLeCun积神经⽹络LeNet-5VY卷2012-至今）式模型AlphaStar击败星际争霸II职业玩家（1981-2011）关联规则：啤酒与尿布1966-1972Hornik&Cybenko提出万能近似定理从猫视觉⽪层发现神经元具有⽅向性SemanticNetworks语义⽹人工智能的成长期JosephWeizenbaum建成第⼀个智能聊天机器⼈EliZAZadeh提出模糊逻辑apnik统计机器学⽀持向量机annLeCun积神经⽹络LeNet-5VY卷2012-至今）式模型AlphaStar击败星际争霸II职业玩家（1981-2011）关联规则：啤酒与尿布1966-1972Hornik&Cybenko提出万能近似定理人工智能的第三次热潮(⾕歌AlphaGo击败围棋世界冠军李世⽯GPT⾕歌：知识图谱Newell&Simon通⽤问题求解（GPS）互联⽹诞⽣Minsky&Papert出版《感知机》⾛出寒冬专家系统盛⾏⽇本研发第五代计算机福岛邦彦提出新认知机MyCin医疗诊断费根鲍姆等提出DENDRAL第⼀个专家系统化合物分⼦结构推断⼈⼯智能寒冬1973莱特希尔报告LISP,AI标准编程语⾔Cyc,百科全书项⽬SHRDLU虚拟机器⼈深蓝战胜国际象棋世界冠军加⾥-卡斯帕罗夫Rumelhart、Hinton、Williams提出反向传播算法习Shakey第⼀个可移动机器⼈Hinton在《Science》提出深度⽹络流形学习斯坦福⼤学和⾕歌：Google街景项⽬李⻜⻜ImageNet图像分类数据集IBM的AI计算机Watson在游戏Jeopardy中击败⼈类冠军iRobot家⽤机器⼈Roomba问世IanGoodfellow提出⽣成对抗⽹(GAN)何恺明等提出残差⽹(ResNet)Alex和Hinton等提出AlexNet⽹络深度学习取得性能突破GPU得到⼴泛使⽤⾕歌AlphaZero⾕歌⼤脑提出TransformerOpenAI提出⽣成预训练人工智能的初创期（1956-1980）人工智能的萌芽期（1936人工智能的初创期（1956-1980）图灵提出通⽤计算机模型的“图灵机”冯诺依曼等建成ENIAC电⼦数字积分计算机达特茅斯学院图灵提出通⽤计算机模型的“图灵机”冯诺依曼等建成ENIAC电⼦数字积分计算机达特茅斯学院AI诞⽣维纳《控制论》明斯基与艾德蒙兹创建第⼀个⼈⼯智能实验室⾹农探讨机器下棋的可能性王浩IBM704⽤3-4分钟证明220条数学定理图灵测试Rosenblatt提出感知机第⼀次机器翻译第⼀台⼯业机器⼈诞⽣塞缪尔，跳棋程序提出神经元模型MP模型Newell&Simon38条数学定理证明Wiesel&Huber38条数学定理证明OpenAI提出：世界模拟器SoraOpenAI提出：OpenAI提出⽣成式预训练模型GPT-3⾕歌⽆⼈⻋⾏驶300万OpenAI提出：世界模拟器SoraOpenAI提出：OpenAI提出⽣成式预训练模型GPT-3⾕歌⽆⼈⻋⾏驶300万以上公⾥⾕歌提出⾯向对话的语⾔⼤模型LaMDA⾕歌AlphaFold预测蛋⽩质结构Meta提出图像分割模型SAMMidJourney公司：⼈⼯智能绘画AI创作/聊天/⼤模型的历史专家系统之⽗，费根鲍姆ELIZA,1960sTheELIZAeffect,incomputerscience,isthetendencytounconsciouslyassumecomputerbehaviorsareanalogoustohumanbehaviors;thatis,anthropomorphisation.⼈⼯智能à预测能⼒增强•大数据的形成数据标注•基于⼈类反馈的强化学习图源⾃知乎和微博•(Multi-head)Self-attention;Seq2Seq•预训练+精调•OpenAI的CodeX、DeepMind的AlphaCode，Pangu-Code,清华•思维链（ChainofThought可解释、符合⼈类的思维⽅式•⼀步⼀步的逻辑思维模式•上下⽂学习（In-contextLearning）•指令调整(Instructtuning):与⼈类意图⼀致•⽤类似⼈类⾃然语⾔表达的⽅式来实现预测•ChatGPT涌现能力和策略之间的关系。指令学习通过与人类对齐，提高模型“知道知道”和“知道不知道”的能力，以及减少“不知道知道”和“不知道不知道”的限制。同时，代码预训练通过逐步思考，帮助ChatGPT模型回答其不知道的问题Zhaoetal.ASurveyofLargeLanguageModels,arXiv:2303.18223v12,2023.端到端的革命准⼊⻔槛降低、同化现象明显•产业界/Infrastructure•⾏业间差异变⼩•低层、简单易重复的⼯作可能最早被淘汰•AI不学不⾏•AI并⾮万能26•性价⽐极低•千分之三的性能提升•耗费17810核⼩时，按3.22⼑/h•计算，需要57,338⼑•ChatGPT:175B，45TB,10000GPU,285000CPU•1200万美元•建议重新开个新期刊•只接收实验结果能在单机上8⼩时•做完的研究成果•富组的结果，穷组⽆法复现•穷则调参数，富则买显卡29AI偏⻅的不确定性；归纳偏置归纳偏置ChatGPT团队中⼥性9⼈，占10%，男性78⼈，占90%数学是⼈类能战胜AI的主要⼿段：数数问题文心—言整体认知与局部认知莫拉维克悖论/简单与复杂•⼈觉得简单的，机器觉得难•⼈觉得复杂的，机器觉得容易混合智能---孤⽴依赖⼈或机都