




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
西藏大学信息化工作专题讲座西藏大学信息化工作专题讲座新一代人工智能技术发展及其应用新一代人工智能技术发展及其应用信息科学技术学院藏语智能全国重点实验室尼玛扎西目录第一部分人工智能n人工智能的定义n人工智能与算力第二部分新一代人工智能n大语言模型第三部分人工智能+n人工智能的动力n人工智能与算法n自监督学习n自然语言处理n人工智能与数据n我国的人工智能n强化学习n人工智能的定义n人工智能与算力n人工智能的动力n人工智能与算法n人工智能与数据n我国的人工智能AI的定义-图灵测试由英国科学家阿兰·一名测试者写下自己的问题,随后将问题以纯文本的形式(如计算机屏幕和键盘)发送给另一个房间中的一个人与一台机器测试者根据他们的回答来判断哪一个是真人,哪一个是机器A.M.Turing,ComputingMachineryandIntelligence,OxfordUniversityPressonbehalfoftheMindAssociation,1950.AI的定义-7个研究问题1955年达特茅斯人工智能暑期研讨会建议书中所提的7个研究问题提出了“人工智能”这一名词McCarthyJ,MinskyM,RochesterN,etal.Aproposalforthedartmouthsummerresearchprojectonartificialintelligence,August,31,1955.AIMagazine,2006,27(4):12-14McCarthyJ,MinskyM,RochesterN,etal.Aproposalforthedartmouthsummerresearchprojectonartificialintelligence,August,31,1955.AIMagazine,2006,27(4):12-14AI的定义-达特茅斯会议会议围绕“如何让机器模仿人类学习及其他智能行为”展开,探讨了通过计算机实现推理、语言理解、模式识别等能力的可能性标志着“人工智能”学科的正式确立会议为AI奠定了基础理论框架,包括符号推理、机器学习、自然语言处理等核心方向,并激发了后续算法研究人工智能深蕴于计算机科学、脑科学、类脑科学、认知科学、控制论等基础科学之中,直接表现为机器学习、计算机视觉、自然语言处理、智能语音、知识图谱、大模型、智能体、群体智能、具身智能等技术形态,外化为人形机器人、数字人、智能终端、智能运载工具、智能软件等产品形态人工智能通过类脑计算增强脑力劳动的新能级,通过“机器换人”培育体力劳动的新动能,带动农业、工业和服务业中的脑力劳动与体力劳动的第四次变革,形成新兴的人工智能产业AI的定义-三大学派AI发展以“知识推理”为重点(手工知识)、到以“数据统计”为重点(统计学习)、再到以“计算学习”为重点(数据智能)徐宗本,姚新,数据智能研究前沿,上海交通大学出版社,2021.AI的动力-计算的4个时代 >>网络计算时代>>智能计算时代>算盘——中国发明最早的计算工具步进计算器——德国人莱布尼茨发明第一台自动完成四则运算的装置(1673年,乘法器)雅卡尔提花织机——法国人雅卡尔发明“编程”的概念,通过打孔卡片控制印花图案(1801年)AI的动力-计算的4个时代>>电子计算时代>>网络计算时代>描述程序和硬件的底层逻辑将复杂任务转化为自动化过程描述程序和硬件的底层逻辑将复杂任务转化为自动化过程构成基本的逻辑电路和存储电路的半导体器件2.程序存储执行3.由运算器、控制器、存储器、I/O设备组成现代计算技术基础布尔代数冯·诺伊曼架构AI的动力-计算的4个时代计算机跨越的第一个分水岭1970年代开始的第四代计算机:以大规模、超大规模集成电路为主要器件;运算速度达每秒几百万次至上亿次基本运算。软件方面出现数据库管理AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代TCP/IP协议让所有上网设备(手机/电脑/服务器)都遵守相同的通信规则,保证跨设备通信的畅通。定义了开放的通信标准,让不同公司可以开发各种网络应用,而不用担心底层通信问题TCP/IP协议通过协议分层架构、可靠传输机制和开放标准,构建了互联网的神经中枢提出者罗伯特·卡恩荣获2004年图灵奖AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代互联网以“人”为中心将人使用的计算机与终端与后台数据中心连接,互联网的应用通过计算机和智能终端与人进行交互互联网深刻彻底地改变了人类社会,我们的工作、生活和学习几乎离不开它AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>物理世界的端侧设备被数字化、网络化和智能化,实现“人、机、物”三元融合除互联网外,还有数据基础设施支持各类终端通过端边云实现万物互联,终端、物端、边缘、云都嵌入AI,提供大模型智能服务,实现有计算的地方就有AI智能计算带来了巨量数据、人工智能算法的突破和对算力的爆发性需求!AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>n传统AI局限于数字世界的符号推理,而具身智能通过机器人实体与环境实时交互,实现感知、认知、决策和行动一体化揭示了智能的本质:必须通过身体与环境的动态互动来塑造和体现n机器人在工厂与工人协作时,通过强化学习不断优化动作序列,人类AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>计算机跨越了第二个分水岭n从“有意识思维”过程到“无意识思维”过程的转变这一过程的转变涉及到“莫拉维克悖论”这一过程的转变涉及到“莫拉维克悖论”(Moravec'sParadox)AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>n“莫拉维克悖论”(Moravec'sParadox)计算机善于处理人类觉得困难的问题,而不擅长处理对于人类而言很容易的问题或者说:不同于传统假设,计算机实现逻辑推理等人类高级智慧只需相对很少的计算能力,而实现感知、运动等低级智慧却需要巨大的计算资源AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>n人工智能先驱汉斯·):“让计算机在智力测试或下棋上中展现出一个成年人的水平是相对容易的,但是要让计算机拥有如同一个一岁小孩般的感知和行动能力却是相当困难甚至是不可能的。”莫拉维克揭示的这些现象与我们生活AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>“困难的问题是简单的,简单的问题是困难的”n语言学家和认知科学家史迪芬·平克(StevenPinker)认为这是人工智能研究者的最重要发现,在他1995年出版的专著“TheLanguageInstinct”(《语言本能》)中,他写道:经过35年人工智能的研究,人们学到的主要内容是“困难的问题是简单的,简单的问题是困难的”AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>这反映了人类思维特征:两种截然不同的思维方式:n有意识的、谨慎的、有逻辑的语言思维n无意识的、快速的、本能的非言语思维有意识的:当你在超市用心算计算所买物品的价格时,使用的是磕绊努力保持身体平衡时,使用的是本能的思维方式,这与逻辑无关AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>一个例子:我坐在咖啡馆里边看书边喝咖啡n我坐在咖啡馆里,在专心地看着书的同时拿起咖啡杯喝了一口。这可不是件简单的事,在机器人研发领域,人们至今仍在绞尽脑汁想让机器人顺利无阻地完成此类任务n简单地说这涉及我的视觉系统(可能是靠余光)先扫描整个场景,锁定杯子,运动皮质准确地协调整个躯干、胳膊、前臂和手部的肌肉收缩,当手触碰到杯子时,我的神经系统就传回了有关杯子重量、空间位置、温度、手柄光滑度等大量的信息。这些信息通过大脑的海量计算和反馈调整。最终在几分之一秒里,使我拿起杯子送到嘴边并喝下咖啡AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>我们能够理解人类自身是如何做算数、代数和下棋的,但我们不是太了解我们是如何认出一只猫的,也不太清楚当我们跑过山路时是如何保持身体平衡的AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>机器学习通过改变计算机编程方式解决了悖论2020至今通过机器学习(深度学习人类使计算机对一个庞大的模型进行推理计算,最后得出某个特定问题的可能的解AI的动力-计算的4个时代/电子计算时代>>网络计算时代>>智能计算时代>计算机从“服从”到“认知”的转变2020至今n直到不久前,我们还在用计算机编程的方法教计算机完成特定任务(事情)这些程序一步一步地设计计算机在可能遇到的各种情况下应该做什么?怎么做。但是这就意味着我们自己必须在教计算机处理问题之前,首先清楚地理解我们自己处理问题时的思考方式•数据是训练AI模型的原材料,包括结构化(表格)、非结构化(文本、图•算力是运行算法所需的计算能力,依•算法是AI实现智能的逻辑规则和数学模型,如机器学习、深度学习、强化案例:AlphaFold(算法)通过海量蛋白质序列数据(数据)/articles/s41586-024-07487-wAI与数据n使AI发展神速的其中一个原因是大数据的收集、存储、传输和分析成为可能一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合,具有海量数据规模、高速数据流转、多样数据类型和高价值及低价值密度四大特征AI与数据nTB、PB级的结构化、非结构化和半结构化数据。预计到今年,全球数据使用量将达到175ZB(1ZB=270Byte)n以前利用统计学的原理、抽样的方法分析问题。但是,这显然没有全部数据更能说明问题n全量数据的采集、存储、处理与分析的需求,推动产生了系列大数据技术,其中的重点在基于分布式技术的数据存储与处理AI与数据AI与大数据技术二者联系密切深度学习n通过大量的样本数据进行模型训练,需要应用大数据技术存储与计算、分析这些数据n大数据技术支撑了人工智能算法的实现n人工智能更像是大数据技术中数据分析技术的高级阶段。曾经的数据仓库、数据挖掘技术AI与数据数据的重要性怎么强调都不为过!n如果将机器学习算法比作一架机器,那么数据就是驱动这架机器的燃料,没有燃料驱动,机器设计得再精巧也只能是摆设。而事实上,数据确实被誉为未来的“石油”n当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级数据估计值、全球不同语种的数据不平衡人类目前所有印刷品的数据量约为200PB(1PB=250Byte)人类所说过的话的数据量约为4ZB(1ZB=270Byte)人类大脑存储容量相当人类大脑存储容量相当于7.6亿TB英语数据占互联网内容的50%以上,中文数据虽占15%,但方言数据稀缺,小语种数据更是占比不到0.1%Villalobos,Pablo,etal."Willwerunoutofdata?LimitsofLLMscalingbasedonhuman-generateddata."arXivprepVillalobos,Pablo,etal."Willwerunoutofdata?LimitsofLLMscalingbasedonhuman-generateddata."arXivprepNature在头版敲响警钟——AI革命正“吸干”互联网数据的海洋n研究机构EpochAI近日公布的研究预测,到2028年,用于训练AI模型的典型数据集的规模将达到公共在线文本总量的估计规模这意味着,未来几年内,AI大模型可能会耗尽可用于训练的高质量数据资源AI与数据深度学习需要大量的训练数据,目前的AI技术还是数据驱动的n当数据量较小时,传统机器学习模型的性能与神经网络模型的差别不大n当数据规模越来越大时,神经网络结构更加复杂的深度学习模型更能够从大数据中提取(学习)到有效的特征,模型性能也随之非常明显地上升PreetumNakkiran,GalKaplun,YamAI与数据n我们今天正在使用的巨大的数据集,在几年前是想得而不能的。现在,大数据无处不在且大得惊人nBigData的单位一般以TB、PB衡量。1PB=1024TBAI与数据n若算力是深度学习的喷气式发动机,数据则是燃料。吉尔德定律(Gilder’sLaw)保证了燃料供应Gilder’sLaw:主干网带宽的增长速度至少是运算性能增长速度的三倍,而主干网的网络带宽的不断增长意味着各种新的网络应用方式的出现和网络用户的使用费用的不断下降(CERNET主干网总带宽3.15T以上,中国电信主干网总带宽458T)AI与算力算力:就是单位时间内硬件能够完成的某种运算的量。比如浮点计算、整数计算等):):):FLOPS(floating-pointoperations):哈希率:比特币网络处理能力的度量单位,即CPU计算哈希函数输出的速度。比特币网络必须为了安全目的进行密集的数学和加密操作。例如,AI与算力训练神经网络模型,使它像人一样识别图片或理解人类语言所需的算力是十分惊人的。深度学习中的模型权重值调整涉及大规模的“矩阵反演”数学运算模型训练训练一个大模型,甚至需要1024次的浮点数运算。这就要求计算机的算力足够强大AI与算力为什么现在AI发展的如此神速?曾经的摩尔定律(Moore'slaw)Moore'slaw:称为计算机第一定律,指IC上可容纳的晶体管数目,约每隔18/24个月便会增加一倍,性能也将提升一倍神经网络的基础——感知机是上世纪50年代提出的AI与算力n今天,摩尔定律的乐观已不复存在,CPU性能的提升降至每年不足3%,实现性能翻倍需20年现在芯片线路可达2~3纳米级别,相n量变引起质变,产生诸如分子台积电3纳米工艺:每平方毫米集成2.5亿晶体管(指甲盖大约1平方n散热问题AI与算力nCPU性能提升速度大幅放缓,出现八核、十六核、三十二核CPU。通过多核提高CPU性能的方式并没有从根本上解决问题n功耗问题n散热问题n软件支持问题AI与算力AI加速发展和黄氏定律n以英伟达(NVIDIA)公司创始人黄仁勋名字命名的定律——黄氏定律(Huang’sLaw)对AI性能的提升作出预测Huang’sLaw:GPU将推动AI性能实现逐年翻倍AI与算力CPU与GPU的区别nCPU:数学教授需要对图像中的每个像素进行相同的运算。图像一般都会有上百万个像素。CPU的串行运算效率CPU内部cache以及控制部分占据了很大面积,计算单元占比很少;GPU控制单元很简单,大部分空间被计算单元占据,因此CPU的核数有限,而GPU则轻松堆出上千核AI与算力CPU与GPU的区别nCPU:不同的核可以执行不同的机器指令,如CoreA在运行Word线程的同时CoreB可以运行Browser线程,所谓nGPU:所有核必须整齐划一地运行相同的机器指令,只是可以操作不同的数据nGPU:绝不是用来取代CPU的,CPU只是把一些GPU非常擅长的事情交给它,GPU仅仅是充当分担CPU工作的配角AI与算力无论CPU还是GPU,其生产过程中都需要最重要的设备——光刻机目前最先进的光刻机是荷兰ASML公司生产的High-NAEUV光刻机,支持2nm制程量产,通过多重曝光技术可进一步延伸至1nm甚至0.5nm“卡脖子”问题n荷兰ASML的EUV光刻机自2019年起,被禁止向中国出口,该设备用于7nm及以下先进制程芯片制造n美国通过《出口管理条例》要求对涉及3nm及以下打破枷锁上海微电子的SSX600系列已实现90nm制程量产,28nm光刻机进入产线验证阶段AI与算力n过去只有超级计算机才能完成的计算、几年前还无法企及的计算速度在今天已成为家常便饭n由国防科技大学和国家超级计算天津中心联合研制的“天河”新一代超算系统,搭载自研飞腾CPU、天河高速互联通信技术和麒麟操作系统,持续稳定算力超1018FLOPS“天河二号”超级计算机“天河二号”超级计算机算力曾达30.65PFlops一般的GPU服务器算力在1000GFLOPS左右AI与算力nCPUvsGPUvsTPUvsNPUvsQPU……在AI的算力中,有哪些计算的处理器?低高中中高低低AI训练、图形NVIDIAXu,Y.,Wang,Q.,An,Z.,Wang,F.,Zhang,L.,Wu,Y.,Dong,F.,Qiu,C.-W.,Liu,X.,Qiu,J.,Hua,K.,Su,W.,Xu,H.,Han,Y.,Cao,X.,Liu,E.,Fu,C.,Yin,Z.,Liu,M.,Roepman,R.,Dietmann,S.,Virta,M.,Kengara,F.,Huang,C.,Zhang,Z.,Zhang,L.,Zhao,T.,Dai,J.,Yang,J.,Lan,L.,Luo,M.,Huang,T.,Liu,Z.,Qian,S.,An,T.,Liu,X.,Zhang,B.,He,X.,Cong,S.,Liu,X.,Zhang,W.,Wang,F.,Lu,C.,Cai,Z.,Lewis,J.P.,Tiedje,J.M.,Zhang,J.,ArtificialIntelligence:APowerfulParadigmforScientificResearch,TheInnovation(2021),doi:/10.1016/j.xinn.2021.100179.人工智能技术萌芽阶段1985年,Judea1985年,JudeaPearl提出了了通过误差反向传播(BP)来训练人工智能技术沉淀积累阶段人工智能技术快速发展阶段2022年11月,OpenAI发布2023年2月,Meta开源大语言2022年11月,OpenAI发布2023年2月,Meta开源大语言2023年3ChatGPT模型AI与算法:神经网络-追根溯源大脑让人类成为万物之灵,而人类对大脑的深层次探索AI与算法:神经网络-发展简史n神经网络起源于上个世纪四十年代。1943年时神经科学家麦卡洛克(McCulloch)和数学家皮兹(Pitts)发表论文《神经活动中内在思想的逻辑演算》,提出了MCP模型McCulloch,WarrenS.,andWalterPitts."AlogicalcalculusoftheAI与算法:神经网络-发展简史MCP模型架构虽然相对简单,但是具有里程碑意义ΣΣ接受多个输入(x1,x2,x3,...)AI与算法:神经网络-发展简史n1958年,计算机科学家弗兰克·罗森布拉特提出由两层神经元构建的网络,并将之命名为感知机(perceptron)基本拥有现今神经网络主要构件与思想。包括自动学习权重、梯度下降算法、优化器、损失函数等,一定程度上推动神经网络发展Rosenblatt,Frank."Theperceptron:aprobabilisticmodelforinforAI与算法:神经网络-发展简史·作中证明了感知机本质上是一个线性模型,其连最基本的异或问题都无法解决yy=kx+bx1x1XOR00000010111001111110Minsky,Marvin,andSeymourPapert."AnintroductionAI与算法:神经网络-发展简史··BP算法Rumelhart,DavidE.,GeoffreyAI与算法:神经网络-发展简史n在层与层之间的传播过程中引入了Sigmoid激活函数,为神经网络引入了非线性能力,改良了感知机无法解决异或问题的缺陷为神经网络引入了非为神经网络引入了非了建模能力。事实上,额外的隐藏层并不能提升输入和输出之间复杂关系的建模能力左图是一个以Sigmoid作为隐藏层激活函数的两层神经网不断地改变目标函数的形状。AI与算法:浅层学习与深度学习神经元神经元->感知机浅层学习->深度学习AI与算法:深度神经网络模型-3位奠基人n2018年的图灵奖颁给三位AI巨头GeoffreyHinton(杰弗里●辛顿)、YannLeCun(杨●立昆)以及YoshuaBengio(约书亚●本吉奥深度神经网络DNN)·霍普菲尔德(JohnJ.Hopfield)与杰弗里·顿(GeoffreyE.Hinton)因“使用物理学训练人工智能神经网络”获诺贝尔物理学奖AI与算法:深度神经网络模型-3位奠基人“卷积神经网络(CNN)之父”,提出了首个正自然语言处理领域的先驱,提出了基于神经网络的语言模型(如神经概率语言模型),并推动了AI与算法:深度神经网络模型-CNN卷积神经网络(CNN)是一种专门为处理具有网格结构数据(如图像)而设计的深度学习模型n卷积层:利用卷积核提取输入数据中的特定特征n池化层:主要功能是对特征图进行下采样,以减少数据量和计算量n全连接层:将提取到的特征进行整合,以完成分类或回归任务卷积层池化层卷积层池化层全连接层输出层卷积层池化层卷积层池化层全连接层输出层AI与算法:深度神经网络模型-RNN循环神经网络(RNN)是一种专门处理序列数据的深度学习模型,其核心特点是通过循环连接保留历史信息,从而捕捉数据中的长期依赖关系n隐藏层的输出不仅传递给输出层,还反馈回自身,形成时间维度n理论上,RNN可以记住任意长时间的信息,但实际中受梯度消失IanGoodfellow,YoshuaBengioAI与算法:深度神经网络模型-LSTM长短时记忆网络(LSTM)是一种特殊的RNN,主要应用于序列任务,解决了RNN在处理长序列时的梯度消失或梯度爆炸问题输出门IanGoodfellow,YoshuaBengioPyTorch是由Facebook的AIPyTorch是由Facebook的AI研究团队开发的开源深度学习其简洁易用的API和动态计算图的特性受到了广大研究TensorFlowTensorFlow是由Google开发和维护的布。它最初是为了满足Google内部很快就成为了全球范围内最受欢迎的API复杂度有强大的可视化工具可通过第三方库实现可视化理论研究萌芽:早期聚焦机理论研究萌芽:早期聚焦机“863”计划首次将AI纳入互联网驱动:百度、阿里、腾讯布局人工智能,推出语技术突破:2010年后深度学别、腾讯优图人脸识别技术生态扩张:开源鸿蒙、开源欧拉等开源社区推动技术普《2025年中国人工智能计算力发展评估报告》《2025年中国人工智能计算力发展评估报告》n核心技术与创新突破AIforScience:药物研发(如晶泰科技量子AI:本源量子与中科大合作开发量子机器学习算法,适配量子硬件机器视觉:海康威视安防系统、医疗影像诊断(如联影AI)实现毫米多模态融合:华为鸿蒙分布式能力支持跨设备协同,阿里云ET实现绿色计算:液冷技术、异构计算降低能耗,算力效率提困境一:中国在AI高端人才数量、AI基础算法创新、AI基座大模型能力、基座大模型困境二:高端算力产品禁售、高端芯片工艺长期被卡。国内可满足量产的工艺节点困境四:AI应用于行业时成本、门槛居高不下。从互联网行业迁移至非互联网行业n中国人工智能发展的道路选择选择一:统一技术体系走闭源封闭,还是开源开放的道路?追赶兼容美国主导的A体系:大多数互联网企业走GPU/CUDA兼容道路,很多芯片领域的创业企业在生态构建上也是尽量与CUDA兼容,该道路较易实现构建专用封闭的B体系:在专用领域构建企业封闭生态,基于国产成熟工艺生产芯片,关注特定领域的垂直大模型,采用领域专有高质量数据。缺点:封闭,无法凝聚国内大多数力量,难以实现全球化构建全球共建开源开放的C体系:用开源打破生态垄断,降低企业拥有核心技术的门槛。用开放形成统一的技术体系,我国企业与全球化力量联合构建基于国际标准的统一智能计算软件栈。共享高质量数据库,共享开源基座大模型n中国人工智能发展的道路选择选择二:拼算法模型,还是拼新型基础设施?我国80%的中小微企业需要低门槛、低价格的智数据已成为国家战略信息资源。数据数据已成为国家战略信息资源。数据具有资源要素与价值加工两重属性,我国应继续加大力度建设国家数据枢纽与数据流通基础设施。AI大模型就是数据空间的一类算法基础设施。以通用大模型为基座,AI大模型就是数据空间的一类算法基础设施。以通用大模型为基座,构建大模型研发与应用的基础设施,支撑广大企业研发领域专用大模型一体化算力网建设在推动算力的基础设施化上发挥了先导作用。中国方案的算力基础设施化需实现“两低一高”:降低使用成本和门槛,提供普适的高通量、高品质智能服务。在供给侧降低成本,让中小企业能消费、愿开发;消费侧降低门槛,公共服务要易获取、易使用。服务效率要低熵高通量,高并发时系统也能高效运行,“算得多”对中国意义重大。n中国人工智能发展的道路选择选择三:AI+着重赋能虚拟经济,还是发力实体经济?实体经济(制造业占比27%)虚拟经济(制造业GDP占比11%)AI应用领域智能制造、工业机器人、新能源虚拟现实、元宇宙、区块链、大模型代表性行业装备制造、医药中国要走适合自己的AI赋能实体经济高质量发展之路nChatGPT与DeepSeek——维特根斯坦《逻辑哲学论》大语言模型(LLM)是指通过海量数据训练、具有超大规模参数的预训练人工智能模型,其核心在于通过深度神经网络学习数据中的通用规律,实现跨任务、跨领域的智能处理能力大语言模型的核心技术根植于自监督学习、强化学习和Transformer架构中n自监督学习为起点:通过无标注数据预训练,赋予模型基础智能,如n强化学习为终点:通过人类反馈微调,将基础智能转化为符合人类需自监督学习是一种利用无标注数据,通过设计代理任务自动生成监督信号进行训练的机器学习方法,无需人工标注数据自监督学习可以缓解数据标注成本,提升模型泛化性,更加适应开放场景而监督学习依赖人工标注数据,模型直接通过标注信号优化强化学习(ReinforcementLearning)是一种机器学习方法,智能体(Agent)通过与环境的交互,基于奖励(Reward)和惩罚n环境(Environment):智能体所处的动态n策略(Policy智能体从状态到动作的映射n价值函数(ValueFunction):评估状态或Sutton,R.S.;andBarto,A.G.2018.Reinforcementlearning:Anintroduction.MITpress基于人类反馈的强化学习(RLHF)ZhaoWX,ZhouK,LiJ,etal.Asurveyoflargelanguagemodels[J].arXivpreprintarXiv:2303.18223,2023.特卡洛树与价值/Mnih,Volodymyr,etal."Asynchronousmethodsfordeepreinforcementlearning."IMnih,Volodymyr,etal."Playingatariwithdeepreinforcementlearning."arXivpreprintarXiv:1312.5602Schulman,John,etal."Proximalpolicyoptimizationalgorithms."arXivpreprintarXiv:1707.06347(2017).Transformer最初用于机器翻译任务,成为自然语言处理领域的里程碑式突破,并推动了大模型时代的到来Transformer=编码器(encoder)+解码器(decoder)编码器:处理输入序列(如源语言句子解码器:生成目标序列(如目标语言句子),注意力机制:使神经网络在每个时间步只聚焦于某些重要/相关元素从统计语言模型到大语言模型泛化目标任务解决任务解决扩展语言模型依据提示完成解决丰富基于真实世界的任务任务解决特定任务辅助无偏任务特征学习特定任务辅助无偏任务特征学习神经语境建模语境感知表征语音大模型语音大模型统计学方法在特定任务中辅助大语言模型大语言模型预训练语言模型神经语言模型统计语言模型1990s201320182020目前OpenAIGPT4目前OpenAIGPT4主要支持20余种DeepSeeknDeepSeek-V3基本原理DeepSeek依托算法创新和算力优化,在开源数据上实现多项顶尖能力n训练成本550万$nDeepSeek进化路径!!!!DeepSeekDeepSeek-R1重要意义再次迎来“ChatGPT”时刻为什么DeepSeek会引起全球性的科技震撼?“有限算力+算法创新”的发展模式是突破算力卡脖子的关键未来应聚焦“高效”:围绕高效模型架构、高效强化学习、高•高效训练-提升数据利用效率•高效思考-提升思考信息密度•低位宽高效并行框架•训推一体的强化学习框架人脑约有1000亿个神经元、1000万亿个突触。而DeepSeek-V3的模型参数量为6710亿,GPT4的模型参数量为1万亿,数量级上与人脑有很大的差距。让人工智能像人一样思考,还有很长的路要走,拥有人一样的智能更是路漫漫!n据估算,GPT4的训练成本约为1亿美元,训练耗电相当于1000户家庭5至6年的用电量。如此巨大的开销,加上日益枯竭的训练数据,是否说明“数据驱动,算力堆砌”的人工智能开发路径是不可持续的?n人工智能未来的发展方向是什么呢?具身智能?量子AI?世界模型?nAI4EducationnAI4SciencenAI+新质生产力nAI正在接替部分职业AI4Education识识教学教学以上问题,传统课堂难以有效解决AI4Education工具层面AI4Education如何适应AI发展?如何实现AI赋能教育教学?如何改?技术上数智化教学AI+AI+实验40AI+实验40教学评价教学环境教学AI+课程教学设计教学设计教学AI赋能教学手段过程教学AI赋能教学手段教学管理教学教学管理教学方法引导教师合理使用AI,鼓励开展探索研究AI4Education角色关系:AI构建三维互动网络AI4Education深度利用:三大场景突破•思维链可视化工具:教师可通过AI拆解学生解题逻辑,针对性设•元认知训练系统:AI通过对话日志分析,指出学生认知偏差(如过度依赖记忆而•职业模拟实验室:结合大语言模型与虚拟现实,模拟企业真AI4Education协同创新:AI驱动的教育生态重
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 探讨项目团队文化建设的策略试题及答案
- 2025年注册会计师学习集体效应与团队合作切实可行的学习策略试题及答案
- 质量导向备战2025年注册会计师考试的关键点试题及答案
- 广东某超高层电视塔安全文明施工方案(内容详细、附施工图)
- 2025年证券从业资格的学习技巧试题及答案
- 项目管理考试资源的合理选择试题及答案
- 项目管理创新思维的运用试题及答案
- 2025年银行从业资格证考生经验分享试题及答案
- 2025年证券从业资格证应试经验试题及答案
- 财务报表的分析框架与关键试题及答案
- 混凝土桥梁预应力钢筋锈蚀的研究进展
- 传染病培训知识课件
- 多动症行为治疗
- 2025年杭州市能源集团招聘笔试参考题库含答案解析
- 艾滋病知识培训课件
- 专题07 等差数列与等比数列(考点清单+知识导图+ 13个考点清单-题型解读)(原卷版)-25学年高二数学上学期期末考点大串讲
- 高速公路汽车救援方案
- 《Origin的使用方法》课件
- 2024年WPS计算机二级考试题库350题(含答案)
- 2023中考道德与法治十大热点预测-2023年中考道德与法治考场速查宝典(部编版)
- 高中英语必背3500单词表(完整版)
评论
0/150
提交评论