预训练大模型白皮书-华为

高文中国工程院院士鹏城实验室主任自1956年人工智能在达特茅斯会议上被提出，人工智能领域的学者一直致力于提21世纪初，随着硬件性能的演进和大数据的兴起，情况发生了根本性的变化。2010年开始，深度学习以席卷之势，占领了人工智能的大部分领域，在许多公测的任务，而这件事在20年前是几乎无法想象的。从2018年的亿级来到了2022年万亿级，几乎每年都能看到数量级上的提升。件、框架、开发工具的支持。华为公司构建了从昇腾+鲲鹏芯片到AI开发框架法和解决方案。截至2022年，盘古大模型已经被应用于十余个行业的百余个场景耗，降低人工智能开发的门槛和成本，这对践行普惠AI,实现人工智能的泛化和规模复制，具有非常巨大古有盘古开天地，今有华为大模型。为解决人工智能算法落地的碎片化困境，预训练大模型应运而生。自华为云团队发布盘古预训练大模型以来，形成了全栈式AI解决方案，在很多领域获得了成功的应用。相信《预训练大模型白皮书》将会引领大模型健康发展，为通用人工智能探索一条可能的新路径。预训练大模型是当前新一代人工智能领域最前沿的研究方向，正成为世界各科技强国竞争的焦点。预训练大模型率先在自然语言处理领域取得突破性的进展，并迅速拓展到涉及图像、视展现了巨大的发展潜力。华为云发布《预训练大模型白皮书》,正逢其时，必定对AI行业产生有价值的指导作用，也体现了作为一个科技大公司的担当精神。我相信，预训练大模型可望成为跨媒体智能的重要技术手段。预训练大模型被称为人工智能应用的基础设施，它具有强大的知识建模、知识获取和应用泛化能力。华为云《预训练大模型白皮书》以华为云盘古大模型家族为代表，全面介绍了华为在大模型方面的系列创新性工作，包括视觉、语音语义、多模态、科学计算、图网络大模型，以及产业落地经验和对未来发展的展望。这本白皮书会给学术界和产业界提供重要的启发和借鉴。预训练大模型是人工智能领域的研究热点和前沿技术，近年来在自然语言处理、计算机视觉等方向取得了巨大成功。华为云团队撰写的《预训练大模型白皮书》,将其在大模型研发和落地中的经验总结出来，分享给学术界和工业界，对推动预训练大模型理论、方法、技术、应用的发展具有重要意义。爱因斯坦说：这个宇宙最让人难以理解的地方，就是它竟然是可以被理解的。斗转星移，大数据和人工智能在21世纪，为我们开启了一个理解人类自身认知的帷幕，逐步融入了我们的日常生活；也正是在这样一种时代背景下，旨在建立一种通用智能的“大模型”应运而生。它寄望于“预训练大模型+下游任务微调”的方式，将知识存储到大量参数中，扩展模型的泛化能力。很大意义上，对大模型的落地部署，能够超越产业和国家的界限，实现人类社会的福祉。华为公司的《预训练大模型白皮书》,我相信，能为我们建立普遍理性和平等的社会，提供强大的力量。近年来，以GPT-3、CLIP为代表的超大规模预训练模型被陆续提出，通过在海量数据上进行自监督学习，有效提升了自然语言处理与计算机视觉领域多个下游任务的性能。华为云在预训练大模型领域有着深厚的技术积累，于2021年发布了“盘古”系列超大规模预训练模型，受到了学术界和工业界的广泛关注。华为云《预训练大模型白皮书》总结了大模型的发展趋势及其带来的机遇，为未来研究提供了重要借鉴。让预训练大模型成为AI的操作系统专家专家专家模型2专家专家专家模型3品专家专家专家近年来，国内的云计算市场增速明显，企业上云明显提速。客户的需求逐步从“资源型需求”转向“智能型需求”及“业务型需求”,意味着PaaS、SaaS等各行业各场景的云解决方案将受到更多关注。尽管该市场呈现出了广阔的前景，业务的庞大数量和场景种类夸张的多样性也意味着巨大的难度。随着市场的成熟上升，“一招鲜吃遍天”的套路相对于针对用户需求定制化的解决方案已不具优势，意味着在细分领域深耕的中小型友商也具有瓜分市场的竞争力。因此，如何在保证市场占有率并支撑如此大量的业务的情况下，控制资源和成本、保证交付效率和保证产品质量是云厂商要解决的核心难题。另一方面，随着工业生产越来越强调智能化，大量传统行业开始积累领域数据，并寻求人工智能算法以解决生产和研发过程中遇到的重复而冗杂的问题。这就意味着，人工智能算法在落地的过程中，将会面对大量不同场景、不同需求的用户。这对算法的通用性提出了很高的要求。然而我们注意到，当前业界大部分人工智能开发者，正在沿用传统的“小作坊模式”,即针对每个场景，独立地完成模型选择、数据处理、模型优化、模型迭代等一系列开发环节。由于无法积累通用知识，同时不同领域的调试方法有所不同，这样的开发模式往往比较低效。特别地，当前人工智能领域存在大量专业水平不高的开发者，他们往往不能掌握规范的开发模式和高效的调优技巧，从而使得模型的精度、性能、可扩展性等指标都不能达到令人满意的水平。我们将上述问题，称为人工智能算法落地的碎片化困境。超大的神经网络超大的神经网络强壮的网络架构优秀的泛化能力大模型1p服场景1微调8部要场景3为了解决这个困境，预训练大模型应运而生。它收集大量图像、文本等数据，利用无监督或者自监督学习方法将数据中蕴含的知识提取出来，存储在具有大量参数的神经网络模型中。遇到特定任务时，只要调用一个通用的流程，就能够将这些知识释放出来，并且与行业经验结合，解决实际问题。近年来，预训练大模型相关研究和应用呈井喷态势，大有一统人工智能领域的趋势。不过我们也应该看到，预训练大模型距离规模化的商业应用，还有很长的路要走，这里不仅包含技术的演进，也包含商业模式的进化。按照我们的设想，大模型是未来AI计算的“操作系统”,向下管理Al硬件，向上支撑AI算法，使得AI开发更加规范化、平民化。我们希望通过编写《预训练大模型白皮书》,将我们团队在研究和落地中获得的经验总结下来，更好地促进行业的进步。是AI发展的必然趋势1.1人工智能发展史简介人工智能从1956年被正式提出以来，经历了数十年的发展历程。人工智能诞一般要求。在进入21世纪依赖，在大数据和大算力的支持下，归纳统计方法逐渐占据了人工智能领域的主孕育期繁荣期1低谷期1繁荣期Ⅱ低谷期Ⅱ繁荣期Ⅲ1943-1956年1956-1974年1974-1980年1943-1956年1956-1974年1974-1980年如上图所示，人工智能的主要发展阶段如下：AlanM.Turing设想的验证灵测试)。同时，1946年出以1956年达特茅斯会议为(如证明数学定理),而基年出现了专门用于模拟感图灵奖得主)和HerbertA.工智能将在20年内获得彻代人工智能算法的极限。1969年，MarvinL.Minsky人工神经网络)方面的研1980-1987年1987-1993年1980-1987年1987-1993年随着专家系统的出现和盛行，人工智能算法开始在1975年出现的MYCIN算液传染病的诊断工作。同Rumelhart发明的反向传播YannLeCun(2018年图灵奖得主)使用五层神经网络巨大成功并在20世纪90年代识别了美国超过10%的手写支票。以DARPA为代表20世纪80年代后半段在人的表现也无法预测甚至控大的观点包括DavidMarrA.Brooks提出的“模型可值得一提的是，深度学习并未解决人工智能的本质问题。未来，业界很可能还要经历数次低潮与革新，方能达成真正的通用人工智能。在此之前，虽然存在着关于强/弱人工智能的讨论和对科技奇异点的担忧，但业界的重心依然是人工智能算法的研发。1.2人工智能发展趋势的总体研判有趣的是，有影响力的三大流派(逻辑演绎流派、归纳统计流派、类脑计算流派)值得强调的是，深度学习是时代的产物。如果没有与大数据(存储设备和移动互联网的发展)和大算力(尤以GPU的飞速演进为代表)的支持，深度学习就不可能在短短的3--5年间占领人工智能的大部分领域。而在下一个划时代的计算模型在下一个划时代的计算模型出现以前，大模型将是人工智能领域最有效的通用范式，并将产生巨大的商业价值本需要8块GPU运行5个小时、1名开发的支持下，只需1块GPU运行2个小时，10%甚至1%。对大模型的研究，将有可能启发下一个通用计算模型回顾历史，2011年前后，正是传统统计学即使在2021年，10亿参数的计算机视觉模深度神经网络仅用6000万参数，即彻底击综上所述，预训练大模型是现阶段人工智能的集大成者，代表了统计学习流派的最高成就。在新一代技术未出现前，它将是人工智能研究和开发的最强武器。事实上，围绕大模型的研发和落地，中美之间已经展开了新一轮的竞争。盘古(华为)NLP2CVE多模态&科学计算数据：40TB文本(更新)悟道20(北京智源)NLP&多模态M6(阿里)多模态23盘古+工作流实现低算力，低门槛，边学边用的使用模式结合ModelArts和智能体工作流能力，实现轻量化交付借助华为已有行业基础，构筑行业大模型称《盘古大模型》)的名称对外发布。盘古大模型集成了华为云团队在AI领域数十项研究成果，并且受益于华为的全栈式AI解决方案，与昇腾(Ascend)芯片、昇思(MindSpore)语言、Mod计算机视觉是研究计算机如何去“看”的学科。其中，较为典型的任务包括图像割、物体追踪、姿态估计等。下图展示了图像分类中最著名的ImageNet数据集(超过2万个物体类别)和MS-COCO数据集(包括检测、分割等多种任务)。detection,segmentation,poseestimati低频区域(如天空)或者无明确语义的高频(如随机噪声)在计算机中，视觉信号一般以“密集采样强度”的方式存储：不同方向入射的光线在每个信道(如红绿蓝)上的强度被记录下来，用于呈现图像的基本内容。图像中的每个基本单元被称为像素——很显然，这些像素并不能代表基本的语义信息，因而图像的基本存储形态和人类能够理解的语义之间，存在很大的差距。在学界，这种差距被称为“语义鸿沟”,这也是几乎所有计算机视觉研究所需要处理的核心问题。进一步探究图像的存储形态，我们会发现图像信号的若干特点：鉴于上述特点，基于深度神经网络的预训练大模型就成为了计算机视觉落地的最佳方案之一。预训练过程能够一定程度上完成视觉信号的压缩，深度神经网络能够抽取层次化的视觉特征，而预训练结合微调的范式则能够应对丰富多变的域。以下，我们讲述盘古视觉大模型的整体思路和技术方案。图像是一种复杂的非结构化数据，包含丰富的语义信息。现如今，还没有任何一种方法能够对图像数据的数学规律进行准确的描述，因而人们只能通过收集大量的数据，来近似现实中图像数据的分布。2009年出现的ImageNet数据集是计算机视觉领域的重要里程碑，它使得训练、评估大规模图像处理方法成为可能。随着计算机视觉技术的进步和更多应用的出现，ImageNet数据集的局限性逐渐显现出来，包括规模、复杂性等。为了解决这一问题，我们必须收集更大规模、更加复杂的图像数据，而这也是业界的一致趋势。我们通过多种渠道收集图像数据，包括但不限于公共数据集合下载、自有数据集合扩充、各搜索引擎关键字爬取、以图搜图、视频图像抽帧等。从这些原始数据中，我们筛除了低分辨率、低曝、过曝、简单背景等低质量图像数据，再通过已有预训练视觉模型进行重复图像的判断和去除，最终保留超过10亿张高质量图像数据，占据约40TB空间。络，其中最大的计算模型具有接近30亿参数，最小的模型只有数十万参数，其大小相差超过1000倍，为负样本优化的影响。我们采用的预训练算法(发表于TPAMI上)的简略示意图如下所示：NPaUX十89p—上1%和10%的标签训练，我们的方法达到了66.7%和75.1%的分类精度，均显著超基础模型，并在超过10亿张ImageNet上达到了88.7%的分类精度，而1%标签的半监督学习精度也达到83.0%。同1Aircraft(飞行器)2CUB-200-2011(鸟类)3DTD(纹理)4EuroSAT(卫星图块)5Flowers102(花)6Food101(食物)7Pets(动物)8SUN397(场景)9StanfordCars(车)StanfordDogs(狗)1VOC(自然场景)2Comic(风格变换)3Clipart(风格变换)4Watercolor(风格变换)5DeepLesion(医疗)6Dota2.0(遥感)7Kitti(自动驾驶)8WiderFace(人脸)9LISA(红绿灯)Kitchen(厨房场景)自然语言，是人类进化过程中形成的一种高效的存储和交换信息的载体。人们在使用自然语言交流时，既可以使用“听说”的方式，也可以使用“读写”的方式。这就意味着，对自然语言的理解和使用可以分为两个部分，即对于文字和音频的处理，合成为语音语义处理。在人工智能领域，这两个子课题分别被称为自然语言处理和语音处理。与计算机视觉类似，语音语义处理的目标，就是让机器学会像人一样理解并使用文字和声音，与人类或者其他智能体交流。如图所示，自然语言处理和语音处理都可以分为理解和生成两个部分。其中，“理解”的目标是让机器理解人类语言背后的语义信息，“生成”的目标让机器使用人类语言表达自己的意图。自然语言处理和语音处理的区别在于，前者主要处理文本信息，后者主要处理音频信号。大部分情况下，文本和音频信号具有很强的关联性，但是某些情况下，它们也可以表达各自擅长，而另一种载体难以表达的事物(如音乐难以用文本准确表达出来)。大规模语言模型的障碍。2017年，基于自注意力的Transformer模块被提出，它结合了已有方法的优点，的出现和自监督学习方法的成型，业界在2018年迎来了大规模预训练模型BERT并就此进入大模型时代。2.2.1数据收集与计算机视觉领域类似，自然语言处理和语音识别也建立在大规模数据集的基础上。所谓“读书破万卷下笔如有神”,为了让模型掌握强大的语言理解和生成能力，我们需要准备海量的数据让模型进行学习，覆盖各个主题和领域。关于文本部分，我们从互联网公开爬取了40TB原始网页数据，并且进行解析和清洗。我们使用正则匹配等方式，过滤掉常见噪声数据，如网页标签、特殊字符、错误编码等，并且使用哈希的方法对数据进行去重，然后对数据的长度进行规范，舍弃太短的文章并切分太长的文章，以确保输入长度在合理的范围内。最终，我们得到约647GB文本数据，其组成如下图所示。关于语音部分，我们从互联网公开爬取了超过7万小时百科知识2.2.2预训练方法对于语义部分，我们使用的神经网络是基于Transformer结构的编码-解码器模型。编码器负责文本理解，使用双向自注意力机制，让每个词充分“观察”它两边的词，以捕获它在上下文中的语义信息。解码器负责文本生成，使用单向自注意力机制，逐词进行生成，每个词只能“看到”它前面的词，根据上文的信息来预测下一个词。7+/晋陪柔…阳孟：闻继甜不器后器毛我梨业条自的舆半器后排器垂斡旱量印回人丁鼾晋菇采X興半器5器台霉斡旱量高霉导習岳乱多甜片卓择F毁卫市中Y霉T‘幽要兵对片南一其米4到量‘对片√—朝释中县母‘目G区点1X由革[¥单影增手难群影网louiojsueII由言T‘章焊鲁准群影网乏神案由言到‘焊褐网阳导影JouJojsueI与唑案由革[!°器后影县耳到条蛋手[J‘Y莱平×与器趣首‘得是量士FX°中示望YU44骤帝不母‘珍旱量目卵凹崇金陪省`湿丑X量`趣酐圆算`莱与酒鼻罢图‘群除I岳王现土√001具群L事动亚[?‘4卵要玉理业4草帽‘4得酐平封率要首毒尊L头‘卿°米市應a壁丁晋磁，球晋料目勒1毒斡‘V兵非采目的舆半，称0414‘兵翠末土底霉鄭‘爆末工卵呈G一孝影唱‘目彰头斗霉旱量E回中×堂丑唱‘目勒兵毒料旱量喜霸由单[J‘4弱趣X+手°4得9手唑4得趣F回毒斡T!Y1盘古的语义模型是业界首个干亿中文大模型，发布时(2021年5月)在中文理解类榜单CLUE上获得第一名。个任务。对于生成类任务，我们在NLPCC2018文本摘要任务上取得了业界最佳成绩，超越第二名60%。由于多任务预训练，我们的模型具有强大的零样本推理能力，相比于RoBERTa模型，零样本推理准确率提升超过50%。我们的语音模型是当前最大的中文语音模型之一，拥有超过4亿参数，在自有数据上相比于基线模型字符错误率相对降低10%。下图展示了几个典型的自然语言理解任务，包括文本分类、阅读理解、实体识别等。盘古大模型在基于提示的微调下，能够轻松地在这些任务上取得很高的理解精度。阅读理解任务输出2.3多模态大模型要目标就是处理和关联多源异构信息(如语音信息、文本信息、图像信息、视频信息等),通过设计相应信视觉问答(通过图像内部所提供的信息对相关问题作答)、视觉定位(定位在一张图像中一段话所描述的对应区域),等。而使得计算机能够处理完成多源异构信息的交互与知识抽取。盘古大模型围绕视觉(图像)和语言(文本)2.3.1数据收集与视觉和语音语义大模型相同，多模态大模型必须在海量、高质量的数据上进行训练。我们采用了业界通用的做法，即从互联网中爬取大量数据，然后使用过滤算法消除其中不符合要求的部分，最终得到高质量的图文配对数据，用于多模态大模型的预训练。具体地说，我们设定大量文本关键字，在搜索引擎上获取排名靠前的图像，并且将图像对应的文本(从元数据中获得)存储下来，形成图文配对数据池。去掉其中的重复数据后，我们进一步筛除其中分辨率过低或者文本长度过短的数据，随后利用已有的多模态预训练模型对这些配对的相似度进行判断，如果相似度太低，则将其文本描述丢弃并使用图像自动描述算法补充生成文本数据。经过上述预处理过程，我们最终得到了约3.5亿高质量的图文配对数据，占据约60TB存储空间。2.3.2预训练方法多模态大模型预训练的关键，在于不同模态数据的高效交互和融合。当前主流的多模态大模型架构主要分为单塔架构和双塔架构。其中单塔架构只利用一个深度神经网络(一般是Transformer)结构来完成图像和文本之间的交互融合，本质上属于信息前融合方案；而双塔架构利用不同的神经网络来完成不同模态的信息抽取，然后仅在最后一层做信息交互和融合，因而属于信息后融合方案。此，盘古团队提出了自研算法LOUPE(发表于NeurIPS2022会议)。该算法利用博弈论相关思路将图像中盘古多模态大模型在多模态的各项下游任务，如跨模态检索、图像描述自动生成、视觉上取得了当前业界最佳的图文检索精度，其中在MS-COCO的以文搜图任务上超过业界标杆算法CLIP达拉格朗日航天航空N-S方程土木上述问题很有价值，却也非常复杂。在人工智能之前，科学家们通常通过分方式提炼这些问题的内在规律。这些传统方随着人工智能技术的飞速发展，业界涌现出了Al+科学计算类方法，即使用嵌入各类科学方程的深度神经网络，从观测数据和仿真数据中直接学习问题蕴含的规律，AIAI模型从预训练大模型的角度看，科学计算大模型与前述大模型存在若干相似之处。它们都建立在大规模数据集上，都需要设计大参数量的神经网络，都需要复杂的优化过程，最后将知识存储在网络的参数之中。以下，我们简单描述科学计算的独特之处。在Al+科学计算场景中，数据分为观测数据和仿真数据两类。其中观测数据由观测工具(如游标卡尺，雷达，传感器等)产生，而仿真数据由仿真算法(对应人类知识)产生。这两类数据及其融合数据和机理知识，都可以作为AI模型的学习对象。·不同科学计算场景的观测数据往往相差巨大，观测数据的收集往往需要特定领域的专业仪器与系统的实验，例如蛋白质结构预测问题中蛋白质结构的测定需要依赖于X射线衍射方法与核磁共振法、短临降雨预报问题中需要气象雷达收集的雷达波反射率数据、植物表型分析问题中数据则来自于实验员的收集，等等。在一些科学计算场景中，观测数据的数据量非常庞大，例如气象数据中的全球气象站历史数据、卫星数据和雷达回波数据。也有一些场景中，观测数据量相对较少，例如结构应力分析力传感器收集的数据。·仿真数据来自于数值仿真算法的输出，蕴含着丰富的数学物理信息，同一个问题算力多少。相对于观测数据，仿真数据通常数据量更大(取决于仿真时使用的噪音数据结构收集方式数据特点应用级别大回波值中等中等空白区域短临降雨级别中等定表型(如产量，较小高实验员手工收集或者高高，数据点较少型-基因型关系分析级别小固定词表的大高由测定的推算出蛋白质结构预测级别l低由气象仿真算法得到大中等由气象仿真算法与观测得到和实际场景观测观测数据的信息中长期2.4.2模型构建高度),则适合使用三维网络模型。二维网络和三维网络均可以借鉴计算兴偿-票-1s之内即可得到全球海浪高度预测，1分钟内能够完成超过100次海浪预测任务，推理效率较传统方法提升了4-5个数量级。使用AI算法，我们可以迅速得到不同可能的风速条件下的海浪高度，从而进行实时预2.5图网络大模型当前，人工智能技术正在进入干行百业。除了图像、文本等常见数据形态外，还存在大量极度异质化的数据，如公司ERP数据(计划、财务、销售、采购)、分子基因、交通网络、股票、点云，等。这些数据很难通过标准的卷积、Transformer等模块进行处理，因而需要适应不同任务和不同模态的神经网络，以达到量化的效果。我们以图网络的形式对通用数据进行建模，以利用图结构来表达数据元素间的相关性。在上述背景下，盘古图网络大模型被设计出来，它的目标是统一大模型在通用数据域上的构造方案，从而实现不同任务场景下端到端的大模型训练、优化、微调和部署。盘古图网络大模型主要实现的目标有：高泛化高可解释性医疗、金融等)的需求终身学习终身学习高精度冷启动同时，盘古图网络大模型还配备有其他适合部署的功能，如模型加密(使得模型在云、边、端等不同场景下部署时收到产权保护)和大规模数据训练(支持多节点并发训练),使得整套系统对实际应用更加友好。盘古图网络大模型整体架构如下图所示：33基模型图网络数据动使用超采样的不同数据集来训练不同的基模型：在这个过程中，不同基模型的超参数通过AutoML的相关型，都不会对图网络的汇聚产生影响，因为图网络本身对于输入的基模型数量不敏感。GNNadd_base_algorithmModeloutput1ModBasemodelselection基模型选取通过BasicAlgorithm产生对应算法池内的对应算法和搜索空间，之后使用H方便地加入其中，进行图网络汇聚(例如图1中的虚线的ModelOutput5),而不需要更改其他基模型、层古识别工作。庞大的检车员数量造成每个路局的资金负担。当前，以人均年工资支出约为年在该领域的支出近10亿元；同时，车辆故障分析工作强度大、难度高，对车辆TFDS图像自动识别从2007年就开始尝试采用图像自动识别技术进行研究，当时从故障部件的边缘及灰度态非常明显的故障进行识别，如：截断塞门手把关闭故障，并采SVM(支持向量机)技术，识别率才达到部部件定位故障识别盘古行业预训练模型图像图像质量评估部件定位部件定位异常整车综合分析整车故障综合分析基于盘古行业预训练模型的铁路TFDS开发方案上图展示了盘古视觉大模型在为TFDS定制的解决方案。依托于盘古行业预训练大模型，我们定制化地开发了整体解决方案，包括车型筛选、工位分类、配件筛选、图像质量评估、已与车型先验的模板匹配、多车级联分析等模块，其中盘古大模型核心解决方案包含以下组成部分：故障定位、识别故障定位、识别基于铁路行业预训练大模型，结合目标检测、图像识别框架，进行部件定位、故障识别自动增强和评估图像进行自动评估，对正常图像做进一步故障识别，非正常图像返回人工审核模板匹配根据已知的车型信息建立零部件的相对位置模板，预报部件位置异常(丢失、错位)行业预训练模型利用百万级无标注铁路行业生成铁路行业预训练模型车辆拆分根据整列车图像，图像基于盘古视觉大模型的整体解决方案，在5T检测车间集中作业分析的14条线路进行了验证。在2021年9月19日至2021年10月20日期间，由5T检测车间动态检车员预报并经组长确认为提报故障的数据样本(故障图片)共计32007张。在测试环境下，这些故障图片与大量正常图片混合，送入盘古大模型进行判断。如下表所示，实测结果表明，当前盘古大模型的识别精度已经超过人类检测员水平。1业务场景挑战业务场景挑战在银行、保险的线上&线下网点销售场景，借助销售实时辅助系统，提升人员产能10%~50%循环智能的解决方案和业务结果集集本产能高达50%,中级销售产能创造性地基于过往沟通内容与通过未成交名单意向排序和已国太平轻配筹依托于大模型的通用性和泛化性，我们可以将该系统迁移到各个行业中，性能保持稳定。由于在预训练中学习过海量的百科类数据，模型中存储了大量通用知识，可以针对特定问题生成合理的答案。型还具备聊天能力，可以生成合理的多轮对话回复。泛，多达300类；此外，大规模城市往往每天都面临着大规模事件工单进行分发，因此事件工单的智能分事件工单的输入信息，往往是网格员通过巡查上报(拍照+描述)或者市民通过随手拍上报(图片+文本描述)模型相较于小模型