工商银行人工智能大模型白皮书 2024

中国⼯商银⾏软件开发中⼼产业变⾰，智能引领。习近平总书记指出，世界百年未有之⼤变局加速发展⾯临新的战略机遇。⼈⼯智能是引领这⼀轮科技⾰命和产业变⾰的战略性技术，具有溢出带动性很强的‘头雁’效应。促进⼈⼯智能同经济社会发展深度融合，推动我国新⼀代⼈⼯智能健康发展，是科技界和产业界的时代因势利导，乘时⽽上。党和国家推出⼀系列⼈⼯智能发展的政策和规划，为⼈⼯智能产业提供了强有⼒的⽀撑和引导，推动科研和应⽤跻⾝世界先进⾏列。近期颁布的《⽣成式⼈⼯智能服务管理暂⾏办法》明确了对新兴的⽣成式⼈⼯智能⼤模型产业的⽀持和⿎励，完备了科学监管框架，为产业健康发展提供了有⼒政策导向和法规保障。商业银⾏作为数字化和智能化的先⾏者，具备⽣成式⼤模型应⽤丰富的场景舞台和技术实施基础，势必成为⼤模型技术和⾏业应⽤深度融合的最佳⽰范。⾦融强国，创新求变。中央⾦融⼯作会议指出，⾦融要为经济社会发展提供⾼质量服务，要做好科技⾦融、绿⾊⾦融、普惠⾦融、养⽼⾦融、数字⾦融五篇⼤⽂章，为商业银⾏的⾦融强国建设指明了⽅向。落实在经营中，商业银⾏同时必须⾯对客⼾需求多样化、⻛险防控复杂化、竞争环境激烈化等多⽅⾯的挑战和机遇，需要充分利⽤⼈⼯智能等新技术提升服务质量和效率，增强⻛险管理和创新能⼒，提⾼企业在数字经济中的竞争⼒和影响⼒。⽣成式⼤模型作为近年来⼈⼯智能领域的最新技术成果，以其强⼤的表达取得了令⼈瞩⽬的成果，为⾦融服务和产品的创新提供了新的机遇。数字银⾏，砥砺奋进。商业银⾏的数字化、智能化转型不是个⼀帆⻛顺的过程，当中涉及组织、技术、数据、⼈才等各⽅⾯的挑战。如何结合银企⾃⾝的优势和业务场景的特点，充分挖掘⼈⼯智能⼤模型的潜⼒，有效防控⼤模型潜在的技术和科技伦理⻛险等，都是急需解答和实践的现实问题。本⽂从商业银⾏视⻆，对⽣成式⼤模型的技术⽀撑、应⽤场景和评测⽅法等各⽅⾯进⾏调研和全景式展⽰，为商业银⾏的数字化发展提供理论和实践参第一章概述 第二章人工智能大模型发展现状 第三章人工智能大模型应用案例 49 第四章总结与展望 ⼈⼯智能技术在过去⼗⼏年⾥取得了巨⼤的发展，形成了完备的产业⼒的背后是70-80%的碎⽚化应⽤场景，当前的主流AI技术框架下，仍然需要⼤量的⼀事⼀议的建模和模型训练，应⽤开发成本和实施周期始终是规模化应⽤的⼀⼤制约。从使⽤者视⻆，⼤多数⼈⼯智能应⽤局限于特定场景下机械化重复性的任务，缺乏类⼈的开放式沟通、逻辑推理、创意创作的能⼒，智能化⽔平不⾼。实现具备⼴泛领域知识和问题解决能⼒的通⽤⼈⼯智能(AGI)⼀直是科技前沿不懈努⼒的⽅向。2018年以来，⼤模型技术逐渐发展成为通往通⽤⼈⼯智能的关键演进路径。⼤模型的深度神经元⽹络参数规模达到百亿级以上，通过⼤模型算法的基础预训练模型。在⾯向具体场景应⽤时，型尚需通过少量的场景专属任务的标注数据来进⾏微调，以便能够理解需要解决的任务类型，最终形成为场景专属模型真正落地。⼤模型的出现在⼀定程度上解决了⼈⼯标注成本⾼的问题。通过对海2量数据进⾏⾃监督学习，可以有效地从⼤量标记和未标记的数据中捕获知识，让模型学习到更多的通⽤特征。借助“预训练+微调”可对特定任务进⾏优化，将通⽤特征迁移到不同的任务中，提升模型的精度和泛化能⼒。模型参数规模越⼤使得⼩样本的学习也能达到⽐以前更好的能⼒，极⼤的降2017年，⾃然语⾔处理领域的新型神经⽹络架构转换器（transformer）优秀的⾃然语⾔⽣成式⼤模型（⻅图1）。2020年OpenAI推出的GPT-3参数规模达到1750亿，训练数据量⾼达45TB，在通⽤⽂本⽣成能⼒⽅⾯达到成对抗⽹络(GAN)等⽣成式模型的成熟和深度⽹络规模的提升，推动着图像⽣成质量稳步爬升。不过初期的图像⽣成只能⽀持特定场景(如⼈脸)图像的随机⽣成，或者将⼀张图⽚在两种特定的⻛格之间转换(如卡通⻛格和实物⻛格)，实⽤性相对有限。2021年开始，跨模态⽣成式⼤模型取得突破性进相关质量已能达到商业应⽤的要求。尤其特别的是跨模态⼤模型使图像和⾳视频的⽣成能够通过⾃然语⾔的输⼊进⾏控制和调节，为多媒体内容⽣成应⽤打下了必备的基础。32022年11⽉⼈⼯智能领域科创公司OpenAI以云端服务的形式发布⽣成式对话⼤模型ChatGPT，能够通过单轮或多轮的互动问答不断深⼊理解⽤⼾述求，完成知识问询、代码写作和诊断、⽂案创作、聊天、算数等⼀系列传统的NLP任务。这种以⾼度拟⼈化的通⽤交互模式向普罗⼤众提供开放域AI服务的能⼒，被认为是通⽤⼈⼯智能发展的⾥程碑事件，获得了市场的⼴泛关注，仅⽤2个⽉就创造了⽤⼾数过亿的新记录，引爆了新⼀轮研发和应⽤热潮。2023年以来，国内外头部科技公司竞相发布⼤模型，形成了“百模⼤语⾳⼤模型、视频⼤模型等垂直领域⼤模型不断迭代，⼒争百尺竿头更进⼀步，例如Sora凭借在视频质量和⼀致性⽅⾯的出⾊表现，掀开新篇章；能在基础⼤模型之上，⾯向特定领域进⼀步衍⽣出程序开发（Code）、商业智能（BI）、调度规划（Agent）等任务⼤模型（⻅表⼆⾯向垂类⾏业则发展出医疗、法律、⾦融、通信等⾏业⼤模型（⻅表三⼤模型能⼒呈现向4任务和⾏业纵深的快速拓展的态势。旨在理解和⽣成⼈类语⾔，通过学习到通过学习视觉特征和语义信息的关系，通过学习语⾳信号中的声学特征和语义信息，从⽽能够进⾏语⾳识别和合成等通过⼤量代码样本的训练，学习代码的结构和特征，从⽽⾃动⽣成符合要求的获取实时数据的图表展⽰，也可⾃动总旨在解决复杂的调度问题，其通过⾃动5其旨在利⽤⾃然语⾔技术来处理通通过医疗书籍、病例等数据训练⽽利⽤深度学习的⽅法了解各种⽓象作为⼈⼯智能运⽤的先⾏⾏业，银⾏业⾼度重视⼤模型合实际需求先⾏先试，积极挖掘新技术在⾦融业务中的应⽤场景，加速推动企业数字化转型和提升市场竞争能⼒。在另⼀⽅⾯，以代⼈⼯智能技术对于当前⼈⼯智能全技术栈带来⾰新式的影响，在基础设6施、数据准备、算法调优、安全可信等⽅⾯均提出⾏持续探索和优化建设路径，形成⾦融⼤模型的最佳实践。基础设施、⾼质量训练数据、模型架构和训练算法等变引发质变：专⽤AI训练集群为研发百亿级参数规模以上的⼤模型提供了硬件基础；预训练语料库的不断扩充为⼤模型提供了丰富的知识来源；转换器（Transformer）注意⼒机制的应⽤改进了模型对⻓程依赖关系的建模能⼒；指令微调技术强化了模型对⽤⼾提问意图理解和反馈偏好的适配程度等等。鉴于⼤模型技术栈的复杂性，⼤模型⼯程化平台成为⼤模型企业级应⽤的持续集成等⾃动化功能，极⼤简化了模型和应⽤开发流程。商业银⾏实施⼤模型企业能⼒建设，应当结合业务需求特点选择合适的路径构建完备的基础和⼯程技术体系，降低使⽤⻔槛，加速⼤模型从研发到产品和解决⽅案的价值化过程，充分赋能业务。7(1)算⼒设施当代以深度神经元⽹络为代表的⼈⼯智能模型涉及⾼数据吞吐量的矩阵和张量运算，对算⼒先天具有较⾼的要求（⻅图2）。相⽐于早先在单卡或者单机上可以训练的深度⽹络模型，⽣成式⼤模型的参数规模⾼⾄数千亿，对计算设备的内存开销巨⼤，动辄需要上百张算⼒卡的⽀撑。基于海量数据的训练过程同时意味着可观的计算时间开销，为了缩短训练周期，在实际的⼤模型研发中往往会进⼀步提⾼模型训练的并发度，推升算⼒集群达到万以上的规模。这样的算⼒设施必须通过芯⽚、⽹络、调度框架等系统级的协同优化来实现对⼤模型的⾼性能⽀持。同时，通过终端和云端的混合协同，有效降低推理成本并提升速度，云边端三级算⼒紧密结合将是解决⼤模型⼤规模落地应⽤问题的主流⽅案。8⽬前通⽤的⼈⼯智能芯⽚以英伟达的GPU产品为主流。其中英伟达的BlackwellGB200计算平台是⼀款基于最新Blackwell架构的超级芯⽚，旨在⼤幅提升AI计算性能和能效。由两个B200BlackwellGPU和⼀个GraceCPU组成。B200GPU包含2080亿个晶体管，采⽤台积电4纳⽶⼯艺制造，具有⾼达20petaflopsFP4计算能⼒。GraceCPU则配备了72核⼼的ArmNeoverseV2内核，可配置TDP⾼达2700W。GB200在推理⼤语⾔模型性能上⽐前代H100提升了30倍，同时成本和能耗降⾄原来的1/25。GB200配备了384GB内存，并通过900GB/s的超低功耗NVLink技术连接两个GPU和CPU。内存带宽提⾼了1.4倍，内存容量提⾼了1.8倍，从⽽增强了处理⽣成式AI任务为⼤模型训练提供坚实的算⼒底座。国产AI算⼒产业近年来取得了⻓⾜的发展。华为昇腾910对标业界先进AI产品，单精度浮点(FP32)计算速度最⾼可达每秒99万亿次，远超业界计算速度最⾼可达每秒752万亿次。在算⼒集群⽅⾯，Atlas900A2PoDc最⼤可扩展⾄包含8000昇腾芯⽚的AI算⼒集群，提供3EFLOPS超强算⼒，计算节点间通过200GRoCE⽹络互联，保障集群训练时的⾼线性度。(2)模型并⾏框架在集群化AI算⼒设施的基础上，⼤模型的训练可以通过以下⼏种并⾏9模型并⾏（⻅图3由于当前的⼤模型规模往往远超单个计算设备的内存容量，将⼤模型切分到多个设备上成为⼀种⾃然的选择。⼤模型从输⼊到输出由结构相似的算⼦层级连接堆叠⽽成，形成模型的深度；在每个层级模型可以在宽度和深度两个⽅向上进⾏切割。张量并⾏是宽度⽅向的切分，它基于矩阵运算分解的数学原理在模型的层内进⾏分割，形成的单个⼦模型跨越完整⼤模型的所有层级，但只包含每个层级的部分运算。流⽔线并⾏采取基于深度的切分，将⼤模型的不同层级拆解到各个计算设备并通过流⽔操作的⽅式形成各个层级运算的并发执⾏。相对于流⽔线并⾏中分布式数据交换主要发⽣在承载相邻层级的计算设备之间，张量并⾏中各个计算设备之间均产⽣⼤量的数据交换，对数据交换的带宽要求更⾼，所以主要应⽤在⼀机多卡的服务器节点内部的并发实现。数据并⾏（⻅图4这种模式下，数据被拆散分配到位于不同计算设备上的模型实例来参加训练过程，设备相互之间定期地就训练所得的模型参数或者参数优化的梯度值进⾏同步，保证所有设备上的模型状态保持⼀致。数据并⾏⼀般要求每个设备上的训练实例储存和维护完整的模型参数和状态，所以并不能节省AI算⼒设备的内存开销。零冗余优化器(ZeRO-ZeroRedundancyOptimizer)⽀持将模型的参数、梯度值和优化器状态划分到不同的进程，允许每个设备的训练实例只储存模型的⼀部分，在训练过程中每个训练实例动态地从其他设备通讯获取需要的模型参数和梯度值来完成本地的训练计算，从⽽极⼤提升数据并发模式下的内存使⽤效率。混合并⾏（⻅图5在实际应⽤中往往综合模型并⾏和数据并⾏等多种策略的组合，以充分利⽤多个维度的并⾏能⼒，实现取⻓补短。例如采取数据并⾏+流⽔线并⾏+张量并⾏的模式可以充分利⽤算⼒资源和通信带宽达到兼顾模型的内存扩展性和训练加速的⽬的。⽬前主流的AI计算框架⽣态均已⽀持以上全部或者⼤多数的并⾏训练模式。全球来看，典型的如PyTorch+DeepSpeed⽣态和TensorFlow+Mesh-TensorFlow⽣态。国内来看，近两年国内⼚商推出的AI框架市场占有率也正稳步提升。百度⻜桨在2023年针对于⼤模型开发新发布了PaddleFleetX开发套件，其核⼼技术包括全场景分布式并⾏策略、分布式训练优化技术和⾼效的⼤模型分布式推理与部署⽅案，已经具备可观的开发者认知度。华为的昇思MindSpore框架充分考虑⼤模型开发时可能会遇到的问题，通过软⼤模型开发并⾏代码量降低80%、系统调优时间下降60%，成为国内最活跃的⼤模型开源框架之⼀，在科研领域⼴受认可。(3)训练数据⼴泛认为是AI⼤模型竞争的重要因素。在所有的⼤模型训练数据集中，语料数据的规模遥遥领先，有⼒地⽀撑了语⾔⼤模型的快速发展。语料数据可来⾃⽹络⽂本、书籍、⽂学作品、新闻、媒体数据、社交媒体数据和公共数据集等多样性的渠道。这些渠道提供的数据涵盖众多不同语⾔样式和主题，⾮常有助于⼤模型通⽤能⼒的学习。⽹络⽂本：互联⽹上的⼤量⽂本是⼤语⾔模型的主要数据来源。其内容包括但不限于⽹⻚信息、博客⽂章以及维基百科等，这些数据可以帮助模型学习到丰富的语⾔样式和⼴泛的主题。书籍和⽂学作品：书籍和⽂学作品是另⼀个重要的数据来源。这些⽂本提供了⼤量的语⾔表达和⽂化背景，有助于模型学习到更多的语⾔规律和新闻和媒体数据：新闻报道和媒体⽂章数据可以涵盖各种主题和领域，有助于模型学习到与时俱进的语⾔表达和话题。以作为⼤语⾔模型的数据来源。这些数据通常包含了⼤量的实时⽂本，了当前的社会和⽂化动态。此外，还有⼀些收集整理好的公共⽂本数据集可供使⽤，例如以英料为主的CommonCrawl、GutenbergProject等。中⽂语料⽅⾯，智源研究院发布了⼤规模、⾼质量数据集WuDaoCorpora，悟道⽂本数据集采⽤20多种规则从100TB原始⽹⻚数据清洗⽽得，开源数量约200G。上海⼈⼯智能实验室也联合⼤模型语料数据联盟构建了“书⽣·万卷”数据集，其包含⽂本、图⽂、视频三部分数据，数据总量超过2TB。当前，⾏业普遍认为数据规模与⼤模型的性能⾼度相关。数据规模的增加可以提⾼模型的性能，帮助模型覆盖更多的知识和规律，从⽽学习到更丰模的数据亦有利于提升模型的泛化能⼒，加强模型对于不同主题和领域表达的适应性，提⾼模型在新数据上的泛化性能。但是能导致训练时间和计算资源的增加，因此在考虑数据量时，也要权衡其与训练时间及计算资源之间的关系，在给定的计算⼒下，精确匹配语料规模和模型的参数规模。在数据驱动的模型训练中，数据质量同样需要给予⾜够的关注，以避免模型在学习过程中受到误导，获得偏⻅信息，降低模型的整体表现。尤其是在处理⼤规模数据时，这种情况更加明显。⼤规模数据往往包含各种噪⾳和训练数据集重复内容、相似⻚⾯，或是特定主题和特定地域的偏好数低下的语料加⼊模型训练，得出的结果可能⽐的重复数据甚⾄在训练过程中可能导致模型陷⼊⽆意义的局部最优。为了解决这些问题，需要采取⼀系列的数据处理步骤，以降低这些因素对模型训练的负⾯影响。具体步骤⻅图6。训练数据集人工评估数据去重隐私过滤数据分词增加/修改清数据去重隐私过滤数据分词洗规则扩充敏感词表数据清洗增加增加/修改清洗规则扩充敏感词表数据处理平台基于模型的数据评估数据清洗：通过使⽤正则表达式或其他⽂本处理⼯具，来去除数据特殊字符、空格、标点符号等⽆关信息，从⽽确保数据的数据去重：采⽤哈希算法或者其他去重技术，对数据进⾏去重处理的过程。这⼀过程中，通常通过⽐较数据的哈希值或者特征向量来判断数据是否为重复数据，然后删除那些重复的数据。以采⽤数据脱敏、加密或匿名化等⽅法来保护隐私。例如，对姓处理，将真实姓名替换为虚拟的名称。数据分词：对于⽂本数据，可以使⽤现有的分词⼯具或⾃然语⾔处理库，将⽂本分割成有意义的词语。常⻅的分词⽅法包括基于规则的分词和基于通过上述步骤，可以消除重复数据，还能清洗和过滤隐私信息，并进⾏分词处理。此外，构建⾼质量的训练数据集还需注意均衡调节各种形式语料的混合⽐例以保证模型的通⽤和泛化能⼒。(4)模型架构当前主流的⽣成式⼤模型架构以转换器（transformer）结构为核⼼单元组件（⻅图7）。转换器能够并发地接收⻓序列数据输⼊（⽐如⻓⽂本），基于对当前数据序列的分析⾃⾏判断每个数据元素与其他任意元素的相关性，并根据这些相关性权重（也即注意⼒）进⼀步加权计算和提炼出数据特征表⽰，因此也被称为⾃注意⼒机制。转换器的⾃注意⼒机制使能神经元⽹络并⾏处理⻓数据序列，⼀⽅⾯⼤幅提升了计算效率，另⼀⽅⾯通过对任意相对距离间的元素进⾏⼀视同仁的相关性建模，能够有效的捕捉到⻓序列中数据元素间的⻓程依赖关系，从⽽极⼤的提升模型的理解和识别能⼒。转换器机制在2017发布后在各种⾃然语⾔处理（NLP）任务上都取得了令⼈瞩⽬的成绩，并逐渐推⼴到计算机视觉等领域，成为⽬前⼤模型的基础结构。⼤模型按照模型架构划分，⼜可以分为单体模型和混合模型。单体模型采⽤单个深度神经元⽹络，通常使⽤稠密性⽹络结构，对于任意任务输⼊每个⽹络节点都参与模型的计算，所有⽹络区域都被激活，计算量和通信量⽐较⼤。⽬前业界⼤多数⼤模型采⽤单体结构。例如OpenAI推出的GPT-3拥有1750亿参数的超⼤规模⽹络，包含有96层转换器结构，利⽤了多头注ChatGPT的模型结构据称和GPT-3类似。混合模型采⽤多个相对独⽴的神经元⽹络，相当于将多个相对较⼩的模型组合为⼀个⼤模型，避免模型越来越⼤，训练样本越来越多，每个样本都需要经过模型的全部计算所导致的训练成本的平⽅级增⻓问题，因此也称为混合专家模型(MoE-MixtureofExperts)。对于单个任务输⼊来说，⼀般只需激活⼀部分⼩模型进⾏计算，这样就节省了计算资源。为了确定⼀个任务输⼊需要激活的⼩模型，混合模型机制引⼊了⼀个决策⻔的机制以⽣成要激活的⼩模型索引，因此在控制⽅⾯增加了复杂度。⾕歌的SwitchTransformer是混合模型的典型代表。⽬前⽣成式模型的佼佼者GPT-4据悉也采⽤了混合模型的MoE架构，对后续超⼤模型的进⼀步发展可能起到相当的导向效应。(5)训练算法⽣成式⼤模型在通⽤和领域专属知识上强⼤的建模和表达能⼒、对于使⽤者指令要求良好的理解和跟随能⼒、对⽣成内容的合法合规及伦理价值观对⻬的保障，需要历经预训练、再训练、监督学习微调、奖励模型训练以及强化学习等⼀系列的训练过程来予以实现，⻅图8。理想辅助反应10-100K（提示词、回复）数量低，质量高语言建模预测下一token微调模型原始网页万亿字文本数量大，质量低语言建模预测下一token强化学习生成最大奖励的token预测奖励一致性提示词10K-100K提示词数量低，质量高100K-10M对比数量低，质量高基础模型强化学习模型奖励学习模型监督微调奖励学习强化学习预训练模型数据算法~~预训练和再训练：预训练是⼤模型成功的基础。它通过⼤规模的数据来多模态等⼴泛的领域均取得了显著的成效。预训练主要采取⾃监督学习的[2]引自微软AndrejKarpathy的演讲PDFStateofGPT:https://karpathy进⾏⼈⼯标注，从⽽具备⾮常好的数据扩展性。预训练随机地隐去输⼊⽂本中的部分字词，要求模型预测⽂本中缺失的部分，再将预测结果同隐去的内容做⽐较，⾃给⾃⾜地形成监督信号指导模型学习上下⽂语义知识。⽽再训练是在通⽤预训练模型的基础上，加⼊领域数据对模型做进⼀步的预训练。这⼀步骤对于商业银⾏的⼤模型应⽤⾮常重要，因为它将通⽤的预训练模型转化为⾦融领域专属⼯具，使得⼤模型对于⾦融领域的问题和任务更加精确和可靠。监督学习微调：经过预训练的⼤模型具备丰富的知识，但除了⾃监督学习中的补全任务外没有其他解决问题的能⼒，需要使⽤有标签的数据集进⼀步调教。⽣成式⼤模型接受⾃然语⾔的指令来理解任务要求，必须保持良好的指令跟随能⼒，使得指令微调成为其重要的训练步骤。指令微调采⽤监督学习的⽅式，训练数据集包含众多的输⼊、输出对。输⼊由任务指令和具体任务的场景信息组成，输出则是期望的答案样例。微调⽅法可以根据不同的⽬标和资源进⾏选择，例如对⼤模型的全量原始模型的主要参数只对部分参数进⾏训练。低秩适配（LoRA-LowRankAdaption）是⼀种新型的轻量化微调训练⽅法。它将训练过程中模型每⼀层级中的参数变化值建模为⼀对约简的矩阵，通过训练简化后的矩阵参数的⽅式实现对模型的增量训练，⽽不改变原模型的参数，可以极⼤地降低训练的资源开销，在⼤模型的微调训练中获得越来越多的应⽤。奖励模型训练：奖励模型⽤于评判⼤模型的输出是否符合⼈类偏好和价值观，是训练⼤模型⽣成内容保持价值对⻬的辅助模型，主要采⽤监督学习的⽅式基于⼤量的⼈类偏好数据拟合⽽成。偏好数据集的构建可以利⽤已有的监督学习微调后的⼤模型，对相同问题⽣成多个不同的答案，再由标注员按照预定义的指导原则对回答进⾏⼈⼯偏好排序。训练过程往往使⽤配对损失函数，最⼤化偏序在前的回答和偏序在后的回答之间的分数差异，最终促使奖励模型成功地模仿⼈⼯评判来对⼤模型的输出内容进⾏标量化断地与环境交互的过程中，通过观察环境的状态、选择合适的⾏动、接收环境的奖惩反馈和更新⾃⼰的策略，来逐渐提⾼⾃⼰的⾏为性能以达成优化⽬标。基于⼈类反馈的强化学习已成为⼀种主流的⼤模型价值对⻬⽅法。它在训练过程中利⽤融合了⼈类专家知识的奖励模型对⼤模型的输出内容进⾏⾃动评分，针对评分不佳的回答采取⽤强化学习中的近端策略优化技术对⼤模型的内容⽣成策略进⾏迭代优化，最终实现⼤模型内容⽣成和⼈类价值观的对⻬。在经过以上所有训练步骤后，⼤模型成为兼具常识和相关领域专业知识、沟通表达流畅并能坚守伦理价值底线的得⼒助⼿，能够切实帮助相关领域的从业者全⾯提升⼯作效率。(6)模型轻量化技术任何技术的繁荣都离不开社会化创新。⼤模型要⾛向千⾏百业的普及应⽤，势必要降低使⽤成本，在实践中主要有以下⼏种轻量化、⼩型化技术剪枝后仅有少部分的权值参与有效的计算对推理结果产⽣主要影响。剪枝⽅法（⻅图9）通过把⽹络结构中冗余的权值、节点或层去掉，减少⽹络的规模，降低计算复杂度，让模型在推理效果和速度上达到平衡。剪枝完成后往往需要基于原训练集上做⼀定的微调，以避免由于⽹络结构变化⽽出现的性能下剪枝后剪枝前剪枝量化：其基本思想是将神经元⽹络的权值、激活值等从⾼精度数值类型转化成低精度类型，例如将32位浮点数转化成8位整型数，以同时降低模型的内存和计算开销。其中，整数量化将浮点数值截断或四舍五⼊到离它最近的整数,再统⼀缩放到⼀个值域范围内，简单直接但可能造成较⼤误差。对⻬量化在整数量化的基础上，进⼀步将⼩数部分单独量化，可得到更⾼精布密集的值域区间采取较精细的刻度以提⾼表达的精确性。混合精度⽅案综合考虑模型精度和效率，只对部分参数层进⾏量化，重要层保持浮点运算。量化技术已⼴泛⽤于各种深度神经⽹络的部署优化。知识蒸馏：通过训练⼀个⼩模型去模拟⼀个⼤模型的⾏为，使⼩模型也获得类似⼤模型的知识和泛化能⼒，从⽽实现模型压缩和轻量化部署（⻅图10）。主要⽅法是利⽤⼤模型的最终输出作为软标签，以此为⽬标来监督⼩模型的学习过程；或者逐层提取⼤模型的中间层输出作为⼩模型对应层的监督信号来分层次进⾏知识迁移。知识蒸馏可以在保证⼀定精度的前提下获得较⼤的模型压缩率，但需注意可能导致的模型过拟合等问题。实践中可以综合使⽤以上⽅法，充分发挥各项技术的优点，同时控制各项压缩对模型精度的影响，达到实⽤的部署效果。2.提⽰引导巧⽤模型，沉淀提炼应⽤(1)提⽰⼯程⽣成式⼤模型依据输⼊的⾮结构化⾃然语⾔指令来执⾏任务，在极⼤地降低使⽤⻔槛的同时，也为⼤模型提供了⽆限的问题描述空间，使其具备了万能解答器的潜质。但也因为模型输⼊形式极⾼的灵活度，使得⼤模型输⼊的设计和组织富有技巧性。对于同样的问题，有经验的⼤模型使⽤者可以⾼效地引导模型按照预想⽅式执⾏任务，从⽽保障⼤模型应⽤的可控性、连贯性和⼀致性；⽽不熟练的使⽤者则可能因为指令表述不当，导致模型产⽣⽆效或错误的输出。为了帮助⽤⼾更好地使⽤此类⼤模型，提⽰⼯程应运⽽⽣。提⽰⼯程在输⼊指令前添加提⽰语句，以等信息，引导模型准确理解指令意图和问题解决途径，从⽽⼤幅提升模型的输入输入 输入输入输入输入 输入输入▲.........▲.........v▲v▲...输出 输出输出 输出(b)思维链提示 输出输出(C)自洽式思维链(d)(C)自洽式思维链(d)思维树提示[3]ShunyuYao,etal.TreeofThoughts:De针对⼤模型的提⽰语设计模式可以分为四类：输⼊输出提⽰、思维链提⼀种最基本的、也是⽬前使⽤最⼴泛的提⽰⽅法，它只需要给出⼀个描述任务的⾃然语⾔指令，以及零个（Zero-ShotPrompting，即没有⽰例）或多个⽰例（Few-ShotPrompting），来让⼤模型理解任务的⽬标，并⽣成合适的输出，⻅图12。思维链提⽰（Chain-of-ThoughtPrompting）在输⼊输出提⽰的基础上，提供了多步推理的逻辑链，⽤以指导⼤模型按照提⽰的思路解决问题并展⽰每个步骤的过程性输出，特别有助于解决依赖深层次逻辑思维的任务。⾃洽式思维链（Chain-of-ThoughtPromptingSelf-Consistency）是思维链的扩展，其基本思想是：⼀个复杂的问题可以有维链通过多次采样⽣成不同的思维链，并选择最⼀致的答案作为最终结果。这种⽅法可以降低⼤模型单次采样时可能出现的随机性和错误性，提⾼在复杂推理任务上的准确性和可解释性。思维树提⽰（Tree-of-ThoughtPrompting）通过提供思维的树形逻辑结构来引导模型的解答⽣成过程。它以主题核⼼观点为根节点，逐层展开⼦观点和论证，形成前后递进、多⽅⾯拓展的树形结构。在交互使⽤中，⽤⼾可以按照思维树的形式逐步给出提⽰语句，引导模型的⽣成更加全⾯、深⼊。相⽐线性的其⼴度和深度可以更充分地引导模型进⾏多⻆度、多层次的思考，尤其适合需要综合考量各⽅因素的决策、规划、论证等⽣成式任务。(2)⼤模型应⽤模式应用API用户相对于传统深度⽹络模型需要通过微调训练来适配任务，⼤模型通过提⽰词⼯程可以在不改变模型本⾝的情况下完成⾯向场景的对⻬，极⼤地解放了应⽤层⾯创新和开发的活⼒，催⽣了⼀⼤批基于⼤模型的App。应用API用户大语言模型直接API调⽤是⽬前最普遍的⼤模型应⽤模式，⻅图13。App接受⽤⼾请求，经过⼀定的处理之后调⽤⼤模型服务接⼝取得答案后反馈⽤⼾。由下常⻅的聊天对话窗⼝式的App基本是这种模式。⾯向特定领域和任务的应⽤,还会通过提⽰词⼯程预制好提⽰词模板，对⽤⼾的输⼊根据模板加⼯为提⽰语后再调⽤⼤模型服务，以取得最佳的⼤模式⽣成结果。在许多实际的任务场景中，尤其是⾯向银⾏等⾏业、企业专属领域的应⽤，往往需要结合私域的知识和数据⽀撑来寻求专业和保鲜的答案，或者需要和环境进⾏互动来构建综合解决⽅案，从⽽推动了检索增强⽣成（Retrieval-AugmentedGeneration）和AI智能体（Agent）两种⼤模型应⽤检索增强⽣成是⼀种知识密集型任务的应⽤模式，通过语义检索机制赋予⼤模型动态获取外部知识的能⼒。该模式下的系统通常由三个组成部分构成：⼤模型、知识源和语义检索模块（⻅图14）。对于输⼊的问题，系统⾸先调⽤检索模块，从知识源(如百科⽹站、企业知识图谱、⽂档库等)中找到相关的⽀持性内容，然后将这些内容与原输⼊联合在⼀起提交给⼤模型⽣成答案，作为最终的系统输出。检索增强⽣成可以利⽤最新知识和信息进⾏内容⽣成，⽆需重新训练⼤模型，在外接数据⽅⾯具有极佳的可扩展⾼要求的企业场景。随着知识源和语义检索配套技术（如：向量数据库、⽂本嵌⼊模型等）的跟进发展，这⼀应⽤模式具有⼴阔的前景。⽬前公有云上最具代表性的产品为微软NewBing的聊天式问答。基于私域知识的检索增强⽣成应⽤也已开始在商业银⾏落地和推⼴。AI智能体是⼀类能够⾃主完成任务的系统，可以由⽣成式⼤模型和⼀套可以调⽤的外部⼯具集构成。⼯具赋予智能体实施⾏动并取得反馈的能⼒。例如在软件系统中，⼯具集可以是⼀系列服务API接⼝领域，⼯具可以是感知仪器和运动执⾏器。⼤模型依托前述的提⽰⼯程技术，对输⼊问题进⾏理解和任务规划、确定使⽤⼯具的顺序和实施⽅案（例如：具执⾏完成全过程。智能体是⼤模型应⽤的⾼级演化⽅向，也是实现通⽤⼈⼯智能的重要⽅法之⼀，智能体为当前最被看好的⼤模型应⽤⽅向，多家头部企业产品均朝智能体⽅向演进，智能体依赖于多步拆解执⾏，需要⼤模型在智能体应⽤中的错误率降⾄个位数才能够独⽴完成⼯作，当前整体受限于当前模型能⼒，智能体仍未出现规模化应⽤。(3)应⽤开发⼯具在⽣成式⼤模型热潮的推动下，应⽤开发⼯具⽣态成了功能全⾯的系统化开发框架，如LangChain、LamaIndex、Dust等。这些⼯具不仅⽀持⾃然语⾔处理能⼒，也逐渐开始⽀持多模态能⼒。在易⽤性和集成度⽅⾯的进步也很明显，普遍采⽤了模块化和流⽔设计，⼤幅降低了⼯具的上⼿难度，提⾼了使⽤灵活性，配合⽆代码⼯具使⾮技术⼈员也可以参以开源社区最为流⾏的LangChain为例，应⽤开发框架主要从以下⼏个⽀持接⼊多种流⾏的⼤模型产品，便于开发者开展模型选型和调⽤。⼆是在提⽰⼯程⽅⾯，提供了多种类型的提⽰模板（PromptTemplate）类库，极⼤地简化了提⽰语的构造和处理。三是集成了会话记忆模块，⽤于回溯和管理之前的问答等任务记录，⽅便开发者为⽣成式⼤模型提供⾄关重要的上下⽂背景信息。四是为智能体应⽤准备了全⾯的⼯具包，智能体应⽤可以根据⽤⼾输⼊⾃主选择使⽤哪些⼯具。五是提供了⽂本索引功能，极⼤提⾼语义检索的运⾏性能。六是提供了提⽰⼯作流和模块组装的标准接⼝，助⼒复杂应⽤的快速构建。3.全栈开发集⼤成者，综合平台化繁为简⼤模型及其应⽤的开发涉及数据⼯程、模型选择、提⽰词⼯程、服务编排和应⽤部署等复杂的流程和技术栈，对开发者的知识和技能⽔平要求很⾼，同时也需要⼤量的时间和资源投⼊，良好的开发框架和综合化平台的⽀持已经成为必不可少的基础设施。传统⼈⼯智能开发平台，如AWSSageMaker，AzureML，ModelArt等基于MLOPS理念提供了数据管理、模型训练、版本管理、超参数调优、可视化分析、应⽤部署等⼀系列的功能和服务，帮助开发者简化和加速⼈⼯智能开发过程。⼤模型应⽤快速发展的背景下，这些平台也在积极推动技术升级，如SageMaker对前沿⼤模型的集成和AzureML的⼤模型优化⼯具包等。此外，⼤模型技术浪潮也催⽣了⼀批新型的综合化平台，⽐如HuggingFace，Fast.AI等。相对于传统平台，这些平台更加迅速地集成和提供丰富的预训练⼤模型和领先的⼤模型应⽤开发⼯具，也形成了更开放协作的社区⽂化。以下对代表性的新型⼤模型开发平台逐⼀简单介绍。(1)HuggingFaceHuggingFace是⼀个开源⼤规模机器学习平台，提供了从数据准备、模社区活跃等特点，是⽬前最成熟的开源⼤模型开发平台。平台已收录超过30持开发⼈员便捷地在模型库中搜索和调⽤需要的⼤模型。平台还提供⼤规模的标注数据集，⽀持⼀键加载使⽤。在此基础上，Hug型训练、评价、部署⼯具。平台内置了Transformer模型的应⽤编程接⼝，⽀持主流深度学习框架，让研究⼈员轻松地将模型应⽤到下游的NLP、CV等具体任务中。Evaluate库可根据不同⽬标、数据集和模型⽀持不同类型的评估。算⼒资源⽅⾯，开发者可以在平台租⽤GPU的集群资源进⾏⼤模型的训练，并通过平台发布模型应⽤或API服务。(2)百度千帆百度千帆是⾯向中⽂的开源⼤模型平台。它为⽤⼾提供丰富的中⽂NLP模型和数据集，以及全套的模型训练、评估、部署⼯具。百度千帆拥有⼤规都经过了中⽂corpus的预训练，可以直接应⽤于⽂本理解、对话、翻译等通⽤任务。⽤⼾也可以基于平台提供的数据集，使⽤PaddlePaddle框架对模型进⾏进⼀步的微调优化。在⽀持模型训练的同时，千帆平台还提供在线的模型评测功能，⽤⼾上传训练好的模型，选⽤合适的测试集即可⾃动⽣成评测报告。利⽤PaddleHub⼯具，⽤⼾可以便捷地使⽤模型，实现模型部署，并提供预测服务。(3)ModelZoo华为推出的⼤模型开发平台ModelZoo2，为⼤模型开发者提供了全⽅位的⽀持与服务。它⽀持多种深度学习框架，如PyTorch、TensorFlow、MindSpore等，以及多种硬件加速器，包括昇腾系列处理器、GPU等，使得模型的训练和部署更加灵活和⾼效。平台的模型库⽬前已经接⼊了主流的⼤模型，如盘古系列、Baichuan、Llama、GLM等，覆盖视觉、语⾔、多模态等⼴泛的任务类型。⽤⼾可以在模型库中搜索、下载和上传各种⼤模型，查看模型的详细信息和性能指标，通过统⼀的API便捷地调⽤华为云或者了丰富的提⽰语模板，以⽅便⽤⼾快速构建⾃⼰的⼤模型应⽤。4.模型适配⾦融领域，能⼒建设多管⻬下以⼤模型为代表的新⼀代⼈⼯智能技术正在成为数字经济发展的新动能。各⼤商业银⾏纷纷布局⼈⼯智能技术能⼒的迭代升级，积极探索和推动⼤模型在各业务领域和场景的应⽤。按照能⼒的专业度⽔平划分，⼤模型在商业银⾏的使⽤有基础⼤模型、⾏业⼤模型、企业⼤模型、任务⼤模型四种形态，⻅图15。基础⼤模型是基于海量数据进⾏训练的通⽤模型，具有很强的通识能⼒，可以直接⽀撑多种下游任务，但由于缺乏⾦融专业知识，在银⾏业场景下发挥作⽤有限。⾏业⼤模型基于基础⼤模型和银⾏业领域数据进⾏再训练，可以解决具备⾏业属性的⼀般性问题。对于有较多定制化问题需求的银企，可以在⾏业⼤模型的基础上进⼀步结合企业私域数据训练具备个性化特点的企业⼤模型，或者⾯向特定的专属问题结合任务数据微调训练任务⼤模型，定向攻克⾼价值重点业务场景。在落地策略上，⼤型商业银⾏业务覆盖⾯⼴，应⽤场景丰富，定制化需⾦融⾏业和/或企业⼤模型。对于急缺的场景⽀持能⼒，也可采⽤模型微调满⾜赋能诉求，或者基于产品配套的模型微调⼯具结合场景数据敏捷开发任务级模型。从⼤模型全技术栈能⼒建设的着眼点，相较于国际领先⽔平，各⼤商业银⾏在算法、算⼒、训练数据、开发运营⽅⾯的⼤模型⽀撑能⼒尚有不⾜，应当在原有⼈⼯智能技术栈的基础上，结合企业针对以下四个⽅⾯研判设⽔平向通⽤⼈⼯智能演化，促进⼈⼯智能与⾦融业务深度融合。(1)加强算⼒基础设施建设⼤模型参数量的增加导致训练过程的计算需求呈现指数级增⻓。为了快速训练和规模化应⽤模型，需要强⼤的计算能⼒来⽀持⾼效的分布式训练和推理，算⼒成本投⼊巨⼤，必须对投⼊产出做综合考量。⼀是短期的算⼒建设⽬标应当以业务需求为导向，明确应⽤⼤模型边际效⽤突出的业务场景，合理规划算⼒规模，避免盲⽬求⼤。⼆是基于⼤模型技术发展趋势研能耗、制冷、⽹络架构等基础设施⽅⾯预留好扩展空间。三是针对⾼性能AI市场机制保障设备供给。四是完善和加强算⼒云化技术，实现算⼒的灵活弹性供给来⾼效满⾜⼤模型算⼒需求。五是以绿⾊低碳为责任，采⽤节能环保的技术和设备，优化能源使⽤效率，减少碳排放基础设施的可持续发展。(2)构建⾼质量数据集数据是⼤模型的重要⽣产要素，数据的规模和质量对⼤模型性能提升⾄关重要，也将是企业数字化能⼒的关键⽴⾜点。商业银⾏应当在现有的数据治理体系的基础上，进⼀步打通企业部⻔墙，在保障数据安全的前提下推动企业内部的数据融合，确保⼤模型数据集的规模和全⾯性，能够覆盖企业的各个关键领域，兼顾不同地区、客⼾群体的代表性。在数据处理⽅⾯，⼀是设计合理的数据使⽤机制，如合理数据配⽐等，结合训练框架设计从⽽减少模型训练成本、提升知识应⽤效率。⼆是要强化数据保护技术，采取匿名化等技术⼿段在数据共享时去除敏感信息；三是构数据集构建和维护的效率；四是完善⾯向⼤模型开发的数据质量评估⽅法，建⽴例⾏化评估机制，定期进⾏数据质量检测和监控。(3)引⼊领先模型技术⼤模型技术仍然在快速发展和演化过程中，商业银⾏应当以动态发展的眼光持续关注国内外⼤模型的最新进展和趋势，根据新技术特点和企业实和升级⼤模型技术能⼒。在技术管理层⾯，要建成完备的⼤模型评价体系造⾼素质的⼤模型研究和应⽤孵化团队，以强化新技术研判能⼒和加快业务赋能进程。(4)打造研发运营流⽔线紧跟⼤模型研发运营⼀体化的发展趋势，商业银⾏应当引⼊和借鉴业集⾏业适配、微调优化、强化学习、提⽰词构建、⼤模型运营于⼀体的研发运营流⽔线，实现不同⼤模型训练应⽤的流程统⼀，⻅图16。⾯向业务、业务应⽤研发⼈员，可以通过提⽰词⼯程敏捷打造通⽤解决⽅案，通过⼤模型服务市场⽀持业务快速复⽤。⾯向AI科技研发⼈员，基于底层⼤模型基础能⼒，融合其他技术能⼒，沉淀知识检索、代码⽣成、数据分析等标准化算法和基础服务研发提供全链路⼯具⽀撑。界明晰（⽐如⼆分类问题的“是”和“不是”，软件表⽰即为1和0两个确定的数值已有较为明确的评价指标。⽣成式语⾔⼤模型以⾃由对话的通⽤交互模式来⽀持⼴泛的任务类型，输出结果为⻓度不定的⾃然语⾔⽂本，往往不具备唯⼀的标准答案，对模型的评测带来新的挑战。⼤模型⽣成的内容可能会存在事实性错误、侮辱、反伦理道德乃⾄违反法律法规的情况导⽤⼾或者造成舆情和法律责任。另外，⽣成内容还有潜在的泄露隐私的⻛险，使得数据安全也成为⼤模型应⽤的关注点。商业银⾏在深⼊研究并探索⼤模型潜⼒的同时，需认真对待其潜在的模型应⽤安全合规健康地发展。(1)模型能⼒评估⼤规模语⾔模型（LargeLanguageModel,LLM）基于提⽰⼯程（PromptEngineering）、上下⽂学习(In-contextLearning)、思维链推理（ChainofThoughts）等⼀系列新的⽣成范式，通过⾃然语⾔指令交互的形式实现了多领域多任务的统⼀，⼤幅提升了⾃然语⾔处理任务的能⼒，也使得LLM逐渐演化成为⾯向不同任务的基座模型。LLM在不断刷新传统评估任务榜单成绩的同时，也引起了如何有效、体系化的衡量作为基座模型的LLM在多领域多任务能⼒的思考与实践。对于⼤模型能⼒的测评，不仅需要考量模型的综合能⼒，还需要设计细分任务，深度考察模型解决复杂任务的能⼒。通常⼤模型需要衡量的能⼒包括：理解能⼒、⽣成能⼒、推理能⼒、知识⾯⼴度、情感分析和推断、问题的考察范围也在拓展。例如在问答任务上，不仅考察模型对选项或者数字结果是否回答准确，也考察其⽣成结构化解释的能⼒；在翻译任务上，同时考察⾃然语⾔翻译和代码语⾔转化的能⼒；在聊天任务上，细分问题回答、创从正确、简洁、流畅、有效、探索能⼒、共情能⼒、建议能⼒、信息量等维模型能⼒的体系化量化评估能够直观反映不同模型之间的差距，也能更准确地定位模型的弱点，例如普遍被讨论的幻觉、未能探求更多信息、给出重复内容等，为模型的改进提供更精确的指导。现有的评估集正在探索如何全⾯评估模型的综合能⼒，让模型在测试评估中的得分能更真实的反映实际⽤⼾体验。(2)模型安全评估⼈⼯智能模型因为其性能⽽⼴泛应⽤，⼜因为其决策难以理解的⿊盒证其可信安全是⾄关重要的。近年来围绕着鲁棒性、可解释性与可控性⽅⾯的⼤模型可信安全评估持续升温。在鲁棒性⽅⾯，评估类别有模型对于任务的鲁棒性和对指令的鲁棒性。研究通常针对模型⾯对噪声输⼊、攻击性扰动或不确定环境时的表现进⾏评估，例如通过添加轻微错误或改变语义等⽅式来评估扰动对模型产⽣的影响。近期，针对普遍采⽤指令微调的⼤模型，⽅⾯，⼤模型评估关注模型解释的合理性、⼀致性。模型的可解释性可以从两个⽅⾯体现，⼀是模型是否可以对输出做出⾃我解释，⼆是以对模型的输出做出解释，例如通过注意⼒解析或者模型输出概率。可解释性可以通过⼏个⽅⾯进⾏衡量，分别是：模型的决策过程是否可以被理解，模型在处理某个任务时是否有合理的依据，以及模型对于输出结果的不确可以根据特定需求调整模型的输出。⽐如在内容⽣成的任务中，是否可以控制模型⽣成特定⻛格或者含有特定元素的内容。这个评测标准主要是为了确保模型在实际使⽤中的灵活性和适⽤性。(3)模型伦理评估⼤模型训练的数据是从⽹络、语料库等来源收集的，在⼀定程度了真实世界的错误与⼲扰，⽽具备更多参数的⼤模型往往更善于模拟训练数据的分布，记住更多细节，也更容易发⽣伦理⻛险。现在的量化评测系统已经开始考虑模型是否公平地处理各种群体（性别/种族/宗教）的输⼊，以研究⼤多从性别、种族以及宗教三个维度评估模型是否存在偏⻅，检查模型是否公平对待所有群体。通常评估⽅法是检查模型是否更倾向于对某种群体进⾏负⾯或错误的标记，或者在处理涉及不同种群体的任务时是否存在明显的倾向性或歧视。这类评估通常需要提前设计好词库，并对模型的结果创建含有有毒性内容的攻击输⼊，检查模型的回应；以及检查模型在接收正常输⼊时，是否产⽣有毒的输出，此种评估⽅法通常需要构建⼀个判别器模型⽤于⾃动检查模型的输出是否与⼈类伦理道德价值观对⻬。2.评测体系：系统化指导评测(1)⼤模型评测⽅法在5-shot设置下的MMLU表现⼏乎是所有⼈类评分者平均值（34.5）的两倍，⽽GPT-4（86.4）在5-shot设置下已经⼗分接近⼈类专家（89.8）的⽔平，需要提出更多更具挑战性的任务以满⾜模型评估的场景需要设计新的评估⽅法。例如，在代码⽣成任务中，常⽤的评测指标pass@k需要多次采样⽣成结果，然后使⽤编译器或解释器执⾏检查。系统的⼈⼯评估，以及使⽤GPT-4作为评测者的⾃动评估。基于数据集指标的⾃动评估主要依赖于标准化的度量和基准测试集，我们也看到了近期更多针对⼤模型的基准测试集出现。基于打分系统的⼈⼯评估可以提⾼模型评价的丰富性和准确性，因为相较于针对特定NLP任务构建的学术基准测试集，⼈类主观构建的话题以及对于模型回答的判断可能更适⽤于评判通⽤聊天机器⼈的好坏。例如UC伯克利提出的聊天机器⼈竞技场（ChatbotArena），利⽤Elo等级分制度引⼊⼈类评价对⼤语⾔模型进⾏排名。使⽤GPT-4作为评测者的⾃动评估近⽇由Vicuna团队提出，GPT-4可以根据有⽤性、相关性、准确性和细节等对这些模型的致的分数和评分依据。但这项⽅法仍有其局限性，GPT-4在编程或数学问题上还不能给出良好的评估。(2)⼤模型评测指标⼤模型评测最通⽤的指标是精度，在不同场景下有不同的定义，体现了模型在该任务上的平均正确率。对于可以直接⽐较模型回复和标准答案的精确度(Precision)和F1等指标；对于有参考答案的其他条件⽂本⽣成任务，会采取基于词重叠度的指标作为精度标准，如机器翻译⽅⾯的BLEU和TER，⽂本摘要中的ROUGE和METEOR等；在信息检索等专注于结果排序的领域，有RR、NDCG等指标；此外，对于语⾔建模和代码⽣成等任务，还有困惑度（PPL）、Pass、BPB等指标，从语句的流畅程度、代码通过率等⽅⾯衡量⽣成结果的精度。除了模型精度，还需要知道模型对于预测结对于系统在⾼⻛险环境下的部署尤为关键。例如在使⽤模型辅助决策时，如果模型的预测不够确定，可以及时进⾏⼈⼯⼲预⽽不是放任潜在的错误。不确定性通常使⽤预期校准误差（ECE）来衡量，较低的预期校准误差表⽰模型的预测结果能较好地反映真实概率，例如，如果⼀个ECE低的模型预测1000个句⼦有毒，每个句⼦的概率为0.7，那么可以认为其中⼤约有700个模型的稳健性和公平性评估⽅式较为类似，通常通过⽐较模型在不同输⼊下的精度差别来衡量：对模型输⼊施加错别字或语义等扰动模拟真实噪⾳以评估模型的稳健性，改变输⼊⽂本中某些⼈或社会群体的性别、种族等属性，⽐较模型预测结果是否有性能上或事实上的差距。(3)⼤模型评测数据集⼤模型评估⽅⾯已经出现了⼀些有代表性且⼴泛使⽤的综合基准数据集，例如：MMLU是多任务知识理解领域的通⽤测试集，涵盖从数学和计算机科学到⼈⽂和社会科学的⼴泛知识领域。BIG-Bench是⼀个各领域专家合作构建的⼤型数据集，⽬的是从各⽅⾯探索⼤语⾔模型的性能，并提出了⼀系列对当下模型有挑战性的任务。HELM是⼀个综合测试集，测试数据建⽴在许多先前研究的基础上，拥有包括问答、摘要、信息检索等16组核⼼场景和准确性、校准、鲁棒性、公平性、偏⻅、毒性和效率7类评估指标。近期发布的中⽂数据集有MMCU数据集，覆盖教育、医学、⼼理学、法律4个领域的专业知识；C-Eval数据集，专注世界知识和推理等领域；SuperCLUE数据集考察语⾔理解能⼒，并提出了许多有中⽂特点的任务，包括中⽂成语、诗歌、⽂学、字形等。除了以上综合测试集外，还有专注于评估⼤语⾔模型特定能⼒的测试基准，如⽤于多语⾔知识利⽤的TyDiQA、⽤于多语⾔数学推理的MGSM、⽤于复杂推理的HellaSwag、⽤于阅读理解的SQUAD、⽤于代码⽣成的集不够充分，能⼒评估仍有不⾜，在多模态和模型与外界交互等新兴任务领域缺乏测试数据和标准，⾼度依赖⼈⼯评估，在模型安全评估和伦理评估⽅⾯虽然有CivilComments负⾯评论数据集和SAE公平性数据集等，但总体上测试数据较少；⼆是测试集迭代速度快，如SuperGLUE数据集仅发布18个⽉，模型表现就已超过⼈类结果，测试集对模型的挑时间和成本，许多测试集在噪⾳、正确性和难度分布上试结果的可解释性。对于⼤模型在安全可信⽅⾯的问题，我国⾼度重视⼤模型技术⻛险的管理。2023年7⽉，⽹信办会同六部委共同发布《⽣成式⼈⼯智能服务管理暂⾏办法》（以下简称“办法”为⽣成式⼈⼯智能的发展和应⽤推⼴成式⼈⼯智能技术创新和⻛险防范等⽅⾯积极展开合作和研究。以下从性能缺陷、脆弱性、伦理三⽅⾯对⼤模型技术⻛险管理展开讨论。(1)性能缺陷⻛险管理⽬前⼤模型对于其⽣成内容的可信性缺乏保障，容易⽣成⾃然流畅但包含误导性、虚假内容以及事实错误的⽂本，可能误导投资者做出错误的决策，导致财务损失；同时⼤模型技术可能被⽤来⽣成⾼度逼真的伪造内容，如合成的图⽚、视频和⾳频资料，也为不法分⼦操纵⾦融市场、者其他⾦融⼯具的价格等提供了新⼯具，给⾦融安全造成威胁，同时也将严重破坏市场参与者之间的信任。因此，我们亟需针对⼤模型性能缺陷给⾦融⾏业带来的⻛险采取针对性回应举措：l⾏业层⾯，建⽴⾯向⾦融⾏业的⼤模型标准技术体系，在⾦融⾏业法律法规⽅⾯建⽴系列规章制度，对主管部⻔的⾦融政策指导实施监管和规范，同时加强⾦融⼤模型的技术创新和防御研究；l企业层⾯，建议⾦融企业设⽴相关部⻔负责⼤模型技术⻛险管理，整体考虑和设计符合⾦融业务场景的⼤模型安全制度体系，扩⼤⼤模型安全专业⼈才队伍，提升相关⾦融技术⼈员的专业技能。(2)脆弱性⻛险管理⽬前⼤模型在⾯对攻击⾏为时具有脆弱性，例如在⾯临特定形式的输⼊内容时，模型可能被诱导违反⾃⾝的编程限制，⽣成超出⾦内容或者泄露⽤⼾的隐私信息；或者在训练数据遭受投毒攻击后，模型可能攻击者不当获利，进⽽导致消费者对⾦融服务的信任度下降。这种脆弱性为⼤模型技术在⾦融服务中的使⽤带来了极⼤的安全⻛险，需要采取措施防范潜在的恶意攻击：l⾏业层⾯，建⽴⾯向⾦融⾏业的⼤模型脆弱性⻛险管理标准规范，健全技术体系以⽀持落实国家监管政策，针对⼤模型的对抗和投毒攻击⻛险设置体系化评价标准和测评机制，为模型加固增强提供技术⽀持，指导企业防范攻击⻛险；l企业层⾯，针对⾦融⼤模型脆弱性采取相应的技术⼿段进⾏防范，同时制定相应的审查机制，严格控制训练数据质量，确保数据中不包含隐私或有害内容；强化模型抗攻击能⼒，同时对攻击⾏为实施监测，对于异常使⽤⾏为应当及时停⽌服务并视情况采取惩罚。(3)伦理⻛险管理⼤模型由于其⾼质量内容⽣成的能⼒，导致其在使⽤的同时可能引发伦理问题，包括：⽣成内容的版权归属存在争议，例如⾦融研究报告的版权等；⽣成的内容可能被⽤于恶意⽤途，例如刻意⽣成误导投资者的投资建议；容可能诱导使⽤者进⾏不合理甚⾄⾮法的⾦融⾏为；⽣成内容中可能存在偏⻅与歧视信息，误导⽤⼾形成错误认知。这些伦理问题可能导致⼤模型的使⽤带来⼀定的社会危害性，造成社会秩序混乱甚⾄威胁⼈⾝和财产安全，需要采取针对性的防范措施：l⾏业层⾯，建⽴健全⾦融⼤模型伦理审查相关标准和技术体系，对于模型⽣成内容的有害程度和偏⻅与歧视问题形成度量标准，同时构建相关问题的测评技术体系，指导企业对⼤模型⽣成内容进⾏⾃动化检验；l企业层⾯，针对采⽤⼤模型技术的⾦融服务制定管理措施并严格遵循，明确⽣成内容的版权归属以避免争议，检测并规避有害⽣成内容，提供防依赖、防沉迷措施并引导⽤⼾恰当使⽤；优化和提升内容⽣成技术以避免⽣成诱导性或偏⻅与歧视性内容。4.技术探索：提供安全可信技术⽀撑(1)信息追溯技术尽管当前以ChatGPT为代表的⽣成式AI技术已经表现出了⾮常惊艳的语⾔理解以及知识推理能⼒。然⽽，这类技术依赖的基础模型本质是⼀个神经⽹络⼤模型，存在性能缺陷⻛险，即⽣成的内容虽然语句通顺貌似合理，但可能与事实⼤相径庭。但是模型的训练和推断都是⿊盒的，导致不能提供合理的证据进⾏可信性的溯源与验证。因此，⾦融业务场景中，如何式AI技术实际部署出现问题时，对特定结果的产⽣原因、关键环节等要素进⾏因果溯源分析，保障⽣成结果与事实的⼀致性是实现⾦融⼤模型可信⽣成的基础之⼀。为了降低⼤模型的性能缺陷⻛险，实现⽣成式AI技术在⾦融业务场景的信息可追溯，主要研究检索增强的可溯源信息整编⽅法，在⼤模型中加⼊访问外部存储库，解耦⼤模型的记忆模块和推断模块，以更加模块化和可溯源的⽅式特定⾦融结果的产⽣原因、关键环节等要素进⾏快速的因果溯源分析。该⽅法主要由检索器和⼤模型两个模块实现结果的整编和溯源：l⾯向⾦融数据的检索器：检索器⽤来辅助模型从外部⾦融数据存储库中，搜索有关于当前查询中的精确⾦融相关信息条规、实时动态新闻报道、⾦融知识图谱等特定⾦融数据；l融合检索技术的⽣成式⼤模型：在⼤规模语⾔模型的预训练、微调和推理，通过结合查询与检索到的相关信息进⾏模型推断，其回的信息可以作为⽣成答案的依据，从⽽提升⼤模型的准确性、实效性和可l检索器和⼤模型的联合优化：由于⽣成器和检索器是两个独⽴的模块，优化往往是相对独⽴的。为了进⼀步提⾼溯源分析效学习的联合优化技术，将⽣成器和检索器进⾏联合优化，以达到相互增强的(2)攻击防御技术现有的基于⼤模型的内容⽣成技术属于深度学习技术范畴，其运作⼏乎完全由数据驱动⽽⾮由⼈为规则确定，因⽽容易存在难以察觉到的脆弱性问题；再加上训练及应⽤环境直接⾯向数据提供商及⽤⼾产⽣的⾃然语⾔⽂本及图像等复杂⾮结构化数据，模型⾯临极⾼的不确定性和被攻击可⾦融⼤模型的缺陷、探测和防御攻击性⾏为，是降低模型脆弱模型安全使⽤的核⼼挑战。为降低⼤模型脆弱性⻛险，防范可能存在的恶意攻击⾏为，主要需要研究基于内容安全检测的攻击防御技术，针对⾦融⼤模型开发和应⽤阶段涉及的各类内容数据进⾏安全⻛险监测，使攻击⾏为⽆所遁形，进⽽通过预先处理和拒绝服务等⽅式回避恶意攻击。其中涉及的关键技术点包括：其中有毒有害、质量低下的内容，防⽌数数据，进⾏脱敏预处理，防⽌泄露隐私；l⽤⼾查询安全检测技术：针对⽤⼾查询输⼊的内容，分析识别其意注⼊等对模型的对抗攻击；l⽣成内容安全检测技术：针对模型最终⽣成的内容，对潜在的泄露隐私、功能⾮法、偏⻅歧视等问题进⾏检测，过滤不符容，避免将有害内容呈现给⽤⼾。(3)可解释技术们只能看到数据的输⼊和输出，其内部判断的运⾏规律和因果逻辑尚不清晰，这⼀特性使得⼤模型的⽣成机理不易被⼈类理解和解释。⼀旦模型出现错误，透明度不⾜将阻碍外部应⽤者的纠偏和除误，尤其对于⼤模型应⽤于⾦融这类⻛险厌恶以及对可解释性要求⾼的领域等。因此，如何增强⼤模型机理和输出的可解释性、建⽴合适的可视化机制来评估和解释模型的中间状态，在模型部署出现问题时进⾏准确调控，是保障⼤模型在⾦融场景中安全、可信运⾏的关键。为了降低⾦融业务场景的⼤模型伦理⻛险监管难度，帮助⾦融机构识别潜在的模型⻛险并可以及时调整和改进推理结果，主要研究融⼊因果理论的⽣成式⾦融⼤模型：模⾦融数据的⽣成过程，对因果机制和⿊盒模型进⾏协同优化来消除模型训练过程中的不确定性，以增强对推理结果的透明度和可解释性，使⾦融决策者能够更好地评估和验证推理结果的可靠性；l基于先验因果图的可解释性技术：通过构建⾦融特定领域的先验因果图，研究⾦融领域⼤模型可解释所需满⾜的基本性质，这些性质可以设计并利⽤可视化等技术⼿段实现⽣成过程的可解释分析，帮助⽤⼾更好地理解⾦融概念和决策；l基于因果⼲预的可控⽣成技术：借助因果⼲预和反事实推测⼿段，研究⾯向⾦融领域的⼤模型可控⽣成⽅法，结合梯度的低秩分解对模型的特定模块注⼊更新的知识或纠正不良⾏为，实现对⼤模型学习、推断等过程的⾼效编辑与控制，从⽽确保推理结果在可控范围之内，同时可以提供个性化的⾦融分析和投资建议。以⽣成式⼤模型为代表的新⼀代⼈⼯智能技术将极⼤地加速⾦融业数化的沟通，基于上下⽂不断深⼊理解⽤⼾的任务诉求，为⽤⼾提供个⼈助理式的信息和任务处理范式，将极⼤地提升⽤⼾体验和服务效率。⼆是⼤模型⼀专多能的通⽤能⼒，助⼒低成本地适配具体场景的任务，极⼤地提⾼⼈⼯智能技术的规模化应⽤能⼒，释放数据要素的乘数效应和倍增效应。三是⼤模型（对商业银⾏⽽⾔尤其是⼤语⾔模型）的⽣成式能⼒已成为数据处理的发展注⼊全新动能。部商业银⾏积极开展技术验证和试点，已经积累相当的经验点应⽤⻅图17。以下结合中国⼯商银⾏的典型实践案例来介绍⼤模型的银⾏业应⽤场景和业务价值。合语境智能判断⽣成⾼质量易于客⼾理解的话术，给出准确的专业解答，提⾼解决率与客⼾满意度。不过鉴于⽬前⼤模型在⽣成内容可控性⽅⾯的问题，存在科技伦理等⻛险，因此短期内不建议直接对客使⽤，⽽是以服⼈员助⼿的形式，⼈机协同提升服务质量和效率。案例⼀：坐席助⼿提升客⼾服务体验⽬前，商业银⾏主要通过⼈⼯客服和智能客服两种⽅式为客⼾提供咨服尚不能直接解答客⼾所有问题。为全⾯提升对客服务能⼒，⼯商银⾏在远程银⾏业务中将知识搜索与⼤模型技术结合，实现基于实时通话向坐席⼈员主动推送答复话术或知识的能⼒。同时，利⽤⼤模型也可快速分析客⼾致电咨询⽬的，以及时掌握业务咨询热点，提升服务质效。⼤模型技术的崛起，为办公空间带来了变⾰的契机。“智慧办公”也将逐步改变传统的办公习惯。利⽤NLP⼤模型的⽂本⽣成、问答能⼒，全⾯加强安全保障精细化管理，⾼效提升内部管理效率。案例⼀：智能办公助⼒办公模式⾼效化⽤⼤模型⽂本⽣成能⼒，提升材料编写效率，实现提纲⽣成、⽂档⽣成、中⼀句话即可办理建会议、定会议室、记录⽇程等事务，对接⾏内不域知识，查知识、查讯息、查指标，随时为⽤⼾答疑解惑等。案例⼆：智能助⼿赋能⾯试流程智能化⼯商银⾏每年会对收到的数⼗万封⼈员简历，通过HR⼈⼯筛选招聘员型来⽣成更专业、更深⼊的⾯试题。同时，模型还能根据形成综合评价报告，为HR⼈⼯分析应聘者的情况及能⼒提供了便利。案例三：⾦融市场咨询分析、⽣成⾃动化针对⾦融市场业务，⼯商银⾏全⾯应⽤⼤模型的核⼼信息提取、智能⽂本⽣成、上下⽂联想等能⼒，塑造⾦融市场投资商银⾏利⽤⼤模型的⽂本⽣成能⼒，实现投研晨报等⾦融市场各类报告的成时效从⼩时级缩短⾄分钟级，资讯覆盖⾯从⼗余篇扩展⾄全市场数百篇，报告⽣成采纳率达88.68%。在运营管理⽅⾯，商业银⾏可基于⼤模型对知识答、智能查询等能⼒。通过前沿技术将有限的⼈⼒资源从重复性⼯作流程中解放出来，推动智慧⼈⼒、信息管理、科技管理等内部业务处理管理条线的智能化提升，持续优化⾦融业务⽀持效率。例如，⼊等存在效率低、⼈⼒成本⼤等问题。运⽤⼤模型的语义理解、语义分析等技术可实现⼯单分析、信贷⽂本分类、客⼾信息⼀站式录⼊、关键信息抽取等多个业务场景运作的⾃动化，⼤幅度降低⼈员⼯作量和运营成本。案例⼀：⽹点助⼿赋能业务流程⾃动化在客⼾办理跨境汇款业务时，传统⼿⼯对业务信息采集、录⼊等存在效率低、⼈⼒成本⼤等问题。为解决复杂业务⽹点员⼯办理难、专业术语难以向客⼾解释、新业务流程⽹点员⼯不熟悉等痛点问题，⼯商银⾏建设⽹点员全⾏数⼗万⽹点员⼯辅助业务办理，提升⼀线⼈员⼯作效率和⼯作合规性。中英翻译服务可对凭证中的英⽂内容翻译，翻译准确率达85%以上，服务客服经理万余⼈。制度查询服务可智能化⽣成便于员⼯理解的操作流程和术成体验评测，问答准确率超83%。案例⼆：⼯单分析、⽣成⾃动化⼯商银⾏每⽉需处理数⼗万件客⼾意⻅⼯单，传统⼈⼯智能技术已可满⾜简单、流转和办结等环节的需求。对于答复环答复环节对原有模式进⾏创新，利⽤⼤模型可根据员⼯与客⼾电话核实情条理清晰，整体⽂字采纳率约80%，据初步测算，每年可节省数百⼈年⼯作相较于传统纯⼈⼯开发的⾼技术⻔槛和⾼⼈⼒需求，基于⼤模型技术可以辅助⼈⼯在智能代码⽣成、代码识别与检测、代码转⾃然语⾔和交互式研发等领域实现全⽅位能⼒突破，构建基于⼤模型的智能研发体系，覆盖从需求、设计、编码、测试、发布的研发全⽣命周期发⽔平，⽴⾜⾦融领域助⼒国内智能研发技术逐步⾛向成熟。案例⼀：智能研发助⼒研发数智化智能研发属于特定细分领域的专业化应⽤，存在⾦融属性弱且⾃研难度⼤等特性。为全⾯提升数智化研发⽔平，⼯商银⾏通过引⼊垂直领域的商⽤⼤模型产品，构建基于⼤模型的智能研发体系，实现代码⽣成、代码识别与检测、代码转⾃然语⾔和交互式研发等全⽅位能⼒助编码近百万⾏，协助开发⼈员⾃动纠正输⼊性错误数万次。在⻛险防控⽅⾯，商业银⾏可基于⼤模型实现⾏业研究、尽调、授信审批、内审等流程的⻛险识别、制度查询及辅助审核等功能的信⽤⻛险、操作⻛险、合规⻛险、内部审计的全⾯⻛管控的更⾼需求，显著提升智能⾦融⻛险管理能⼒，有效满⾜⻛险防控创新案例⼀：信贷全流程审批智能化传统信贷业务模式主要依靠业务⼈员累积的经验，⼿⼯审核和评估信贷材料，此类⽅式效率低下且极易存在⼈为误差。为提升现有信贷系统智能化服务⽔平，⼯商银⾏利⽤⼤模型，建⽴贷前、中、后全知识答疑功能利⽤⼤模型，通过知识问答形式，为信贷系统⽤⼾提供信贷制度咨询服务，将信贷制度咨询从分钟级提升⾄秒级，每年⾄少可降本数百⼈将基于客⼾资料、调查审查报告、征信报告、互联别潜在⻛险信息，提⾼信贷⼈员对业务资料的分析效率。案例⼆：可疑报告⽣成⾃动化⼯商银⾏依托⼤数据及传统⼈⼯智能技术建成客⼾尽职调查、⼤额报送等七⼤功能模块的反洗钱系统，从机构、产品和客⼾等不同维度统计分析的案件信息，将案件关联⼈员关键要素信息与客⼾信息进⾏⽐对，提供相关涉案信息供甄别⼈员参考。在可疑报告撰写环节，⼯商银⾏通过⼤模型总结⽣成能⼒，辅助⽣成可疑报告中的客⼾信息等相关章节初稿，供甄别⼈员参考，提升全⾏⼀线反洗钱甄别⼈员的案头⼯作效率。案例三：智能员⼯助⼒内控合规智能化商银⾏基于⼤模型上线内控数字员⼯“⼯毅控”，为全⾏员⼯提供内控合规各项⼯作的问答指南，包括规章制度、合规信息、员⼯违规处理规定等内容的在线问答，以及合规⽂化传导等常⽤功能服务，为内控合规相关知识答疑解惑和⼯作开展提供⽀撑，为基层减负赋能。此外，为贯彻落实“数字⼯⾏”建设的总体部署，⼯商银⾏打造了⼯银融安e控沟通交流平台，为基层员⼯提供内控合规⼯作智能问答和服务⽀持。平台⾃上线以来，赋能全⾏境内数⼗家分⾏机构⽤⼾，⾃动解答率达92.8%。中国⼯商银⾏围绕⼤模型核⼼能⼒，借鉴业界先进经验，基于⾦融业务实际需求和应⽤实践，创新打造适配⾦融⾏业的“1+X”⼤模型应⽤范式，建成集感知、记忆、决策、执⾏、反馈五项功能于⼀体的低⻔槛智能体运⾏框架，沉淀“X”可共享复⽤的范式能⼒，包含多模态知识检索、对话式数据分析、智能化⽂档编写、交互式智能搜索、陪伴式智能研发等多项⾦融即插即⽤的零代码⼯程化解决⽅案，⼤幅提升⼤模型在全⾏规模化应⽤的效分析研判。摘要提炼旨在利⽤模型对冗⻓的通话录⾳、会议录⾳、⻓篇⽂章等去除各类⼲扰信息提炼形成信息摘要，加速信息流转和处理。内容扩写旨在通过⼤模型将简单的事实陈述扩写成⻓篇资料。分析研判旨在对照专家编写研判报告过程，基于⼤模型的阅读理解能⼒对多种参考资料等进⾏阅读、素材抽取，并形成研判分析报告。搜集实时信息，并进⾏有效的组织和提炼答案，以答案和引⽤的形式为⽤⼾提供快速、可靠、全⾯的信息，解决⾏内信息搜索时等问题，重塑搜索模式，提升搜索效率。该范式主要包括⽹⻚信息采集、问题解析规划及信息搜索、答案汇总⽣成三个环节。科技⼈员将获取的数据⽣成问题答案及来源，最终业务⼈员反馈问题答案。量⽂档的专业知识搜索和问答能⼒，实现⽂档内容检索问答，提升专业知识获取效率。知识检索主要包括知识准备、知识搜索、答案⽣成三个环节。业务⼈员将原始⽂档、FAQ问答对等知识向量化后存储⼊库，科技⼈员利⽤搜索⼤模型和⽣成式⼤模型分别完成知识搜索和答案⽣成，最终业务⼈员反识问答、远程银⾏知识推荐等。持⽤⼾通过⾃然语⾔⽅式实现跨系统、系统内部各功能的调度控制能⼒，改变⼈机交互模式，解决各功能、数据服务分散在不同的系统发现难、调⽤难该范式体现的是⼤模型在逻辑推理、联想创作、分析规划等⽅⾯使⽤场景⼴泛，涵盖从客⼾辅助到员⼯助⼿等多个领域，典型场景如数字员⼯、调度场景等。为降低⽤数赋智⻔槛，