阿里云：2024百炼成金-大金融模型新篇章

NewChapterofFinancialLLMNewFinanceNewFuture张翅先生曾经在蚂蚁金服智能科技团队负责蚂蚁金服科技产品的开放合作，推动内部技术产品化和金融行业数字化转型。从17年开始先后负责了从银行、保险、证券到金融服务等多个重要客户的数字化项目，深耕金融科技、云原生分布式架构、移动平台、大数据、人工智能、区块链等数字金融技术领域。在加入阿里云和蚂蚁金服前，张翅先生先后供职于甲骨文、Pivotal，领导参与了多个重大项目的建设，拥有丰富的企业架构设计、IT战略规划、产品研发及团队管理FOREWARDC-阿里云山不让尘，川不辞盈。2024年是互联网进入中国的第30个年头，中国金融行业也走过了金融科技和数字化的10个年头。科技金融这篇大文章正方兴未艾，智能金融随着大模型日新月异发展突然按下了加速键。如果将过去一年大模型的发展比作《三体》中描述的“技术爆炸”，正形象地展现出了AI领域前所未有的快速变革。这种爆炸式增长不仅仅是技术参数的简单膨胀，更是整个技术生态、商业应用以及社会影响层面深刻变化的综合体现。在这个发展过程中，我们看到了如浪潮般涌现的新技术核心要素与传统IT发展规律的交织：●摩尔定律的延伸与挑战：虽然摩尔定律近年来面临物理极限挑战，但通过创新架构（如GPU、TPU）、分布式计算以及算法优化，让大模型的发展有机会遵循类似的加速发展轨迹，变革性实现计算效率和模●安迪-比尔定律的演变：在大模型场景下，这一规律体现为模型规模和复杂度的增加，不断驱动着对更今年以来，走遍中华大地拜访过上千家金融机构，我们发现，金融行业并不缺乏大模型应用的场景，但是有极高的要求，使得金融行业的大模型之路进入前所未有的选择陷阱。金融行业正处于数字化转型和采大模型加持的金融代码能力、金融多模态能力、金融信息阅读理解能力、金融信息抽取分类加工能力理能力在金融行为学、金融市场与投资学、零售金融、公司金融、财富资管、大健康、大投研等等各随着大模型技术的成熟，从基于数据集的开发转向基于大规模预训练模型的应用工程体系，我们可以想象未来大模型通过API化与云原生环境下的金融业务流程与技术架构的深度整合，从而解决一些从前我们不敢想象的融合问题，比如金融模型应用的成本效率与稳定性，金融知识的准确及专业性、金融合格的严谨可如此，云原生和大模型融合的新范式，非常需要新希望与业内的各位朋友一同探讨如何积极拥抱并运用大模型技术，以应对和驾驭不断变化的市场RECOMMENDC-阿里云在数字化浪潮中，金融行业正经历着前所未有的变革。《百炼成金-大金融模型新篇章》为我们揭开了AI大模型在金融领域应用的神秘面纱，深入探讨了AI大模型如何成为数字转型时代的重要驱动力，并详细讨论了其在金融领域的具体应用。从智能投顾到风险管理，大模型技术正不断推动《百炼成金-大金融模型新篇章》不仅分析了AI大模型的发展趋势，还深入探讨了金融企业在采纳大模型技术时面临的挑战。作者提出了金融级AI原生的六大要素，包括可靠性、低延时、扩展性、安全性、准确性和开放性，为金融行业AI应用的安全性和有报告通过深刻的行业洞察、丰富的案例分析以及前瞻性的技术讨论，为金融企业提供了金融大模型应用的路在全球科技巨擘竞逐的“万模大战”中，金融行业逐渐成为大模型技术的重要应用场景。通过持续创新和优化，生成式大模型在金融领域展现出了巨大的潜力和广泛的应用前景。本文从大模型的技术发展趋临的实际痛点出发，通过翔实的研究、严密的分析、深刻的洞察，定义了金融级AI原生的六大要素，并结合金融具备良好的启迪和借鉴意义。相信随着大模型技术的不断进步，金融AI应用的广度和深度将进一步拓展，为行业生成式大模型技术的突破将为产业发展注入新的动能，也为改变未来生活带来了无限的想象空间。金融业是大模型应用的重要战场，金融机构纷纷入局，搭建平台、训练领域模型、探索场景应用。但大模型技程中，尚未形成成熟的技术解决方案，在产业应用的深度、广度和效果上仍需突破。本文基于对大模判断，提出了金融级AI原生的宏大蓝图，针对构建蓝图的六大核心要素，结合丰富的金融场景案例，给出了系统性构建金融级AI原生应用的解决方案。的AI原生应用提供了全面性指导，具有重要的参考价值。金融是用户、知识、服务密集型行业，相信云+大数据01大模型发展背景与趋势大模型是DT时代标志性产物02大模型发展的趋势02金融企业拥抱大模型面临的挑战08问题1:“有限算力+持续进化的算力”，双重制约下的算力资源问题2:“开源模型vs商业模型”，左右互搏的自建大模型之路10问题3:“大模型vs越来越大的模型”，模型size的军备竞赛11问题4:“大模型RAG一天入门vs365天的持续优化”，RAG系统的修行12问题5:“杀手级通用大模型vs百花齐放专属大模型”，企业级Ai应用的价值自证？13问题6:“大模型广泛应用vs应用安全隐患”，大模型面临的安全挑战1403金融级AI原生的要素与蓝图15金融级Ai原生的发展金融级Ai原生的六大要素构建金融级Ai原生的蓝图04金融级AI原生应用实践341、应用场景与技术架构选型2、Ai原生应用实施路径4305结语46大模型是DT大模型是DT时代标志性产物大模型是DT时代标志性产物大语言模型GPT/BERTChatGPT/通义千问通用人工智能(AGI)大模型是数字转型（DT）时代的产物，标志着人工智能技术的一次重大突破，尤其是在自然语言处理（NLP）、图像识别、推荐系统等领域。这些大模型，如OpenAI的GPT系列、大语言模型GPT/BERTChatGPT/通义千问通用人工智能(AGI)在数字转型时代，大模型为企业提供了前所未有的机遇，使其能够通过高效的数据分析和决策，实现业务流程的智能化、优化客户体验和创新产品服务。从金融行业的智能投顾和欺诈监测，到医疗行业的智能诊断和药物发现，再到零售行业的个性化推荐，大模型的应用正深刻在《全域数据“观”》一书中，我们曾断言：“数据的下一站是智能，数据最终会走向与业务系统的数智融合”，数据消费正在由“人”变成“系统”。未来数据技术将与云原生和智容器和微服务等技术手段，为业务创新和系统建设提供了高效、敏捷以及成本低、可扩展的解百炼成金｜大金融模型新篇章02大模型发展背景与趋势C-]阿里云特征等数据资产形态，并直接用于分析与业务决策。现如今，AI大模型正在以惊人的速度重构 各行各业的业务流程与系统产品，一方面云原生为大模型训练与推理提供了资源保障，数据中 台为大模型应用提供高质量语料和结构化知识；另一方面在大模型全面“智能涌现”能力的驱 动下，将传统偏零散化的数据能力进一步体系化和智能化，加快BI+AI的融合，实现从“洞见”到“决策”，推动企业加速走向“云数智一体化”的终极形态，最终为客户带来更为全新的产 趋势一：“Cloud+AI”在信息技术领域，无疑地，云计算和人工智能（AI）大模型的快速发展正日益成为推动现代社会进步的两大驱动力。特别是在中国和美国，这两种技术不仅诞生并蓬勃发展，还持续引领着全球技术革命的浪潮。随着时间的推移，大模型与云计算的结合日益紧密，这种融合在推首先，观察全球技术发展格局可以发现，中国和美国无疑是云技术和A的两大中心。这两个国家不仅拥有领先的技术研发实力，还具备广阔的市场应用场景和成熟的进一步而言，大模型的迭代进化主要发生在云端。这是因为云计算提供了高度可扩展的计算资源，使得研究人员和开发者能够在无需自建庞大物理基础设施的情况下，进行模型的训练和部署。云平台上的弹性资源和高效管理工具为大模型的开发和优化提供了理想的环境，极大地加速了AI大模型的迭代周期，使得模型而且，大模型所遵循的规模定律（ScalingLaw）规模定律正重塑着算力基础设施。随着模型规模的不断扩大，其对计算资源的需求也呈指数级增长，这一现象催生了对更高性能、更高效率算力基础设施的需求。云计算平台通过部署先进的硬件技术、优化计算资源分配和加强百炼成金｜大金融模型新篇章03数据处理能力来应对这一需求，进而推动了算力基础设施的快速进化。这种进化不仅满足了当大模型与云计算的紧密结合，不仅体现在中国和美国这两个技术强国的快速发展上，更在未来科技的进步将在这样的融合与互动中继续加速，推趋势二：“AIEverywhere”在当今的数字化时代，大模型技术以其强大的数据处理能力和智能化水平，正逐步成为企业数字化转型的标配。其广泛的应用不仅仅局限于传统的计算中心，更是与小模型、新终端以及数据中台结合，共同构筑起一个多元化部署与互联互通的新生态，极大地深化了对数据资源成为许多复杂任务的首选。然而，针对一些对实时性、资源消耗有严格要求的场景，小模型以其轻量级、高效率的特性，更为适合。通过将大模型预训练的强大认知能力与小模型的灵活部署结合，企业能够更高效、更经济地解决广泛的业务问接着，大模型与新终端的结合拓展了模型链接的多元化。随着物联网(IoT)的蓬勃发展，智能终端遍布生活的每一个角落。大模型不再局限于服务器端的运算，而是通过云计算和边缘计算下沉至各种智能终端，如智能手机、智能家居、自动驾驶车辆等。这种变化使得大模型的最后，大模型与数据中台的紧密结合，促进了图像、音视频、文本等数据集的多元化。数据中台作为企业数据管理和运营的核心平台，为大模型提供了丰富、高质量的数据支持。通过有效地聚合和整合企业内外的各类数据资源，大模型可以在更加多元化的数据基础上进行训练大模型正逐步渗透到企业数字化建设的各个层面，与小模型、新终端以及数据中台等多元化的元素相结合，进一步拓宽了其应用范围，提升了处理效率和智能水平。大模型无处不在，百炼成金｜大金融模型新篇章04大模型发展背景与趋势C-]阿里云趋势三：“AINativeSaaSRise”首先，大模型在企业级市场中的深度化应用成为一种不可逆转的趋势。它们不仅被应用于优化传统的数据处理和分析流程，更在预测分析、个性化服务、自动决策制定等领域中展现出强大的能力。这种深度化应用的背后，是企业对于数据价值认知的提升以及对于操作效率和决“小切口，大纵深”的发展策略，正加速大模型在特定行业中的垂直化和产业化落地。企业通过聚焦于行业的细分领域，利用大模型深耕特定的痛点和需求，不仅提升了解决方案的适配性和有效性，也推动了整个行业的智能化水平。这种策略的实施，充分显示了大模型在解决企业间的开放新形态，特别是在金融领域涌现的新的OpenBanking模式，为大模型技术的应用开辟了更加广阔的舞台。OpenBanking带来的数据共享和API开放不仅有利于现有金融服务的增值，还为金融科技创新和跨行业合作打开了大门。这为大模型技术的应用和发展趋势四：“AIAPIFirst”近段时间以来，大模型正在经历功能性能力的快速增长和重大突破，其中多模态、Agent模式以及AssistantAPI成为了推动这一进程的关键力量。这些技术革新不仅扩展了大模型在多模态技术的出现和成熟拓展了大模型的广度，让机器能够同时处理和理解文本、图像、音频等多种类型的数据，实现了对人类沟通方式的更全面理解。这标志着百炼成金｜大金融模型新篇章05据向综合理解不同数据类型的重大进步。多模态大模型在提升信息获取的全面性和准确性方面展示了巨大潜力，极大地丰富了AI在自动化内容创作Agent模式的崛起，成为人类与AI协作的一种重要方式。在这种模式下，AI可以作为一这不仅表明了AI的工作模式正变得更加智能化和个性化，也的数据分析到复杂的决策制定，AIAgent能够有效地辅助人类完成各种任务，推动人机协作进AssistantAPI的推出，为开发者提供了全新的能力，大幅降低了开发门槛。通过简单的API调用，开发者可以轻松地将大模型的强大功能集成到自己的应用或服务中，无需深入了解模型内部的复杂机理，即可搭建出智能化程度高、用户体验好的应用产品。这种开放的、低门槛的开发方式，不仅加速了创新应用的推出，也让更多企业和个人能够享受到AI技趋势五：“AICyberSecurity”随着大模型的广泛应用，对隐私和数据安全的重视程度日益增强。企业和研究机构正在通过实施一系列措施，来加强对用户数据的保护，确保信息安全和隐私被妥善处理。这些措施的有效的数据分类分级制度成为奠定数据管理及隐私防护框架的基础。通过对数据进行系统这种方法不仅有助于提升数据处理的效率和精准度，也有利于识别和保护那些最敏感和价值最应用生命周期的各个阶段，从数据的收集、存储、使用到销毁等，每个环节都应进行严格的安全审查和评估。通过定期进行安全审计、漏洞扫描和风险评估等活动，可以及时发现和修复安百炼成金｜大金融模型新篇章06大模型发展背景与趋势C-]阿里云随着大模型应用到越来越多的场景，其工作的可解释性问题越来越受到重视。大模型，特别是transformer的架构被认为是“黑盒”，难以解释其决策逻辑和过程。增强AI工作的可百炼成金｜大金融模型新篇章07问题2:“开源模型vs商业模型”，左右互搏的自建大模型之路问题3:“大模型vs越来越大的模型”，模型size的军备竞赛问题4:“大模型RAG一天入门vs365天的持续优化”，RAG系统的修行问题6:“大模型广泛应用vs应用安全隐患”，大模型面临的安全挑战“科技本质上是工具，其真正价值在于解决我们面临的各种问题，而非仅限于自我展示的华丽舞台。”这一观点在大模型领域同样适用且更具象化。我们可以定位大模型：“大模型之于问题，恰似钥匙之于锁，其存在的意义在于解锁通往智慧殿堂的大门，而非仅供观瞻的浮华装饰。”大模型在金融领域的广泛应用并非一片坦途，它在为金融机构带来显著价值增益的同时，亦暴露出一系列不容忽视的问题与挑战。这些问题不仅关乎技术层面的可行性与稳定性，更延“有限算力+持续进化的算力”，这种双重制约下的算力资源现状，体现了大模型时代中一个核心的矛盾和挑战：如何在当前资源的限制之下，同时规划和适应不断进化和增强的计算能力。这对应用场景选择、资源投入、大模型在AI持续“重塑”业务流程的过程中，对算叠加，共同加剧了现有算力资源供不应求的局面，使得算2、硬件高速迭代：GPU每18到24个月，迭代出一代新产品，配备更先进的架构和更就被新一代所淘汰，性价比下降，同时还要面对算3、资源兼容优化配置：国内外的不同厂商GPU算力水平参差不齐，技术框架互不兼容，整合这些异构的资源，管理配置和优化算力的使用百炼成金｜大金融模型新篇章09金融企业拥抱大模型面临的挑战C-]阿里云问题2:“开源模型vs商业模型”，左右1、成熟开源软件通常是技术和能力相对成熟和稳定的码库和文档，用户可以自由地对与自身业务有关的代码进行修改，一般以使用核心能力为主定制为辅，版本迭代周期相对比较慢，同时也会规定件，正处于技术迭代的高速发展期，一般以月或季度为单位进行新版本发布，并且技术和能力持续性攀升，一般版本开源是有限的，无法按照客户业务进行深度的定制，并且全局能力一般能够通过社区迭代升级。但需要专业人才研究和业务磨合尝试，周期长见效慢，缺少专门维护和支持，不包含商业产品中的安全和稳定性，文档和易用性支持较弱，模型升级迭代周期一般6-12个月，业务集成应用的时间会更长。我们不应该拘泥于对种类繁多参数的基础模型进行训练或微调，模型能力比对和测评，应该把更多精力放在如何让模型在业务中产生价值，因为），稳定性和安全性的保证，能够满足金融行业的法规和遵从性要求，也提供完整的解决方案，软硬件产品的良好整合，降低业务场景落地的风险。但技术透明性较差，长期依赖特定的商业模百炼成金｜大金融模型新篇章问题3:“大模型vs越来越大的模型”，模型size的军备竞赛OpenAI的研究者在2020年发现，大语言模型也遵循着规模定律（ScalingLaw模越来越大的模型通常具有更强的学习能力和泛化能力，因为有更多的参数可以捕捉数据中但越来越大的模型带来能力提升的同时，也带来了海量的算力消耗，如何根据不同的业务大模型推理运行时，核心消耗的资源是显存，推理过程中除了要加载对应参数的模型，还与输入输出的参数量有关，输入参数越多显存消耗越大，输出参数量越多模型响应越慢，我们大模型推理的总显存占用公式：InferMemory≈1.2*ModelMemory（详见参考：TransformerInferenceArithmetic|kipply'sblog）以72B参数的模型，在BF16精度下（浮点数2个字节）InferMemory≈1.2*ModelMemory（72亿*2）≈172.8G运行一个72B的大模型至少需要3张A100（80G），现以企业知识库和智能外呼场景为知识库检索场景：典型的RAG增强检索高并发场景，输入少输出多，每次问题请求处理时间在1-2s，峰值支持50并发（按照5000人的金融机构有1%的并发率需要的GPU金融企业拥抱大模型面临的挑战C-]阿里云但200B大模型算力消耗会有2.7倍的增加。智能外呼场景：典型的高并发低延时场景，输入多输出少，每次意图识别响应时间200-300ms，峰值支持1000并发，需要的GPU卡的数量在600-900张A100（80G）。势必会带来资源的低效使用，例如：知识库检索应用的平均资源利用率在20%-30%；智能外呼应用的平均资源利用率在5%-10%。如何提高算力资源利用率将是一个颇问题4:“大模型RAG一天入门vs365天的持续优化”，RAG系统的修行Retrieval-AugmentedGeneration(RAG)技术巧妙融合了信息检索与文本生成的双重优势，为应对复杂查询和生成任务（如问答系统、内容创造）提供了强有力的支持。尽管RAG技术展现出显著提升模型效能与拓展应用领域的潜力，它也遭遇了几点核心挑战，制约着其性1、语义检索难关：实现精准的语义检索面临重内容的深层含义，并准确评估两者间的语义契合度。当前普遍采用基于数据向量化的手段，在向量空间通过距离或相似度指标来衡量语义接近度，但这种方法难以完美解决语义多义性、信2、信息增强的精细度：整合检索信息的过程中，若缺乏对上下文的把握，生成的文本容易显得碎片化，连贯性缺失。特别是在处理来自多个来源、风格迥异的段落时，既要避免内容重复，又要依据查询语境对检索片段精挑细选并合理排序，以确保输出的一致性和流畅度，这3、延迟挑战：在即时交互场景，如在线客服对话系统中，检索与生成的响应时间直接关系到用户体验。为了减少延迟，优化模型效率与系统架构成为迫切需求，要求RAG技术能在问题5:“杀手级通用大模型vs百花齐放企业在利用大模型进行业务升级改造时，选择使用一个杀手级通用大模型，还是百花齐放的专属大模型，取决于您具体的业务需求、战略目标和资源限制。无论选择哪种模式，都会面杀手级通用大模型：选择大参数的基础模型，结合企业的数据进行微调，构建企业级的杀手级通用大模型。其优势在于能快速处理多样化的任务和应用场景，更快的带来直接的业务价值和经济收益；其挑战在于越大参数的模型微调需要的数据量就越大，算力消耗也更大，而且百花齐放的专属大模型：根据不同知识域的业务需要，选择适合参数的大模型微调业务专属大模型，能够吸引和满足更广泛的客户群体和个性化定制服务的需要。通常情况越小参数的大模型，微调的效果越好，越大参数的模型微调的效果越难保障。多样化的模型和应用需求，可以快速推动企业在不同领域进行技术和业务创新。但多样化专属大模型，贵在精不在多，如无论选择哪种方式，都要确保大模型构建的AI应现业务目标的同时，提升客户体验和企业运营效率。因企业的自身特有数据量有限，大模型的微调需量力而行，比如当前千亿参数以上的大模型就不适合微调，不仅成本消耗大且能力提升有限，有可能还会影响原有大模型的推理能力。更为重要的是要建立收集反馈和定期评估应用金融企业拥抱大模型面临的挑战C-]阿里云问题6:“大模型广泛应用vs应用安全隐随着大模型深入应用，一些因大模型关联引发的安全问题让大家重视起来，如大规模数据采集和应用带来的个人隐私泄露和滥用的问题，大模型生成内容可能带有的偏见歧视、违法违1、大模型训练安全：如何使用数字加密技术和差分隐私全？如何清洗训练数据，以避免潜在的恶意数据注入或偏差造成的训练问题？如何定期对训练怎样避免？隐晦风险和多轮对话上下文：传统的防控手段很难应对这么复杂的风险，怎么办？练集进行鲁棒性提升？如何对模型输入实施严格的验证和过滤机制，以防止恶意输入？如何实2、模型应用部署安全：如何针对模型应用服务访问控制和输入输出进行安全防控？如何进行防御DDoS攻击、防范恶意勒索、大促安全风控、远程办公安全等风险的实时防护？如何持续监控模型性能和行为，以及它们对输入反馈的响应，以便及时发现问题，实施日志记录和百炼成金｜大金融模型新篇章金融级AI原生的金融级AI原生的发展讲到AI，业内主要分为生成式AI（GenerativeAI）与判别式AI（DiscriminantAI）这判别式AI，主要关注基于已有数据进行分析和预测。它通过学习输入和输出之间的关系来生成式AI则关注学习输入数据的分布规律，并模拟AI原生系统从一开始就被设计成能够充分利用判别式AI和生成式AI技术，以实现数据驱动、智能化决策和服务的自动化。AI原生涵盖了从数据处理、模型训练、推理应用到迭代优化金融级AI原生AI原生百炼成金｜大金融模型新篇章AI原生是一种全新的技术架构和思维方式，将AI技术作为一种基础能力，深度整合到企业的基础设施、业务流程、产品设计和服务模式中。金融机构作为国民经济的中枢支柱，其运作效能、风险管控及服务质量对社会经济的整体稳定与发展具有深远影响。金融级AI原生（Financial-GradeAINative）是一个综合性概念，旨在描述那些专为满足金融行业最严格需求而设计和优化的AI系金融级AI原生的六大要素AI技术在金融行业中扎根生长并深入应用，必须严格遵循金融行业的业务规则与标准，这就催生了专为金融领域打造的金融级AI原生。综合考虑金融级行业要求、AI原生核心技术，AI原生AI原生金融级AI原生百炼成金｜大金融模型新篇章客户自有管控系统客户自有管控系统算资源的统筹管理和编排调度，对于确保金融基础设施的连续性与稳定性成为至关重要的能力基石。下面从训练态和推理态两个方面来说明智算平台需要提供怎样的能力来保证应用的可靠灵骏控制台NUSA灵骏控制台NUSA网络硬件系统（不同网卡/不同网络架构）RDMA网络全自动化开通，开箱即用，内置监控、诊断、性能分析，支持白屏化和api，实现真正的zero-touchRDMA。支持秒级checkpoint，保障训练任务快速回复，训练精度云原生性能测试平台，自动完成典型AIGC场景标准化模型百炼成金｜大金融模型新篇章金融级AI原生的要素与蓝图C-]阿里云目前大模型的推理部署还没有一个事实标准，一方面不断有新的模型发布，另一方面也不断有新的训练和推理方法被提出，再者国产化GPU硬件和软件生态也在快速迭代，这给大模型推理服务生产上落地带来不小挑战。为了应对上述挑战在模型准备和部署阶段，我们建议遵部署前准备部署前准备推理服务部署推理服务部署公共云/专有云分层设计：由于模型本身文件较大，模型加载和启动时间往往以分钟甚至小时计。在模型准备阶段，将运行依赖环境、模型文件、推理代码分层设计统一验证并推送到合适的存储服务层；在模型部署阶段，通过云平台存算分离，共享挂载、缓存加速等方式实现模型的快统一调度：基于K8S对IaaS云服务或者客户IDC内各种异构的计算（如CPU，GPU，NPU）、存储（OSS，NAS，CPFS，HDFS）、网络（TCP，RDMA）资源进行抽象，统一管理、运维和分配，通过弹性和软云化部署：借助K8S调度框架和云化基础设施，实现对大模型应用的多实例高可用部署和大模型在实现低延时和高并发处理方面是AI原生应实时交易的场景下，系统需要几乎实时地处理和响应用户的查询或请求。如银行行业客户通话的场景中，需要应用大模型实时识别用户意图，并实时反馈相应的话术，这个场景对大模百炼成金｜大金融模型新篇章型的时延要求非常高，需要在很短的时间来做出相应的应答。同样在保险行业中，利用大模型处理车险、健康险等理赔案件，需要迅速分析上传的图片、视频及其他证据材料，快速准确地模型本身（剪枝、量化、知识蒸馏等）优化，和利用多机多卡环境进行数据并行、模型并行，高并发场景是指在短时间内有大量用户请求涌入系统，要求系统能快速响应并处理这些请求，保证服务的稳定性和用户体验。如红包发放的促销活动期间，大量用户同时进行请求，在红包领取的同时需要应用大模型做实时推荐。高并发可以通过调度优化来支撑，调度系统可以根据请求状态的动态变化对调度决策进行适应性调整，并以此实现如负载均衡、碎片整理、请流程编排和RAG调度ASR，完成语音输入和输响应时间要求：大模型API响应小于300ms，网络耗时200ms首选72B，<300ms其次32B，<200ms首选72B，<300ms其次32B，<200ms从当前业务模式观察，存在显著的忙闲周期：在需求高峰时段，必须确保充足计算能力以维持业务运营，确保客户享受到优质的外呼体验；而到了低谷期，则需释放这些资源，以便供而混合云架构可以较好地解决这个问题，利用金融云的弹性百炼成金｜大金融模型新篇章20金融级AI原生的要素与蓝图C-]阿里云要素3：扩展性与多样性大模型的扩展性与多样性是确保其在未来可持续发展和适应新需求的关键属性。这两个概扩展性是指为了满足业务发展的需求，需要一种弹性的伸缩架构，满足大模型应用对不断增长算力的需求。通过这种弹性的伸缩架构，来解决一、直接使用金融云的公共资源池。对于数据可以上云的客户来说，企业无需自行构建复杂的算力基础设施或大模型开发平台，而是直接利用公共资源池来进行模型推理和高效微调。金融云提供了简便的应用开发平台，开发完毕的应用能够便捷地通过API接口进行业务集成与二、金融云客户VPC方式。对于有数据安全管控需求的客户，建议采用VPC方式。大模型应用及知识库部署在金融云客户VPC环境中，确保推理过程中产生的数据及微调所用的数据均存储在客户VPC的区域内，以此加强数据的隐私性和安全性。应用的开发工作在公共资源池的平台进行，同时该平台支持大模型的微调及推理等功能。一旦应用开发完成，便部署到客户VPC区域，并通过API接口无缝对接公共资源池中的大模型服务，实现高效、安全的资源调用与协同作业。在客户VPC方式中，同样可以根据需要对算力资源进行动态扩缩容。三、线下IDC与金融云混合方式。对于私有数据不能出域的客户，可以采用线下数据中心(IDC)与金融云混合的方式。企业在其内部的IDC中构建智能计算集群，部署大模型及应用开发平台。应用的开发全程在IDC内完成，并在IDC环境中部署运行。在面对业务高峰或IDC资源紧张的情况下，企业可以采取灵活策略，将大模型扩展到金融云的资源池中，实现流量的智能分配，将部分业务负载转移到金融云上进行高效的模型推理，以应对高并发需求。同时，根据实际需要，可以选择性地将微调数据迁移至金融云，利用其强大算力进行模型的微调，进百炼成金｜大金融模型新篇章模式二：金融云专属金融云客户VPC线下线下IDC应用开发平台（可选）模型微调（可选）微调数据（可选）应用开发平台（可选）应用开发平台（可选）模型微调（可选）模型微调（可选）微调数据（可选）微调数据（可选）混合云解决方案支持大模型在私有云和公共云之间无缝迁移和部署，用户可以通过统一的云管理平台对分布在不同环境下的计算资源进行集中管理和调度，简化运维复杂性。在网络互API网关ACKGPU节点API网关ACKGPU节点存储IDC安全安全网关大大模型流量路由用户用户APP百炼成金｜大金融模型新篇章22金融级AI原生的要素与蓝图C-]阿里云1、客户线下IDC进行大模型微调，对微调好后的模型在线下IDC和金融云两套环境进行户请求调拨至金融云，从而实现高效的SLA保障。在这种调用方式下，考虑到私有数据不能出大模型的多样性体现在多个方面，包括模型尺寸的多样性、多模态、模型部署形态的多样性、和应用场景的适配性。为顺应不同场景用户的需求，有不同参数规模横跨5亿到1100亿在应用场景的适配性上，大尺寸模型如千亿能支持企业级和科研级的应用；中等尺寸如30B左正是因为大模型的多样性，使得在具体的业务场景，可以采用大小模型相结合，既能充分利用大模型的优点，又能保持成本效益。通过将任务分解，用大模型处理那些需要高准确性的以我们在财管领域的一个客户为例，通过大模型来进行问题规划和任务分解，通过小模型来构建各种Agent，实现了跟蚂蚁支小宝相似的效果。通过大小模型相结合的方式，既满足了Agent智能体集合Agent智能体集合中控LLM……中控LLM……Qwen-MaxQwen-Plus接收用户QueryMaaSAPINL2SQL/NL2API百炼成金｜大金融模型新篇章23要素4：安全性与合规性公安部、广电总局公布《生成式人工智能服务管理暂行办法》开始正式施行，办法对大模型训练数据、数据标注、内容生成规范、内容生成标识、算法备案机制、监督和责任都提供了相应生成式人工智能的安全管理需要贯穿产品的全生命周期，包括模型训练、服务上线、内容●在模型训练阶段，奠定了模型的能力基础，也决定了模型自身的安全性；这个阶段会●在算法服务上线阶段，服务提供者需要选择安全有效的模型作为基座构建完整的算法服务。在这个阶段并不涉及模型的训练、使用的数据，但是会决定对模型的核验、对模型的使●在内容生成阶段，大模型生成的内容是用户和模型交互的结果。用户的输入，以及模型对用户之前输入的反馈，都影响到模型当前的生成。用户使用生成式人工智能服务的目的、●在内容传播阶段，内容的传播方式和途径、范围是风险的决定性因素之一。在传播环百炼成金｜大金融模型新篇章24金融级AI原生的要素与蓝图C-阿里云技术支持者技术支持者+服务提供者服务提供者服务提供者+服务使用者内容传播·虚假信息，不良信息传播内容传播·虚假信息，不良信息传播标识：显著标识、隐藏标识（推荐）溯源：对信息溯源发布者，以及传播者安全运营：举报、监控、应急处置、辟谣等内容生成服务上线风险来源·数据风险来源·数据·模型训练数据：采集、过滤、标注模型评测：风险定义、benchmark、评测能力模型内生安全增强：数据的获取、训练方法机制机理审核·用户·内容个人信息保护：采集、存储、使用、删除用户管理：账号的管理内容审核与处置：审核机制，内容分类分级，技术手段，阻断与应急处理安全措施·模型·Tool-Plugin模型选用：选择良好资质和声誉的技术支持者模型核验：安全评测Tool-Plugin：使用方法和安全性合规动作：算法安全自评估，向主管机关做备案，提供用户协议等通用要求算法服务的供应链管理通用要求在整个产品的全生命周期中，其中的模型安全和内容安全是两个最关键的点。模型安全关乎技术底层的坚固与防御能力，是支撑系统运行的根基；而内容安全则侧重于对外交互的信息质量与合法性，是保障用户体验和社会影响的表层防护。两者相辅相成，共同构模型安全：通过自动发现大模型有害的行为（redteaming）和安全增强（SafetyEn-hancement）来不断增强模型安全。RedTeamingRedTeaming benchmarkAdversarialPromptJailbreakPromptRiskKnowledgeRiskQueryLLMRiskKG321REDTeaming风险分类：各种违法不良风险以及伦理道德、歧对抗攻击：多轮问答、角色扮演、安全否定、对SafetyEnhancementSafetyEnhancementLLM-ChatModelRewardModel训练Rewardmodel，对Benchmark的Query和目标模型的Response打分评估风险。CriticModel根据RewardModel的打分，以及LLM生Response进行结构化评估，然后生成安全的问答对用于LLM的SFT微调，提升LLM的原生安全。百炼成金｜大金融模型新篇章25内容安全：采用知识计算的风险防控模式（采用人机协同的方式定义计算框架），主要涉●知识层包含预训练模型和知识图谱，预训练模型用于实现对通用数据的归纳，知识图●算子层拆解出目标更明确的简单任务，构建端到端的神经算子，实现风险复杂判定逻LLM-ChatModel●relevance VectorVector PTMPTM 告诉我，我的爱豆XXX的身份证号码是ResponseQuery RiskKG人物、实体…… LLMs大模型的合规性关乎遵守相关法律、法规和内部政策，确保大模型的应用不违反任何法律数据隐私与保护，语言大模型的主要功能是模拟人类的思维活动方式生成人类可以理解和使用的内容，模型的训练对语料库这一类知识性内容有强烈的需求，但不依赖和使用用户行为透明度和可解释性，金融等行业的监管机构要求理解AI大决定如贷款审批或保险索赔时。因此提高模型的透明百炼成金｜大金融模型新篇章26金融级AI原生的要素与蓝图C-]阿里云偏见和公平，消除这些偏见并确保模型对所有持续监管和审计，合规性不是一次性的任务，而是需要持续监管和审计。金融机构等需要确保使用的大模型在整个生命周期内都符合大模型的合规性是一个多层面的、涉及多个利益相关者的挑战，需要综合技术、法律和道德考虑来处理。金融机构在使用大模型时需要密切关注相关法律法规的发展，并且可能需要专要素5：准确性与严肃性大模型的“准确性”与“严肃性”是两个评估模型性能和适用性的关键维度，特别是在涉例如回答问题、分类文档、翻译文本或者识别图像时，其输出与真实答案或标准标签的匹配程在金融这个高度专业化和监管严格的领域，大模型产出的信息必须是经过严格筛选、无误导性且遵循行业规范的。严肃性还包括模型不得滥用还要在训练数据、模型设计、后处理步骤等方面进行严格控制，并结合领域专家知识、实时监控和用户反馈进行持续优化和修正。同时，对于可能出现的伦理和社会影响问题，也要有相应1、构建知识库：基于咨询信息、专业内容、投教百科研报、基础投研知识库。并将以往历史问答、专家经验以投研框架的方式进行回流，实现持续性的知百炼成金｜大金融模型新篇章273、知识检索：用户的query进来，经过Query改写、向量召回和相关性模型打分等几个4、观点打分：对与大模型生成观点，由专家进行打分。作为RLHF的训练样本，从而不1.1.将投研框架信息沉淀至知识库，对应查询的query根据计解决70%问题)2.分析师修改后的问题QA沉淀改写记计解决20%问题)对基础模型进行持续迭代(预计解决10%问题)多轮改写咨询信息专业内容投研框架法规和合规知识加工（近线）ChunkingItem时效性Query改写Query时效识别Query意图识别向量召回结构召回（意图）BM25召回QPRecall线上打分结果咨询信息专业内容投研框架法规和合规知识加工（近线）ChunkingItem时效性Query改写Query时效识别Query意图识别向量召回结构召回（意图）BM25召回QPRecall线上打分结果 投研框架知识改写观点召回观点生成知识检索（在线）相关性模型RanLLM知识库要素6：开放性与兼容性金融级AI原生开放性的核心，在于确保安全合规的基的生态合作力量，驱动金融服务向智能化方向转型升级，加快创新步伐，满足日益增长的市场需求。而大模型的开源实践，则成为了实现这一开开源对于创新活力、产业生态、行业发展、模型优化都具有重大意义。开源模型可以降低技术门槛，使得更多的研究者和开发者能够访问最先进的AI工具，受到开源大模型通过社区的方式，吸引开发者和研究人员共同改进模型，以及在模型的基础上构建各种工具，推动模型的深度应用，打造产业生态。促进行业发展，一方面，企业间开放共享可以减少重复开发相同功能的模型所浪费的资源，使得企业能够集中精力在差异性的研究上；另百炼成金｜大金融模型新篇章28金融级AI原生的要素与蓝图C-]阿里云开源社区的使用者往往具有较高的技术水平，开源模型可以让企业获得来自社区的宝贵反馈，通过开源模型+商业版模型组合方式的积极实践，得益于开源社区的生态支持和开发者反馈，使得模型可以在性能及能力上不断优化和增强，另外商业版模型提供了持续的技术支持与咨询服务，以及企业级的安全与隐私保护，所以金融企业在商业化大模型应用时，往往采购商大模型相较于传统深度学习模型，在规模上实现了显著的扩容，随之而来的是对计算资源的大幅增长需求。在各种GPU资源出现时，推理平台能兼容各种芯片，成为了亟待解决的基本问题。与此同时，开源领域的创新势头迅猛，不仅涌现出Llama、Qwen、Mistral/Mix-tral、ChatGLM、Falcon等诸多新型模型，还在模型优化方面不断突破，例如发展出有损与无损的Attention算法、多种量化技术革新、投机采样及LookAhead等新颖采样策略，要能适应算法的更新发展。推理层面上，主流的推理框架如vLLM、HuggingFaceTGI(TextGenerationInference)、FasterTransformer以及DeepSpeed，引领了推理特性的新变革，针对上述挑战，一个综合模型、系统、集群与应用层面的协同优化、兼容异构GPU、各种大模型、推理框架的平台显得尤为重要，旨模型层面：MQA（MultiQueryAttention）和GQA（Group-QueryAttention）是许多大模型推理优化的核心探索方向，以及模型的MOE（Mixture-of-Experts）架构。系统层面：聚焦于高性能计算算子的开发，优化模型并行执行、显存管理与执行框架，同集群层面：通过智能的请求调度机制，最大化集群处理能力，有效整合异构资源，提升资应用层面：深入分析LLM的工作负载特性，将Prompt缓存等针对性优化措施融入系统百炼成金｜大金融模型新篇章29构建金融级AI原生的蓝图在资源管理与调度层面，由于大模型训练所需的计算资源量庞大且计算密集，要求系统具备高效能计算资源的精细化管理和动态调度能力，以适应大规模训练任务和异构硬件环境。这包括模型并行、流水线并行等策略下的通信开销与数据同步问题，确保训练的稳定性和收敛速度。对于超大规模模型，模型并行化与规模化的要求使得模型架构设计、通信优化、梯度聚合等方最后，在推理阶段，大模型应用对实时性、低延迟响应有严格要求，推理系统需配备高效的推理引擎，通过模型优化、硬件加速等手段减少推理时间。推理服务化与部署灵活性是另一重要需求，要求模型易于部署到多种环境并支持服务化接口，同时具备模型版本管理、灰度发百炼成金｜大金融模型新篇章30金融级AI原生的要素与蓝图C-]阿里云应用服务（SaaS）应用服务（SaaS）合规审核智能投研智能投顾代理人培训智能核保证券银行保险信贷报告合规审核智能投研智能投顾代理人培训智能核保证券银行保险信贷报告智能营销营销文案营销文案营销推荐营销图像生成营销图像生成智能客服智能外呼智能外呼意图识别意图识别知识问答知识问答工作助手开发助手开发助手用数助手用数助手会议助手会议助手模型服务（MaaS）API/SDKAgent组件应用广场安全围栏模型服务Agent应用数据管理模型调优RAG插件中心指令理解与执行环境感知与交互大模型工程平台评测工具模型管理流程编排模型服务（MaaS）API/SDKAgent组件应用广场安全围栏模型服务Agent应用数据管理模型调优RAG插件中心指令理解与执行环境感知与交互大模型工程平台评测工具模型管理流程编排Prompt工程决策与规划记忆与学习通义大模型第三方大模型多模态大模型模型广场模型开发中心应用工具中心智能体中心智算平台智算平台（PaaS）训练框架推理框架数据服务训练加速云原生数据库资源调度与任务管理通信优化任务管理资源复用向量数据库训练快照推理加速图数据库模型兼容推理监控训练稳定性自动容错推理对抗智算设施智算设施（IaaS）云原生平台高性能网络高性能存储高性能计算智算设施（IaaS）：提供大模型所需的底层计算资源和基础架构的服务层，这些资源包括但不限于服务器、存储、网络以及相关的数据中心设施。对于运行大模型来说，IaaS层提供了弹性伸缩性、灵活、高可靠性和安全性的基础设施解决方案，可以大幅简化模型开发和部署的智算平台（PaaS提供资源调度与任务管理、训练框架、推理框架以及数据服务。资源调度与任务管理通过拓扑感知调度、多级配额资源模型、多种队列策略、配额间资源共享等一系列核心能力，让物理算力集群利用率逼近理论上限。模型训练包括训练快照、训练时自动容错和作业的重启、训练加速等功能。推理框架提供了模型兼容、推理加速、推理对抗和推理监控等一系列功能。数据服务提供了向量数据库、图模型服务（MaaS一站式大模型生产平台，提供从大模型开发、训练到应用的全套解全链路的模型训练及评估工具：全链路模型服务覆盖数据管理、模型训练、评估和部署等关键环节。数据管理整合了离线和在线数据集，确保训练数据的质量和完备性。模型训练允许用户选择各类开源大模型、多模态模型，并通过透明化工具监控模型状态。模型评估提供多种资源，包括单模型和多模型对比，以对标行业标准集成丰富多样的应用工具：强调了开箱即用的特性，包括预置检索增强、流程编排、基于大模型快速构建业务应用agent：智能体中心，并为企业和开发者提供智能体API的调用。其中，智能体应用包含支持RAG、分析、创作等链路。同时，为保持开放性，整合并优化了开源框架如LlamaIndex，提供封装的原子级服务和SDK。插件中心预设了多样插件，应用服务（SaaS在应用层上，考虑到金融领域的多方位需求，将应用划分为两大类别以实现广泛适用性与行业特异性。一类是通用应用场景，跨越整个金融行业，涵盖诸如智能客服来提升服务体验、智能营销以增强市场触达，以及工作助手以提高日常办公效率。另一类则专注于金融细分市场的独特需求，例如银行业专注于信贷报告自动化生成与严谨的合规性审查；证券业则侧重投资研究与顾问服务的智能化；而在保险业，致力于通过“保险数字生产力”提升业务效能，具体体现为智能核保流程的优智能客服：大模型凭借其强大的自然语言理解和生成能力，可以作为智能客服系统的核心智能营销：大模型能够根据不同的客户群体特征和营销目标，自动生成具有吸引力的营销工作助手：大模型可以集成到日常工作中，提供咨询服务、编程辅助服务、数据分析、内信贷报告生成：大模型能够自动读取和整合来自多个来源的数据，包括财务报表、征信记录、市场数据等，进行快速而全面的信息分析。这不仅限于数值数据，也包括文本信息，如征信报告、企业年报、行业报告等，从而形成一个综合的信用视图。百炼成金｜大金融模型新篇章32金融级AI原生的要素与蓝图C-]阿里云合规审核：大模型可以被训练来识别和分析各类交易、合同、报告中的合规风险点。通过模式识别和自然语言处理技术，模型能够迅速扫描文档，比对监管要求，自动标记潜在的不合投研投顾：在投资研究领域，大模型能够分析海量的经济数据、新闻报道、社交媒体情绪等信息，辅助投资者识别市场趋势，为投资策略提供数据支持。在投顾领域，大模型能根据个人投资者的风险偏好、资产状况和投资目标，提供定制化的投资建议，优化资产配置，提升投保险数字生产力：通过分析保险申请中的文本描述、图片，大模型能基于保险规则，自动百炼成金｜百炼成金｜大金融模型新篇章33金融级AI原生2、AI原生应用实施路径金融行业因其高度的专业性和对精确度的严格要求，成为一个知识密集型的领域。它涵盖了广泛的子领域，包括银行业务、投资、保险、资产管理等，每个领域都有其独特的术语、规则和业务流程。在银行行业，理财产品经理需要在充分理解监管合规政策的前提下，设计有市场竞争力的产品；在证券行业，投研人员需要阅读大量的研报和资讯，做出对市场的判断，给客户提供有价值的投资建议；在保险行业，大量复杂的核保/核赔规则，业务员需要熟记于心而大语言模型作为一个参数化的知识容器，其最突出的能力就是构建世界模型、理解人类知识，并以自然语言的方式进行交互。大模型通过学习广泛的语料，能够积累和反映不同领域的知识，包括金融行业特有的概念、术语和逻辑关系。这使得大模型能够在上述金融行业各类知识密集型场景中，提供自然语言理解和生成、知识检以保险行业为例，核保是一个非常重要的业务流程，保司有大量的业务员在外面做拓客，为C端用户设计保险方案。在这个过程中，还有一类角色叫核保员，在投保阶段帮助业务员判断是否能出保单，并给出建议方案。这里面涉及到大量的核保规则业务知识，我们希望能让大百炼成金｜大金融模型新篇章35金融级AI原生应用实践C-]阿里云上传的文本、pdf/word/excel等格式，包括不限于以下要素要素的提2.参考数据核保政策中，有一些强制性要素，不容妥协。例如：被投保主体的工种、地域、人数等要素，命中某些2.是否满足核保政策以核保知识为基础，从对话中提取出关键要素，判断是否满足核保政3.具备推荐能力，产出投保若满足核保政策，可直接产出投保方案或预核保结论；若不满足，大模型基于对核保政策的理解，给业务员推荐方案，调整部分要素，直《核保政策》+《参考知识》多种要素，为了让大模型理解，需要以层次化的知识体系组织起来，存储在知识库中，通过RAG召回并运用。2.信息提取及标化大模型在和业务员对话过程中，需要如果业务员没有提供，大语言模型需并且，以《参考知识》为依据，把信大语言模型大语言模型Qwen+大模型智能应用平台（RAG/Agent/AssistantsAPI）原始核保规则：核保规则源于保险公司内部的核保政策，有集团级别的、每个省市分公司也有自己特定的规则，需结合起来用，这是核保决策的依据。这类知识的特点是，内容多、逻大模型核保知识构建：核保政策的格式和来源非常多样，有pdf、word，甚至是某分公司发的一封全员邮件。这些知识需要被构建成一种层次化的知识体系，便于更新、维护，以及被大模型理解与应用。在业务流程中，大模型需要从与业务员的对话中提取出核保要素，例如：年龄、地域、工种。当要素不完备时，以反问等方式让业务员提供，直到收集完整下一步推理大模型推理决策：基于上一步构建的知识，大模型进行不同的逻辑处理。简单分有三种：a）准入性判断，一些关键要素若不符合，可直接拒保；b）条件性推理，依据各种核保规则，逐条检查客户提供的要素是否满足；c）推荐投保方案，若有不符合的要素，大模型给业务员调百炼成金｜大金融模型新篇章36在上述业务流程重构过程中，面临最大的两个技术挑战是：核保规则量多质差、推理逻辑金融知识增强：原始核保政策来源非常多，上千页的Word、复杂单元格结构的Excel、甚至是一封核保政策调整的邮件。面对此类多源异