昇腾在金融行业的应用与生态白皮书

CONTENTSCONTENTS 3.1.2系统方案：从基础硬件、硬件使能 4.1工商银行：全栈千亿金融大模型项目4.2交通银行：人工智能联合创新成果4.4北京银行：基于昇腾AI基础软硬件平台的大模型应用场景创新项 01金融行业AI洞察宏观发展环境，多维度利好金融行业AI投入这是金融服务实体经济高质量发展的重要着力点，也是深化金融供给侧结构性改革的重要内容。其中，数字金融作为基础底座和重要支撑，在大数据、区块链、人工智能等技术推动下，正在颠覆传统金融的形态，全面创新业务模式和服务渠道，释放数据要素生产力，为数字经济高质量发展注入新动力。数据成为新的生产要素，数字技术成为新的发展引擎，数字经济浪潮已势不可挡，并提出数字驱动、智慧为民、绿色低碳、公平普惠四2024年，国家金融监督管理总局发布《关于银行业保险业做好金融“五篇大文章”的指导意见》，提出聚焦效能和安全促进数字金融发展。积极引导银行保险机构数字化转型，提升数字化经营服务能力，强化业务管理、改进服务质量、降低服务成本。以数字金融创1.1.2技术趋势：从感知分析到生成创造，从LLM到多模态自1997年国际象棋人机博弈比赛中，“深蓝”击败俄罗斯棋王，人工智能便步入了迭代式跨越发展的“快车道”，迭代间隔不断缩界模型”的雏形。随着生成式人工智能（AIGC）技术的迅猛发展，人工智能应用已经覆盖互联网、金融服务、制造业、交通运输、教育医疗等各个行业，正在重塑全球经济、社会和生活的各个方面，成为引领未来发展的核心驱动力。音频数据如客服通话录音，可通过语音识别技术将其转化为文本进行分析，洞察客户情绪，帮助金融机构更好地了解客户需求，提升服务质量；图像数据如支票、汇票等票据以及人脸，可借助图像识别能力，高效准确识别图像信息，提高处理效率和安全性；视频数据，无论是监控录像还是视频会议，可通过人工智能进行实时分析，及时发现异常行为和有价值的信息；文本数据如财务报表、研究报告等，可通过自然语言处理技术进行深度挖掘和分析，提取关键信息，为金融决策提供有力支持。和感知智能。通常单一模型只对应单一场景，一个应用需要多个模型，一家金融机构可能存在上千个模型。这样一方面增加了管理成本，另一方面各个模型之间相对独立，缺乏有效协同，难以适应复杂多变的金融环境，无法充分发挥人工智能在金融业的整体效能。精度更准确、能力更泛化，无论是音频、图像、视频还是文本等多模态数据，都能进行深入理解和解读，且凭借强大的计算能力和丰富的数据资源，能够给出更准确的处理结果。在金融咨询类、金融分析类、代码生成类等金融业务前中后端有着广泛的应用场景，可有效提升客户体验，实现精准营销，大幅提升风险评估、欺诈检测等分析准确度，全面提升办公效率和开发效率，降低开发成本。数字经济时代，为加快形成新质生产力，推动数据要素价值创造，需要充分发挥金融业海量数据资源、丰富应用场景等多重优势，提升金融服务质效。金融机构积极探索建设大模型技术体系，有效减少对大量小模型维护成本的同时，稳妥推进其在客服、营销、办公优化服务流程，加强风险管理，创新金融产品，助力金融高质量发展。昇腾在金融的应用与生态白皮书08赋能经营管理。艾瑞咨询《2024年中国金融科每年增速保持在9%以上，随着自主创新投入的持续提升和前沿技术应用的逐步成熟，未来我国金融科技市场将以约12%的复合增长率●CAGR=11.98%●....●●●●5861.25124.745274090.43727.83358.53058.75124.745274090.43727.83358.53058.72691.82224.7银行业（亿元）保险业（亿元）证券业（亿元）增速（%）报告数据显示，2024年金融业在AI与大数据领域预计投入约97.74亿元，此后每年保持30%以上增长率，预计到2027年可达 CAGR=25.17% 1107.1868 685.8565.6 868 685.8565.6 区块链（亿元）VR/AR（亿元）其他（亿元） CAGR=23.77%大数据（亿元）AI（亿元）云（亿元）大数据（亿元）AI（亿元）CAGR=21%云（亿元）大数据（亿元）AI（亿元）银行业保险业09昇腾在金融的应用与生态白皮书以国有六大行为代表的头部大中型金融机构，其海量的数据和丰富的应用场景给大模型的落地应用提供了丰沃的土壤，不少机构在大模型布局上展现出了较强的行动力。凭借其雄厚的资本实力，该类机构制定了明确的AI建设规划，投入大规模AI研发团队，在内部和外与大型金融机构和部分头部中型金融机构相比，其他中小金融机构资金、技术、人才有限，数据积累也相对薄弱，而大模型训练往往需要投入大量的数据、大量的时间和庞大的算力资源，因此不少中小金融机构对大模型应用还处于观望状态。其中部分机构已初步形成较明确的AI建设规划，在考虑投入产出比的情况下，以推理集群建设为主，微调训练为辅，一般会建设推理专用集群，从公有云上调用大工具类助手等场景，无论是直接面客的前端业务类员工，还是负责内部管理、提供业务支持和技术支持的中后端员工，其目的主要是提升员工工作效率，进而提高工作质量。考虑到模型的可信可靠、数据隐私和安全等方面，人工智能尚未用于直接面客的、需要更多创意和人类情商发挥作用的、强监管的交易生产业务中，该类业务往往时效性、灵活性较强，例如需要迅速提供切实有效的解决方案，增强客户对金融机构的信任和满意度，避免产生冲突，或站在客户角度思考问题，然而随着大模型的不断迭代发展，基于金融业海量的音频、视频、图像、文本等多模态数据，生成式人工智能快速生成复杂内容，且效果日益精细和逼真，未来有望通过日渐丰富的输入，生成更为精细复杂的专业内容，且模仿人类思维，展现出较高的情商，有效识别人类情绪变化并做出恰当的回应，进而发展成为真正的通用人工智能。届时，人工智能将不止应用于内部助手，将胜任更复杂、更专业、更这是一个系统化工程，需要解决在数据、算力、模型及金融业是强监管行业，金融数据往往高度敏感，涉及个人和企业的财务信息、金融交易数据、基本信息等海量数据，确保数据隐私和安全至关重要。人工智能系统需要处理和存储大量的数据，这就要求金融机构采取严格的安同时准备场景化行业数据存在比较大的挑战，一方面大模型全面渗透金融业对客、办公、研发、风控、营销等各类业务场景，PB级非结构化数据将被激活应用，处理需求呈指数级增长，如何快速获得高质量的数据，提升算力另一方面获取到的数据也需要进行采集、清洗、标注、增强等工作。依据准确度需求的不同，数据量也不同。如何有针对性的设计数据处理流程，快速获得高质量的训练数据，加速适配业务场景，是AI算法面向场景训练需要解决的问题。最理想的训练数据集，不一定是最大的，而是能够真实反映实际业务的数据分布，但覆盖所有情况的数据集是不现实的，采集的样本或多或少都有一定的局限性。如何算力建设如何协同算力、网络及存储，基础软件栈如何匹配大规近年来，随着模型的快速迭代，以及应用场景的复杂多样，不同于传统小模型，对于大模型，需要多台服务器组成的大集群，进行分布式并行训练计算，特别是对于大型金融机构，集群规模尤对于金融机构，除了需要选择合适的高性能服务器，还对集群部署、机房建而且如何在大规模AI计算系统上进行高效率的系统运行和软件开发，充分发挥硬件系统的能力，也成为现实的挑战。传统的软件栈可能无法适应大规模AI计算系统的压力。大规模AI算法及计算需求，对于基础软件、编程模型、编程语言、编译器、开发工具链、金融业是强监管行业，也是服务型行业，金融机构在确保其业务活动符合法律法规和监管要求的同时，以客户为中心，不断提高服务一方面，对金融机构而言，金融决策的透明性和可解释性直接影响到投资者和客户的信任。随着模型复杂性的增加，解释模型决策变得更具挑战性。如果人工智能系统的决策出现问题，如何追溯其原因并进行调整，是金融机构必须面对的挑战。大模型往往是复杂的黑盒另一方面，无论是风险管理、投资决策还是客户营销，金融机构会利用大模型分析大量数据。如果模型的精度不高容可能存在答非所问、自相矛盾、违背事实、伦理风险等问题，也就是大模型幻觉，可能会导致错误地评估风险，给金融机构带来不必要的损失，或是决策错误，造成客户流失，影响金融机构的业务扩展。此外，若不能及时发现金融机构的合规问题，可能会导致金融机构面芯片进行模型训练。在建设自主创新的AI技术体系过程中，如何将模型快速平稳地迁移至自主创新的基础设施之上，让业务层无感知，不影响业务效果，是不容忽视的问题。同时，在此过程中，为满足大算力需求，金融机构可能引入多种AI服务器构建异构算力集群，所另外，开发效率也是影响AI应用在行业场景落地的重要因素之一。AI基础软件栈是否能够给开发者提供高效的开发体系和工具，提供完善的生态环境以及丰富的资源支持。尤其针对传统行业的开发者，要能够将复杂的AI开发过程简单化，从而使开发者更关注行业场为了顺应数字化转型趋势，金融业需要强化人工智能等新技术的创新应用，大幅增强信息和数据处理能力，以科技赋能金融业降效。在获客、活客、留客等方面不断创新服务模式，优化服务流程，提升服务质效；在风险管理、投资决策、内部管理与办公等方面提升在大模型时代，金融业的计算需求迅猛增加，从数据的准备、算力的建设，再到模型的开发与应用，是一个复杂的系统工程，每一个大算力需要大集群，基于高性能服务器建设资源调度不均、数据丢包等问题。同时，为了充分释放集群算力，进行高效率的模型开发，将主流模型便捷快速地迁移至自主创新的算力集群，需要具备丰富的算子库和算子开发接口，向上支持各类主流AI框架，向下可屏蔽各类AI芯片硬件差异。此外，不同于传统的软件件框架到上层应用的全方位支持。同时，为了确保业务可持续发展，金融行业需要持续提升关键基础设施自主创新水平和软硬件安全可靠 02昇腾AI发展现状高高2.1昇腾加速金融行业智能化：构筑A自建集群打造多维应用，聚焦降本增效，在智能风控、智能营销、智能投研、办公助手、智能客服构筑金融AI集群协同系统，加速孵化金融行业通用大因此，随着人工智能进入大模型时代，大算力正在成为人工智能发展的核心引擎。昇腾充分发挥华为在计算、存储、网络、能源合优势，改变传统的服务器堆叠模式，以系统架构创新，打造AI集群，实现了算力、运力、存力的一体化设计，突破大算力瓶颈，为金推理算力需求爆发式增长，金融行业积极部署AI推理Ac-c-推动了从基础的感知与理解层面向更高级的执行与决策层面的跨越。在面向消费者的应用中，传统的图文信息处理正逐渐被全模态交互所取代。这种转变不仅仅是媒介形式的升级，更是用户体验的根本性革新。全模态技术整合视觉、听觉乃至触觉等多种感官输入，使得机器能够更加精准地理解和响应用户的多元化需求。这一跨越直接催生了对端侧算力的巨大需求，同时，后端数据中心的算力也在经历百倍增为更好地匹配大模型的巨大推理需求，基于昇腾AI基础软硬件，昇腾向业界提供使能推理应用快速开发、高效部署的大模型推理解同时，既提供昇腾原生服务化能力，也支持对vLLM、TGI等三方推理框架的快速适配，实现应用天级上线。在满足模型表现的同时，通服务器总拥有成本）要求的同时，支持灵活弹性扩容，让推理系统面向大模型未来趋势具备更强的演进能力。以此，帮助伙伴和客户打造更贴合场景需求的推理系统。目前昇腾携手业界伙伴和客户不断创新，已经加速大模型应用落地到“文本生成、文生视图、辅助编程、终昇腾AI已在金融头部机构有大量实践，助力客户快速上线AI原生应用例如，昇腾助力工商银行打造千亿级金融行业大模型，覆盖11类业务应用场景，加速生产场景智能化，实现智慧网点、智能客服、帮助招商银行落地端到端自主创新的大模型训练及推理集群，打造适应大模型技术的自主创新“A已建设问答、授信、客服、办公、开发五大助手，提升行内运营质效；基于昇腾AI算力底座与基础软件栈助力招商证券从机器学习平台昇腾大模型解决方案：从可用走向好用，让AI发展有自2019年发布计算战略以来，昇腾围绕“硬件开放、软件开源、使能伙伴和发展人才”持续迭代，面向生态伙昇腾AI基础软硬件平台包含Atlas系列硬件及伙伴硬件、异构计算架构CANN、全场景AI框架昇思MindSpore、昇腾应用使能MindXSDK领域套件MindStudio…运行时|AscendC编程语言|算子加速库|...openMindMindXopenMindMindXMindIEMindXDLMindIEMindXDLMindXEdgeMindSpeedCCAECCAE昇思MindSpore昇思MindSpore...……硬件使能硬件使能C 面向AI模型训练场景，昇腾训练解决方案包含Atlas及伙伴训练硬件、异构计算架构CANN以及基于CANN打造的计算、通信、I/O基础加速库、AI框架（昇思、tensorflow、pytorch）以及基于AI框架打造的SOTA模型、大模型加速以及科学智能套件、MindXDL、以模型训练性能高：通过分布式训练加速套件MindSpeed提供丰富的大模型分布式并行算法及并行策略，在计算、通信以及内存等方面深度优化，提高计算效率：在计算优化上，异构计算架构CANN提供了80+大模型融合算子，结合昇腾硬件特点协同优化，支持实现通信与计算的并行；同时，发挥算网协同优势，通过拓扑感知、流量感知算法，最大化利用通信通道，将通信效率提升15%，整网性能提升10%以上；在内存优化上，通过参数副本压缩、选择性重计算、自适应内存Swap等技术，实现35%以上的内存节省，确保早发现，早处理；故障发生后，通过分布式缓存加速、集合通信快速建链，将超大规模集群故障发生后的任务恢复时间从小时级使能原生开发：提供了SOTA模型、大模型加速、科学智能等开发套件，加速创新孵化。经过大模型开发上的丰富积累，千亿参数的稠密大模型开发周期已实现从最初的8个月缩短到现在的3个月。同时，2023年5月发布的AscendC昇腾算子编程语言，简化了算子开发逻辑，支持混合编程编译，提供丰富高低层API，典型大算子开发周期从2人自上而下原生AI设计MindSpeedAI框架自上而下原生AI设计MindSpeedAI框架集群计算自动化引擎CCAE全流程开发工具链MindStudio），分层开放，提供系列化硬件：满足性能与灵活的多种业务需求，无论追求极致性能或者追求快速开发，都能提供对应的能力；系列文生视图，以及小模型视图解析、搜索推荐等使用场景。时延低，吞吐高，推理成本低：为了兼顾推理的时延和吞吐，既要满足最终用户的使用体验，又要满足推理的系统成本。昇腾推理基础软件提供系统性联合优化来降低时延，提升吞吐效率，在满足时延条件下，最大实现6x吞吐提升，大大降低了每百万tokens开发工具链开发工具链MindStudio推理模型套件推理模型套件MindIE-RTMindIE-ServiceTGIvLLM自有服务框架图引擎图引擎GE|算子执行ACL|AscendC编程语言2.3昇腾AI产业生态体系：从场景探索走向千行百业，让AI应用有规模昇腾致力于为伙伴提供好用易用的基础软硬件，共建中国大模型繁荣生态，大模型技术与金融领域结合已成为推动产业创新的重要力量。在模型层面上：昇腾AI与产业界共同构建了从规划、开发到产业化的大模型全流程使能体系，共筑中国大模型生态，目前已孵化20云天励飞共9家伙伴发布了大模型训推一体机，为行在框架层面上：华为于2020年3月28日开源全场景AI框架昇思MindSpore，开源后获得国内外开发者的积极响应，访问量数千万，超过790万用户下载安装使用，在码云千万开源项目中综合排名第一，服务企业数量超过5500家，合作高校360所（其中昇思框架发表的顶级会议论文数量累计超过1500篇，在所有AI框架中排名中国第一，全球第二，昇思也成为国内最具创新活力的在伙伴层面上：截止2024年7月，昇腾发展了60+硬件合作伙伴，包括14家整机合作伙伴和50+APN（AscendPartner其中在金融领域，昇腾携手大模型及应用伙伴推出了系列行业解决方案：联合科大讯飞股份有限公司推出星火智能客服解决方案，更有温度的交互，以及更加高效的运营；联合北京智谱华章科技有限公司推出GLM金融大模型解决方案，基于ChatGLM-130B通用语言大模型，实现128K长文本能力，为金融机构提供本地化部署的一体化解决方案，可实现用户开箱即用，节省模型部署时间，提升模结合自身iFinD、i问财等数据库，能够为证券、期货、银行等金融机构快速上线智能投顾、智能投研、智能办公、智能编程等场景化解决方案；联合达观数据推出信贷流水分析解决方案，采用AI、OCR（光学字符识别）、大数据分析等前沿技术，实现了信贷流水的自动化审核；联合上海新致软件股份有限公司推出保险产品核验解决方案，覆盖产品报备前日常核检和报备后自查整改两大场景，帮助保险客户及时响应监管变化，确保产品持续满足监管合规要求覆，为企业带来智能化转型新范式。华为始终坚持有所为有所不为，坚持伙伴优先，昇腾AI将持续携手伙伴来共同定义市场、联合开发、联合营销、持续迭代，实现AI技术和行业场景深度融合，让人工智能技术真正走入千行百业。03如今对金融行业客户而言，数据不再是业务运营和发展的瓶颈，反而成为业务创新和智能化发展的推动力。客户需要通过对数据的对于银行客户来说，员工和客户规模都很大，员工重复性繁重的文字工作，较低的工作效率和较差的客户体验是当前痛点；对于保险客户来说，前端销售和后端顾问人数庞大，人力成本巨大，同时人员流动性大，人员上岗时间周期长；对于证券客户来说，率先发布高质量行业研究报告，高效快速指导客户和公司提高投资收益是主要诉求。在客户电话或文字服务请求时，大模型通过分析客户语音和文字，为客服工作人员提供客户情绪、意图识别提醒和话术推荐，并根据客户问题，从知识库搜索对应答案提供给客服参考，对话结束后会自动生构建公司内历史文档、规章制度、产品介绍等知识库，对员工提大模型根据给定需求生成代码，根据前段代码续写和注释，对代码进行检查；协助制定符合行业标准的软件研发计划、代码编写与测试等，提升研发敏捷性；自动生根据客户背景信息和财务状况提供贷前风险智可以基于财富管理专业知识进行预训练模型，建立围绕个体的智能投顾服务。在客户电话或文字投顾服务请求时，根据客户背景信息和财务状况提供投资建议和投顾话术给工作人员参考，在客户咨询完后自通过海量投资标的信息分析，实现对各类投研数据大模型预训练的分析以及时间序列数据的预测。实现研报生成，对公司年报、研报总结摘要，实现业务新闻昇腾在金融的应用与生态白皮书20大模型可以提升信息抽取、聚类与分析的实时效率，提升核保理赔用户体验，降低人力投入。在客户电话或文字理赔请求时，大模型为客服人员搜索对应保险产品业务知识对客户背景信息和财务状况进行梳理，输出相关分析报告大模型已经渗透到金融业务全流程，从客服助手、开发助手、问答助手等通用场景逐渐深入到信贷助手等核心生产场景，全面提升金融服务质效，持续创造数字化生产力。客服助手：借助大模型，保证问题解答更准金融行业的发展结合当前的人工智能所带来的是全新的服务体验。客户服务环节更是当前金融行业开展的主要服务窗口。现如今网络带来的客户数量及相关业务都在不断增加，传统的人工服务已经不能满足当前大量客户的基本需求，越来越多的行业也都在引入人工智能技术解决传统诉求，金融行业不断的研究和应用智能化的客服服务方式，借助智能客服才能扩展服务范围及服务方式，从而更好地适应当前社会经济发展的需求，更好的满足现代人智能客服是基于大规模的知识处理、融合了多项人工智能技术，是人工智能技术在在线客服领域的应用。智能客服采用语音合成、自然语言处理、语义分析、知识检索等多项技术，进行实时的语义分析，理解用户意图，并基于金融知识库，进行精准回复，开发助手：覆盖银行研发全生命周期，全面提升银行数智当前，金融机构的程序员在代码编写上存在着明显的痛点。一方面，代码编写耗时过长，日新增代码量的上限，用传统的方式无法突员工在内网开发无法查外网类似工程资料，同时需要查询内部开发手册确保满足规范，人工检查费时费力。因此，需要结合行内的代码仓库和开发手册、规范等，为软件开发的员智能开发属于特定细分领域的专业化应用，存在金融属性弱且自研难度大等特性。通过引入垂直领域的商用大模型产品，可以构建基有效提升编码效率；可通过自动生成测试用例、注释等，提升单测和注释覆盖率，并进行自动纠错、调优等，提升代码质量；同时通过实在银行柜台，无论是从业不到一年的年轻柜员，还是从业二十余年的老柜员，在为客户提供服务过程中都或多或少面临一些困难。其核心痛点主要为复杂业务熟练程度不够，造成客户等待时间长，服务效果差；客户不理解专业名词和业务流程，需要反复解释，增大沟通问答助手可以让每个银行柜员拥有自己的问答助手，辅助银行柜员快速实现对人资制度、理财产品、操作流程等问题的查询，并信贷助手：深入贷前、贷中、贷后，提升全流程智信贷业务主要由贷前授信报告生成、贷中风控要素提取、贷后风险辅助排查及全流程授信指引组成。贷前授信报告生成是给客户经理提供行内行外数据的整合与分析，辅助生成段落式授信报告；贷中风控要素提取主要涉及对借款人信用记录、贷款使用情况、还款能力等多个维度的综合评估；贷后风险辅助排查是提供行内行外数据的整合与分析，提供贷后客户风险排查分析要点；授信指引是以知识问答形上述环节都需要通过引入大模型的能力，如文案生成、知识快速获取、关键信息抽取、文 3.1.2系统方案：从基础硬件、硬件使能、AI框架、应用使能、大模型到应用随着人工智能及大模型技术逐步成熟，大模型在金融行业也开始走向各类场景，为业务提供智能价值。金融数字化助手解决方案，金融市场分析应用信贷助手华为云盘古CCAE集群自智引擎金融市场分析应用信贷助手华为云盘古CCAE集群自智引擎MindXSDK领域套件mxRAG|mxlndex|mxVision|mxDriving|mxSignal|…应用使能MindSpeed分布式加速套件动静统一|多级编译|多维混合并行跨域跨层定位全栈故障检测数字地图PyTorch|飞浆|TensorFlow原生支持昇腾硬件使能异构计算架构CANN运行时|AscendC编程语言|算子加速库|...昇思MindSpore动静统一|多级编译|多维混合并行|…MindIE昇腾推理引擎推理服务|推理模型套件|推理运行时算子开发工具训练开发工具推理开发工具可视化工具在线理赔智能承保智能风控智能投顾智能客服开发助手LLaMA系列MindStudio全流程工具链MindXEdge智能边缘组件BaiChuanMindXDL深度学习组件HithinkGPTAI框架大模型 千问系列LightGPTGLM系列讯飞星火证券银行通用保险……基础硬件存储设备Atlas800IA2推理服务器网络设备Atlas800存储设备Atlas800IA2推理服务器网络设备硬件差异，通过软硬协同，充分释放硬件的澎湃算力。全新升级的CANN8.0不仅提供更加丰富的算子、通信算法，同时还深度开放开放昇腾在金融的应用与生态白皮书22MindSpeed（分布式加速套件）是昇腾针对与日俱增的大模型分布式优化需求全新推出的分布式加速套件。面向大模型分布式训练提供通信、计算、内存多维度优化算法及并行策略，支持直接调用及二次开发，让客户能够在昇腾的算法之上，基于业务模型结构及设备MindIE（MindInferenceEngine，昇腾推理引擎）是昇腾针对AI大模型推理业务全新推出的推理加速套件。为用户提供高效、快速的深度学习推理解决方案，解决模型推理和应用开发中技术难度大、开发步骤多的问题，提升模型吞吐性能，缩短应用上线时间。通过推理服务：提供高性能推理服务部署与运维能力，包括提供模型服务化能力和服务客户端标准API，简化用户服务调用，以及提供服务化平台架构，支持对接业界主流推理框架接口，满足大语言模型、文生图等23昇腾在金融的应用与生态白皮书一站式调试一站式调优训练开发工具：聚焦用户在模型迁移、模型开发中遇到的痛点问题，提供全流程的工具链。通过提供分析迁移工具、精度调试工具和推理开发工具：作为昇腾统一推理工具库，提供用户一体化开发所需功能，包含大模型和传统模型的一站式调试调优、迁移分析和压缩能力，可快速完成多种主流推理框架在昇腾平台上的迁移算子开发工具：在完备的调试工具和多样的调优数据的帮助下，通过AscendC编程语在算力使用过程中，昇腾提供了CCAE作为计算中心端到端的运维管理解决方案。CCAE纳管计算设备、网络设备、存储设备和设备昇腾在金融的应用与生态白皮书24扩展灵活：同一技术路线资源池便于组建更大规模集群，支持万亿参数演进。不同技术路线无法共享算力。避免迁移适配：统一部署、统一优化、统一使用，避免训练和推理的额外迁移和调优工作量，加快业务上线。统一管理运维：提高运维管理效率，减少多套软件版本和硬件管理，减少人力投入。提高资源利用率：同一平台管理，训、推资源灵活切换，避免资源空闲，提高集群资源利用率。模型持续演进：当前大模型迭代更新较快，需要支持最新的好用模型快速上线应用。昇腾已支持50+国内外开源和商业大模型，可应用场景解耦：不同模型擅长应用场景不同，场景与模型解耦可组合、可调整，可以发挥各应用场景最佳效果。全场景：支持金融行业全场景应用，给每个员工配备一个数字助手，全面提升生产效率和客户体验。客服助手、开发助手、问答助手、投研顾问、信贷助手等场景已成熟落地。在金融数字助手场景中，主要有大模型和应用两类伙伴。大模型伙伴能力构筑在模型层，其商业化大模型可以保证金融业务效果；应用伙伴一般为行业内传统软件厂商，具有较强软件定制工程化能力，也具备一定客群基础，如果规划使用开源大模型，可以联合应用伙伴基于开源大模型提供端到端场景化解决方案。同时，也可以将大模型伙伴和应用伙伴联合在一起实现能力互补，打通客户大模型落大模型伙伴有华为云盘古、科大讯飞、智谱AI、达观数据、恒生电子及同图网络智能预测大模型和科学计算大模型，未来将持续提升基础大模型的能力。其中的盘古NLP大模型，是华为自研的AI生成式自然语言大模型，支持自然语言内容的理解和生成。盘古NLP大模型提供一整套的平台能力，支持用户开发行业大模型和场景化大模型的工具链以及配套的专业支持服务，能够帮助用户使用自己的数据高效开发适用大模型工程套件... 大模型工程套件... 异构计算架构异构计算架构昇思MindSporeMindX昇思MindSporeMindX昇腾应用使能ModelArts模型开发平台智能编程助手等。目前，这十大场景都已经和金融机构合作落地。其次，在模型层，基于金融行业数据淬炼出最懂金融行业的大模型。它不仅有强大的基础模型能力，还能够根据不同的金融领域，如银行、保险、证券等，定制化训练和优化，提供更精准和专业的智能服务。围绕大模型智力跃升，华为推出了盘古系列大模型，基础大模型的核心在于持续的思维涌现能力，华为坚持从L0自主构建基础大模型，已经具备了100多种模型能力。以NLP为例，华为千亿NLP重点投入在思维链、长序列等基础能力上，在同样的数据浇灌下，能训在金融知识方面，沉淀了五大类金融数据，注入了千亿级的金融Tokens；在金融技能方面，华为云与金融机构和伙伴共创，目前已在底座层，整合华为公司ICT产品的组合优势，构筑高效和安全的底座，提供分布式集群计算能力和大模型训推加速能AI算力底座是大模型工作的基础，它决定了模型训练的效率和质量。区别于传统模型，大模型需要更高效、更稳定的底座支撑。华为云通过ICT软硬件多产品组合，构建了“算-网-存-云”协同的大模型智能底座方案，从高性能集群训练、高可靠模型保护、高效率高性能集群训练：通过高速集群互联架构，提升节点互联效率，将token处理时延降低至100ms以内；高可靠模型保护：将计算与存储进行了协同，通过“无感断点续训”技术，将训练中断时间从天缩短到分钟级，实现了月级稳高效绿色节能：通过全液冷集群和多租户资源共享，将网络能效比从0.1提升到0.5PFLOPS/KW（每瓦特浮点运端到端自主创新：含大模型、大模型开发与运行平台、模型训练框架、计算框架与大规模成熟商用AI训练及推理服务器，保障金融全链路工程套件：覆盖了从模型微调、数据工程、应用开发、安全工程等一系列工具，让客户和伙伴更便捷地调用大模型。丰富的生态体系：集成了大模型产业链中的各类伙伴，包括标注、调优、开发等，可以加速金融场景落地。盘古金融大模型解决方案能帮助客户全面提升效率，降本增效。比如，在网点场景，某大行在全国有近两万多个网点，20万多个网点员工，很多新员工对业务办理熟悉程度不够。通过盘古大模型已经实现了根据客户次办结时间缩短5分钟。员工的效率和客户的体验都得到了极大的提升；在软件开发领域，利用大模型代码生成等能力，逐步构建智能软代码能力、多模态输入和表达能力七大核心能力。2023年1在金融业，客户服务环节是当前的主要服务窗口。现如今网络带来的客户数量及相关业务都在不断增加，传统的人工服务已经不能满足当前大量客户的基本需求，金融业积极引入人工智能技术解决传统诉求，借助智能客服扩展服务范围及服务方式，从而更好地适应当前社会经济发展的需求，更好的满足现代人们在生活和学习上的综合需求。但同时，智能客服也来到了行业发展的十字路口，面临着新的挑战。语义理解能力受限于人工扩展问题，认知智能进展制约交互体验；多轮对话能力全部依赖人工设计，场景建模难以抽象复杂业务；专大模型技术的到来，为智能客服的升级与改变带来了巨大的机遇。讯飞星火智能客服利用星火大模型知识库积极构建客服机器人、智√复杂说法的精确理解√全自动对话设计能力应用统一接口......√多轮交互能力大幅提升√各类专业知识实时学习√复杂说法的精确理解√全自动对话设计能力应用统一接口......√多轮交互能力大幅提升√各类专业知识实时学习FAQ知识结构化知识文档知识应用层:............接口与管理:服务能力: 知识层:FAQ知识昇腾在金融的应用与生态白皮书28在服务能力层，利用采编后的结构化数据，根据业务具体任务进行数据标注，可以利用星火大模型辅助进行数据生成和标注，训练模型包含行业星火大模型和检索模型，检索模型用于知识检索，星火模型用于语义理解和生成；接口与管理层，通过统一应用接口和对话机器人管理统一平台实现上下层对接；应用层，目前已在复杂说法理解、多轮对话贯穿、情绪感知对话、金融百科问答、业务逻辑推理、即时自交互更有温度：大模型的多轮对话生成与控制能运营更加高效：生成式大模型可快速学习标准正式发布星火一体机，结合昇腾和星火大模型及工具链软硬一体产品，支持千亿参数大模型训练和推理，单机支持千亿参数大模型微调训星火智能客服具备完整的产品体系和端到端产品化应用能力，并成功在多个保持业务架构：星火大模型知识库支持原有业务知识架构的不变动，保障使用人员的学习成本降至最低。知识数据利旧：原有知识库数据形态在保持不变的条件下，支持直接导入星火大模型知识库，不浪费原有的知识加工成果。平滑升级：支持原有知识库平滑升级至星火大模型知识库，无缝切换将对业务的影响降低至最小化。完整的产品体系：具备完整智能客服产品体系，覆盖话前、话中、话后各业务板块。端到端产品化：具备端到端产品化应用能力，文字客服、知识库、坐席助手等产品化工作已完成，可直接交付。目前已经在浦发银行、广发银行、徽商银行、招商银行等多家客户有落地实践。大模型对智能客服用户体验：用户体验与感知大幅提升，机器人服务接受度与满意度提业务系统：智能客服与业务系统协同能力，复杂办理场景自运营成本：运营成本相对传统智能客服大幅下降，人工运营比例降低403.2.3智谱AI：GLM金融大模型解决方案支持更快推理速度、更多并发，大大降低推理成本，同时依托一系列以全自主、多模态、高可用为核心的大模型关键技术，智谱致力于为金融业提供更面向各类规模金融机构提供开放、专属和私有模型解决方案，全面适配华为昇腾软硬件生态，并基于昇腾服务器打造大模型一体机系列，29昇腾在金融的应用与生态白皮书应用场景层应用场景层BI问数场景消保场景坐席质检场景App导航场景投研场景通用办公场景更多…银行解决方案保险解决方案银行解决方案保险解决方案券商资管解决方案清语知识库产品AICO智能引擎框架层IDE插件问答补全代码库微调企业管理系统清语知识库产品AICO智能引擎框架层IDE插件问答补全代码库微调企业管理系统版本管理运营运维评测日常问答知识库问答知识摘要知识整理文档解析消保助手质检助手写作助手智能问数助手……模型编排Copliot样例集单/多Agent编程助手产品CodeGeeXStd编程助手产品CodeGeeXStd代码大模型3代CodeGeeXPro代码大模型4代ALLTools工具调度代码解释器Codeinterpreter网络搜索WebSearch文生图CogViewAPIALLModels模型调度通用语言多模态代码AllToosl通用语言产品多模态产品通用语言产品多模态产品模型层GLM-130B长文本4代GLM-32B长文本4代GLM-130B4模型层GLM-130B长文本4代GLM-32B长文本4代GLM-130B4代GLM-32B4代基础设施层基础设施层服务器集群一体机服务器集群一体机昇腾（推理/训练）昇腾（推理/训练）在基础设施层与模型层：智谱百亿到千亿模型全面适配华为昇腾软硬件生态，性能显著提升，达到商用水平。基于昇腾异构计算架AICO智能引擎则定位为赋能企业内部快速大模型场景产品的应用开发平台。其核心特点包括1）对于型具备更强的工具调用能力，可基于场景需求灵活调用多种工具，与大模型共同完成更复杂的场景任务2）提供业界最全模型矩阵，AICO工作流可基于用户输入自动进行模型调度，最大化发挥底层模型在业务场景中的价值3）提供业界最强的自动编排能力，通过投研、通用办公等细分场景，提出了针对性场景解决方案。这些方案已在各类金融机构头部企业落昇腾在金融的应用与生态白皮书30在基础设施层面：智谱-昇腾大模型一体机为金融机构提供本地化部署的一体化解决方案，可用于大模型体验评估、大模型应用场景的预先研究及论证、大模型微调等多个使用场景，可实现用户开箱即用，节省模型部署时间，提升模型运行效率，降低用户使用ChatGLM对话ChatGPT对话ChatGLM对话CodexCodex代码WebGPT搜索增强CodeGeex代码GPTGLMWebGLMGPTGLMCogVLM图片理解GPT4ALLToolsGPT4ALLToolsGPTsGLMsSoraCogVideoxSora在场景应用层面：针对共性需求，以统一的底层平台，快速搭建业务所需的各类场景流程。一方面，在技术架构层面，与底座大模运营管理、远程银行等八大业务领域。某保险集团使用ChatGLM公有云私有化，应用于核保业务等场景。使用大模型前，大量的客户投保，因为不符需要人工核保，工作量大，客户等待时间长。使用大模型后，利用大模型辅助核保，快速提取投保件关键信息，并通过多轮对话、补充追问信息等方式，引导用户走向标准流程。预期核保效率和客户体验满意度将大副提升。打造了结合向量检索和sql检索的多路召回RAG框架。该 3.2.4恒生电子：光子&LightGPT金融原生大模型解决方案随着大模型在金融领域应用，头部金融机构开始从数字化向智能化稳步转型，并稳步落地多个应用场景，风险合规等。大模型技术应用日益广泛，也引发了一些安全、合规、伦理等方面挑战。特别是金融领域，国家和行业也在制定相关政策和标准，推动建立包容审慎、全面有效的安全框架。同时金融领域涉及多种专业知识和复杂场景，如何基于行业大模型构建自己的专属模型LightGPT是恒生自主研发的专为金融领域打造的大语言模型，是大模型的技术底座。基于海量的金融数据训练，对金融相关问题的理解比通用大模型更有优势，且更专业、更合规、更轻量，降低了恒生光子是金融应用对接大模型的“中控”应用场景和能力标注系统Token长度Agent支持Epoch优化微调数据扩充语料管理工具精调/强化词典扩充领域强化投硏运营swrOBS（华为）关联服务底座层底座层异构计算架构昇思AI框架（华为）昇腾硬件支持昇腾在金融的应用与生态白皮书323333昇腾在金融的应用与生态白皮书微调、推理灵活部署：在应用落地过程支持基于昇腾硬件提供的算力进行微调与推理部署。金融场景丰富：能力多元，支持多种金融领域应用场景。MindIE推理引擎在满足模型表现的同时，通过极简服务适配，让业务上线时间更短。MindSpore昇思框架提供更多维度并行，更全模型切分结构，并行效率业界领先15%+。CANN异构计算架构提供大模型高性能加速高质量数据集：恒生子公司-聚源超过20年，超过4000亿tokens的文本数据，资讯、公告、研报数据以及结构化后数据；超过某头部券商的托管业务部门在处理基金相关业务时，需要处理大量的合同，例如私募基金购买流程中，基金购买者填写完基金合同后券商员工需要将其中的300多个信息抽取出来填入到系统，这其中涉及大量的人工作业，时效低、人力成本高。恒生电子依靠自身在文档审核中，基于光子应用可以降低审计时间，通过提高审计精确度，避免人工审核比对的误操作和遗漏项。从原来的人工审计每在资管/托管的产品运营中，光子慧营可以自动提取产品合同、财务报表、审计报告等非结构化的金融数据，帮助运营人员完成参数自动提取、合规规则智能匹配、审计报告自动录入等繁琐工作，支持溯源定位，精准审核，降低人工操作失误带来的系统性风险。在审计3.2.5同花顺：HithinkGPT金融对话大模型解决方案金融行业因其高度数字化和显著的商业应用价值，成为AI大模型落地的理想场景。然而，当前通用大模型在金融领域的应用面临诸多挑战，包括难以胜任复杂的金融任务、高昂的训练与应用成本、缺乏专业的金融知识与能力等。此外，金融大模型的训练是一个系统化基于此，同花顺与昇腾联手推出的金融大模型一体机解决方案，充分利用同花顺在金融信息服务领域的专长与HithinkGPT的金直模型优势，结合昇腾AI技术为金融机构提供从算力层、平台层到应用层的全方位支持，旨在加速金融行业智能化进程，推动金融基础为银行、证券、期货等金融机构快速上线智能投顾、智能投研、智 大模型管理中台智能体工坊|AgentStudio大模型微调服务 同花顺HithinkGPT金融对话大模型全场景AI开发框架|MindSpore容器平台|DCSeContainerAtlasAtlas800IA2Atlas800TA2CE9860昇腾在金融的应用与生态白皮书34开箱即用，一站式交付安装部署时间从月缩短到周：预集成、预验证，统一集成计算、存储、网络，一站式提系统性管理，运维成本降低统一管理：计算、存储、网络一站式管理，支持中心边缘多级管理，运维成本降低软硬一体，业务快速上线解决了培训投入大，效果低，流动高等问题，从而提升新人上手及开口率：知识点与情景话术强化训练的效果提升30%；缩短了培业务流程对接方面支持对接机构内部员工日常办公流程，如信息通知、日程管理、预定会议、客户管理等。通过接入企微等内部协同软件，真正成为员工的专属“智能助理”。这些政策和战略涉及行业覆盖了全球90%的GDP。中国政府积极响应这一趋势，将数字化转型作为金融业的必选题。中国人民银行发布传统的人工审核流程在效率和准确性上已难以满足市场需求。同时，随着监管政策的不断加强，金融机构亟需更加严格地遵守相关法规，在这一宏观政策和金融科技的浪潮中，达观数据信贷流水解析系统的推出，标志着金融科技领域的一次重要创新。该系统采用AI、OCR（光学字符识别）、大数据分析等前沿技术，实现了信贷流水的自动化批工作，也确保了信贷审批流程的合规性和安全性。为构建金融数字生态圈和实现金在金融科技的浪潮中，信贷流水解析系统以其独特的结构化解析、流水验真、流水分析和信贷报告自动生成功能，为金融机构一种创新性的风险评估工具。该系统的核心目标是对申贷主体的偿债能力和风险承受能力进行全面而深入的评估，从而为快速、准确地确OCR流水文件识别流水数据归一处理流水尽调基于自研OCR,全面覆盖各种复杂、摘要/备注OCR文字识别有框表格识别AOCR流水文件识别流水数据归一处理流水尽调基于自研OCR,全面覆盖各种复杂、摘要/备注OCR文字识别有框表格识别A AAAPI接口该系统应用范围广泛，涵盖了个人贷款、小微企业普惠金融贷款以及一般对公信贷等业务领域。通过综合分析申贷主体的银行流水数隐性负债、关联欺诈以及非常规境外交易等，这些因素都可能对申贷昇腾在金融的应用与生态白皮书36系统核心功能结构化解析：将非结构化的流水数据转换为易于分析的结构化格式，便于进一步的处理和分析。流水验真：通过验证流水数据的真实性，确保评估的准确性和可靠性。风险识别评估：识别可能影响申贷主体偿债能力的潜在风险，如经营萎缩、隐性负债等。综合信贷报告生成：通过综合分析流水特征、风险评估、流水规模以及主要账户的明细信息，结合企业的工商数据，来构建一个全面的昇腾软件侧能力通过先进的算法优化，实现了对数据的快速识别和智能分类。支持复杂的数据分析任务，能够从大量数据中提取有价值的信息，为客户提供深度的业务洞察。训推同构技术确保了模型在训练和推理阶段的一致性，提高了模型的部署效率和运行性能。减少了模型在不同阶段的转换成本，加快了产品从研发到市场的速度。昇腾硬件侧能力低时延处理能力：快速处理数据请求，为用户提供实时的反馈和决策支持。处理大规模的数据流，满足大数据时代的需求。确保了在高负载情况下，系统依然能够稳定运行，提供持续的服务。专业的专家团队：银行流水核查产品设计由长期从事财务、审计、会计、投行业务的团队提供专业意见；跟随监管要求，实时升级流水核查规则，结合流水核查业务需求内置多维度核查条款。丰富的落地实施经验：泛金融行业中银行用户占比最高，具有众多银行的交付经验提升信贷审批效率：提高了信贷审核业务人员的工作效率，信贷审核平均每张银行流水处理时间由40分钟缩短为5分钟，加速资金客户满意度提升：根据客户反馈调查，使用达观数据信贷流水分析系统的银行在客户满意度整体得分上提高了12.5%。自2020年起，原中国银保监会开始实施针对不同业务类型或机构特点的差异化备案审核标准，旨在更加精准和有效地保金融市场的稳定和健康发展。2023年1月，原北京银保监局发布财产保险产品备案审核要点。保险客户需要一套核验系统，以满足监管常态化的自查整改要求，提高自查和研发效率，新致新知平台整合大模型应用架构各层能力和资源，提供一站式从昇腾AI算力到大模型新致新知保险产品核验解决方案覆盖两大场景应产品报备后自查整改：根据监管新规，对产品工厂历史产品进行统一批量核查，筛选不符合监管要求、需要整改的对象，确保已有产一体化私有化部署模式。根据场景需求整合客户内外部数据，搭建弹性可拓展的知识架构。利用新致新知AI原生应用开发平台，提供保APIHUB+api接口&api接口&数据嵌入索引和检索Prompt内容管理Prompt模板发布相似度分析数据更新和维护Prompt变量管理Prompt模型反馈FunctionCall管理模型反馈FunctionCall管理LLMsecurityAPIAPI分发API路由权限控制和认证监控和分析训练数据安全性模型调用安全性模型部署安全性API封装和管理鲲鹏&昇腾｜鲲鹏&昇腾｜CANNMind保险产品核验效果优秀提升合规效率：通过一站式服务平台，客户可以在产品研发阶段快速进行全要件审核，有效提升产品报备前的合规性检查效率。确保准确性：利用新致新知平台的大模型和昇腾AI算力资源，可以确保保险产品核验的准确性和全面性，降低因人为疏忽导致的遗满足监管要求：新致新知解决方案覆盖产品报备前日常核检和报备后自查整改两大场景，帮助保险客户及时响应监管变化，确保产灵活性与自定义：客户可以根据自身需求自由选择审核要件，灵活配置核验规则，使得核验过程更加贴合实际业务需求。降低运营成本：通过自动化核验流程，减少对人工审核的依赖，从而降低长期运营成本。优化资源配置：将繁琐的核验工作交由系统完成，可以让保险公司的专业人才更专注于产品创新和业务发展，优化人力资源配置。39昇腾在金融的应用与生态白皮书04昇腾在金融行业的数字技术、数字基建、数字基因”五维布局，深入推进数字化转型，加快形成体系化、生态化实施路金融工作会议同时强调要“做好数字金融大文章”，金融业要全面适应数字经济时代的经济社会发展变金融行业的业务线繁复，涵盖了对公信贷、信用卡、个人金融、对公金融、普惠金融等多个业务领域。目前在客户营销从业务场景出发，金融服务已逐步从以往的线下网点走向线上平台，业务模式与服务方式都有了巨大的变化。以客户服务为例，远程同时也降低了银行的运营成本，是金融行业适应数字化时代发展的重要举措。传统业务模式为人工坐席电话转接场景，由于坐席涉及到的业务领域不同，在呼入流转中通常会涉及到多节点人工转接，往往造成客户沟通成本高，业务咨询与办理低效。且客户与坐席沟通咨询复杂业务情况，对人工处理并行要求较高，需在理解客户诉求基础上，同以产品创新为例，金融市场对公交易业务是金融领域中一项重要的业务类型。它主要面向企业等机构客户，涵盖了一系列金融交易活动，包括但不限于大宗商品交易、外汇交易、债券交易等。通过对公交易业务，企业可以进行资金的合理配置和风险管理，实现资产的保值增值。同时，金融机构也能从中获取手续费等收益，并提升自身在金融市场中的影响力。该业务需要专业的金融知识和精准的市场分析面向金融服务的高要求，需要通过人工智能技术，重塑决策与交互，构建金融智能。传统AI生成模式，单个业务模型应用于单个业同时业务模式的高质量发展、底层技术平台及基础设施也需配套提升。在技术场景构建、算力平台建设、运维模式落地上需匹配工行对于代码生成/文档生成/大模型二次训练大模型二次训练/SFT/RLHF任务流水线ChatGLMChatGLMHCS8.1.1HCS8.1.1（原有）Atlas800TA2Atlas800TA2/Atlas900PoDA2工行的AI大模型技术体系共分为6层进行体系能力建设，共同构建起一个完整的人工智能业务体系，以满足不同阶段和不同需求的其中算力基础平台将昇腾计算、网络及存储集成为可统一调度的资源池，服务于大模型训练和推理。通过高可用昇腾AI算力设备，计算集群，是智算的核心部分之一，承载大规模并行计算，服务大模型训练及推理。高效支撑资源/运维统一调度与管理，实现可持续的服务运营、多用户协同等特性。同时支持构建统一的智算运维平台，通过一键式巡检、故障诊断和实时性能监控工具，降低故障频次，快而AI平台及框架支持开放生态，可同时接入多个主流大模型，通过模型评测、模型路由为不同应用场景选择最合适的模型，以保证业务效果最佳。AI平台引入ModelArts，MindX等应用使能组件，让智能算力建设需围绕模型适配基模评测、环境准备、框架适配、代码适配等关键环节，完善模型适配流水线能力，从而实现业界最新昇腾在金融的应用与生态白皮书424343昇腾在金融的应用与生态白皮书人工智能技术从上至下，要围绕创新场景、专业模型与高效底座三大方面构建业务能力。业务上要围绕场景做到价值释放，并创造新在创新场景上：聚焦远程银行、对公信贷、运营管理、金融市场、人力资源、智慧办公、内控合规、智能研发等八大业务领域，工商银行不断深化大模型技术面向全业务流程的综合化运用，形成端到端智能化解决方案。远程银行领域，贯穿全流程，覆盖事前运营、事中辅助和事后质检等环节，实现坐席工作效在模型生态上：面向模型适配周期长，兼容度低的痛点问题，工商银行围绕基模评测、环境准备、框架适配、代码适配等关键环节开展集中攻关，实现多项原创性技术突破，实现主流大模型的自主创新适配周期平均在1周以内，已适配GLM、盘古、Llama、通义千问等10+主流大模型，全面兼容百模千态的国内外主流大模型技术生态，面向国际前沿有效应对大模型技术快速变化，坚定自主创新转型信心。工行率先打造大模型自主创新适配六步标准工艺，从安全测评，代码适配，格式转换，接口适配，速度优化，模型入容器化灵活供给的大规模AI算力云。昇腾AI算力硬件设备满足基础。立足端到端自主创新道路，工行形成一整套自主创新、功能完备、成熟可复制的千亿金融大模型技术方案，打通能够自动化生成前序坐席与客户的沟通主旨摘要，防止有效信息丢失。并且可以通过在线跟听坐席与客户对话，动态预测客户意图，实时分类业务场景，自动进行资料搜索，并归纳总结形成推荐的答复话术提取通话关键词条，提质增效助力客户满意度提升；金融市场中，创新推出新一代智能询价产品ChatDealing，通过大模型重塑金融市场总分行业务流程，支行、分行、总行多方交易员在同一交易对话框中通过对话完成价格磋商。通过运用大模型智能识别交易话术，生成交易意向单达成交易，并在交易中实时完成客户审查并生成分析报告。技术能力上除了纳管昇腾NPU算力，构建AI算力资源池，实现算力平台的自主创新外，工行人工智能业务体系构架也为业界在模面向行业痛点问题的大模型训练加速优化与大模型推理加速优化能力，通过断点续训，故障快速隔离，任务自动恢复等提升AI集群平台训练稳定性。AI算力集群层面上应用多种分布式并行计算技术，实现存算高效协同，更好的支撑大模型二次应用；推理层面落地模型量化技术，连续批处理框架等多种高性能推理优化措施，在保障推理性能满足业务要求基础上，节省算力设备占金融是人工智能应用最多的行业之一，从行业到整体，政策层面不断出台战略规划，积极推动人工智能与金融业务的融合。中国人民术在金融领域的深化应用。2024年政府工作报告中也明确提出深化大数据、人工智能方面的研究与应用，目的是构建我国能在全球范围在此背景下，作为全球系统重要性银行，交通银行持续关注并积极布局人工智能技术，持续加大“算力、算法、数据”建设力度，深化人工智能技术应用，着力将人工智能打造为交通银行新名片。技术层面，交通银行基于自身业务发展需要，积极引入新技术，陆续建设企业级机器学习平台、自然语言处理平台、全栈式知识图谱平台、统一图像识别平台、生物识别平台、智能语音平台、音视频平台等多个技术平台，沉淀模型训练、评估、推理等工具链，加速应用落地；场景布局层面，交通银行聚焦“降成本、控风险、优体验、创价值”四提高业务自动化、智能化水平；在控风险方面，通过机器学习和知识图谱技术在反洗钱、反欺诈、信贷资金流向等场景的落地，提高客户信用风险识别精准度；在优体验方面，基于智能音视频技术搭建互动式、伴随式的“云上交行”，成为银行数字化在线服务的新渠道；在创价值方面，面向零售客户，提升客户画像能力。面向企业客户，建立产业链目前，随着客户需求从头部扩展到长尾，多样化和个性化的需求成为趋势，对银行服务质量提出了更高的难以满足个性化、及时性和全渠道服务的期望；传统问答知识库只能识别较短语句并提供知识库中标准回答，实际应用中还会出现语义解读错误；此外，基层员工在报告撰写、文档总结、代码生产等各类创造性工作方面存在耗时高、质量低等痛点。因此，亟需研究生成式人工智能金融应用，以各类助手的形式，人机协同提升工作和服务质效，赋能数随着人工智能技术的迅猛发展以及受到国外高端GPU禁令的影响，算力问题也日益凸显。一是生成式人工智能训练依赖大规模高速AI算力集群，而基于自主创新AI芯片的算力集群建设方案仍有待探索；二是算力规模的上升以及多种架构芯片并存也提高了运维成本以及调度的难度，需要探索建设算力的管理能力；三是国产算力软件生态尚不完善，模型移植缺乏成熟的提升设备的使用效率。在此基础上，交通银行开展大模型金融应用研究及存量模型适配迁移工作，在业务一是搭建大规模高速AI算力集群，支撑千亿参数大模型计算需求。交通银行以昇腾Atlas800TA2训练服务器为主，以存量英伟达A100/A800服务器利旧为辅，打造安全可靠的三是开展存量模型适配迁移工作共建自主创新的AI计算服务器生态。交通银行逐步推进存量模型自主创新进程。以昇腾Atlas800-3000推理服务器为主要算力，在ASR场景下，在自主创新算力底座上实现了语音客服业务的正式上线，基于完全自主创新算力底座的昇腾在金融的应用与生态白皮书44应用层应用层应用办公助手信贷助手开发助手问答助手客服助手智能语音模型层大模型小模型交行金融行业大模型模型层大模型小模型交行金融行业大模型迁移适配基础