金融业人工智能应用风险研究报告 2025

i （一）研究背景 （二）政策与标准 （三）技术发展路线 （一）基础设施风险 （二）数据风险 （三）模型算法风险 （四）应用风险 （五）伦理风险 （六）隐私风险 （七）管理风险 （八）大模型安全风险 （一）基础设施防护 （二）数据防护 （三）模型算法防护 （四）应用防护 （五）伦理防护 （六）隐私防护 （七）管理防护 （八）大模型安全防护 （一）工商银行人工智能安全框架 （二）蚂蚁集团大模型安全一体化解决方案 （三）邮储银行人工智能安全技术体系 1一、概述（一）研究背景随着金融行业数字化转型的快速发展，人工智能相关技术在金融领域的应用场景日趋广泛，已涵盖了产品创新、客服营销、业务运营及风险防控等多个业务场景，特别是大模型的出现，加速了人工智能金融业应用的进程，与此同时深度伪造、对抗样本等针对人工智能的新型攻击手法不断涌现，人工智能应用风险已引起金融业的高度关注。（二）政策与标准针对人工智能应用风险，国内外均提出发展和安全并重、加强监管和测评的核心思想，规范和保障人工智能的安全发展。国内侧重于宏观审慎监管和国家战略服务，中央金融工作会议强调加快建设金融强国，全面加强金融监管，推动金融资源用于科技创新，不断优化金融服务，防范和化解金融风险。国家网信办联合七部门于2023年公布《生成式人工智能服务管理暂行办法》，该办法旨在促进生成式人工智能健康发展和规范应用，并规定了AI服务提供方的责任义务。金融监管总局在《银行保险机构数据安全管理办法（征求意见稿）》中提出，应当对人工智能模型开发应用进行统一管理，实现模型算法可验证、可审核、可追溯，就数据对决策结果影响进行解释说明和信息披露，建立人工智能应用的风险缓释措施等。中国人民银行在《人工智能算法金融应用评价规范》中规定了人工智能算法在金融领域应用的基本要求、评价方法和判定标准，适用于开展人工智能算法金融应用的金融机构、算法提供商2及第三方安全评估机构等；在《人工智能算法金融应用信息披露指南》中明确金融机构在使用人工智能算法提供金融产品和服务时，规范地开展算法信息披露活动，增强人工智能算法的可解释性和透明度，维护金融消费者合法权益。国外监管更注重市场效率和消费者保护，确保金融机构在提供产品和服务的同时遵守相关法律和道德准则，同时建立完善的消费者投诉和纠纷解决机制。美国《人工智能应用监管指南》标志着欧美人工智能政策从伦理规范向监管规制逐步转变，也显示了AI主导权开始转向通过立法和监管来谋求科技主导地位；《人工智能权利法案蓝图》中提出，在不损害公众利益的情况下，用户应可以自主选择使用人工服务替代人工智能服务。欧盟《通用数据保护条例》等隐私及数据安全要求的发布，监管部门要求金融机构在建设和使用人工智能的同时，需满足民众对隐私保护的需求；在《人工智能法》中为人工智能制定了一套覆盖全过程的风险规制体系，提出了风险分类思路、产品规制路径、负责任创新和实验主义治理理念。现有行业规范主要从管理和治理的角度进行要求，尚未充分针对具体应用场景，进行技术攻击视角开展深入的风险分析，在实际应用中的防护措施也讨论较少。（三）技术发展路线人工智能风险及防护已成为技术研究的新兴领域，其技术发展也经历了从初步探索到逐渐深化的过程。3对抗样本攻击技术自2016年起成为学术界研究的热点，研究人员发现通过构造轻微扰动来干扰输入样本，可以使深度神经网络输出攻击者想要的任意错误结果。初期（2016—2019年研究者开始探索对抗样本识别模型技术，旨在区分正常输入与精心设计的对抗输入。进入2020年，对抗样本生成技术进一步细分，包括多模态对抗攻击、针对不同场景的白盒攻击和黑盒攻击。2021年起，物理世界对抗样本生成、目标定位对抗攻击等新技术涌现，丰富了对抗样本的实战应用。模型窃取攻击技术作为新兴的安全威胁，2019年，初步出现了用于模型窃取攻击的替代模型技术，标志着该领域研究的起步。随着时间的推移，模型窃取攻击技术不断演变。2021年，研究者们提出了通过对比分析不同模型提取的时序和空间特征，以及利用图形码解析技术来窃取模型信息的方案，展现了模型窃取攻击技术的复杂性和多样性。2022年至今，基于梯度驱动数据生成的模型窃取攻击方法成为新的研究热点。该方法利用梯度信息指导数据生成，从而更有效地窃取目标模型的内部结构和参数，对模型安全构成了新的挑战。数据投毒攻击技术作为一种隐蔽而有效的攻击手段，2021年基于深度学习中特征碰撞的投毒攻击方法和基于联邦学习的图分类任务中毒攻击方法相继问世。这些技术通过向训练数据中注入恶意样本，破坏模型的正常学习过程，从而实现对目标模型的攻击。近年来，数据投毒攻击技术进一步发展，出现了通过直接破坏训练数据来影响整个学习过程的技术。这类攻击不仅难以被察4觉，而且能够对模型性能造成长期且深远的影响，对机器学习系统的安全性构成了严峻挑战。对抗性数据增强技术在2016年后逐步成熟，成为提升机器学习模型鲁棒性的重要手段。早期（2016—2018年），研究者们通过基于对抗示例的防御策略更新、对抗训练系统改进及模型置信水平交换等方法，增强了模型的防御能力。2019年，基于对抗样本增强的抗攻击能力训练等技术进一步提升了模型的鲁棒性。2020年，模型训练方法的创新，如对抗补丁的生成与防御、鲁棒深度神经网络训练等，推动了数据增强技术的多元化发展。2021年，联邦迁移学习、优化训练方法等技术方案的出现，为分布式环境下的对抗性数据增强提供了新的思路。2022年至今，基于对抗训练的文本解析、多任务建模与集成、视频级目标检测训练等技术的融合应用，进一步提升了复杂场景下的对抗性数据增强效数据隐私计算技术在2016年后成为研究热点，旨在保护数据隐私的同时实现数据的有效利用。早期（2016—2018年），基于隐私保护技术的联合深度学习训练方法初步成型。2019年，数据隐私保护下的机器学习模型特征筛选、多方联合训练图神经网络等技术方案的提出，推动了隐私保护技术的发展。2020年，横向联邦学习、全同态加密等技术的出现，为数据隐私计算提供了更为安全高效的解决方案。基于端边云架构的分布式联邦学习安全防御、联邦神经网络训练等技术的融合应用，进一步提升了数据隐私保护的能力。5AI框架漏洞挖掘技术在2018年后快速发展，成为保障AI系统安全的重要环节。初期（2016—2018年），深度学习系统漏洞检测技术初步形成。2019年，人工智能和模糊测试漏洞扫描系统（AIFuzz）的推出，标志着自动化漏洞挖掘技术的兴起。2020年，对抗性漏洞审计工具、深度学习漏洞危害评估指标技术的出现，进一步提升了漏洞挖掘的精度和效率。2021年，基于遗传算法的深度学习模型安全漏洞测试和修复技术、图神经网络在智能合约漏洞检测中的应用等技术，为AI框架安全提供了更加全面的保障。2023年至今，基于图神经网络的源代码缺陷检测、漏洞检测模型优化等技术的融合应用，推动了AI框架漏洞挖掘技术的持整体而言，人工智能攻防领域的研究聚焦于模型防护与攻击方法技术，其中模型攻击技术则涵盖对抗样本、窃取、投毒等多种手段，而模型防护技术为核心与热点，包括数据增强、漏洞挖掘与隐私计算等，部分技术尚处于探索阶段。二、金融业人工智能安全风险框架（一）基础设施风险1.AI框架开源风险AI框架开源风险主要存在断供层面的风险。在人工智能领域，开源人工智能框架TensorFlow和PyTorch目前在我国占据了约85%的市场份额，开源框架在提供灵活性和创新性的同时，也可能使金融机构更加脆弱于供应链的不确定性。一旦开源框架的维护者决定终止支持或因政治原因停止合作，金融机构可能会陷入断供的境地，导致AI应用系统的不稳定甚至瘫痪。这种情况下，6金融机构将面临迁移至其他框架的转换成本，进而增加了整体的运营成本。2.AI框架和芯片安全漏洞AI框架和芯片安全漏洞问题是人工智能领域不容忽视的挑战。以硬件加速芯片和AI框架为核心支撑的人工智能系统，在不断提升算力以及模型能力的同时，也面临着安全漏洞的潜在威胁。芯片安全漏洞作为硬件层面的问题，也对人工智能的安全性构成威胁。高性能计算所需的芯片在设计和制造过程中可能存在漏洞，这为恶意攻击提供了潜在入口。AI框架的开源本质为创新提供了契机，但也可能为潜在的安全漏洞留下后门。攻击者可以利用这些漏洞进入系统，威胁到敏感数据和模型的安全性。特别是在金融领域，安全性至关重要，一旦AI框架存在漏洞，可能导致机密信息泄露、模型被篡改等严重后果。例如主流人工智能分布式处理框架Ray就被爆出存在远程命令执行漏洞（CVE-2023-48022）,该漏洞可使得攻击者控制服务器的计算能力并窃取敏感数据。此漏洞源于Ray框架提供了用于提交计算任务或作业以供执行的接口，攻击者可通过该接口提交任意系统命令，从而窃取数据库凭证、SSH密钥等敏感信息。3.AI供应链安全风险AI供应链安全风险涉及外部引入的数据集、模型、工具包及服务等多个场景，如果外部引入的数据不准确或模型存在漏洞后门，将直接影响模型的性能和决策。AI服务和外部工具的引入也增加了供应链的复杂性和风险，这些服务或者工具本身也可能存7在缺陷或漏洞，可能面临数据隐私泄露、未经授权的数据访问等问题，对人工智能应用场景造成风险。AI系统的复杂性和对外部资源的依赖性增加了系统被攻击的风险。与传统软件不同，AI系统与供应链的强耦合特性造成风险隐藏在训练集和模型中，很难通过代码审计、成分分析等传统的安全技术手段识别风险，并且也无法通过打补丁的方式进行快速修复，提高了整体风险被发现和修复的难度；AI供应链的安全风险是伴随在系统开发和运行阶段，需要对供应链全生命周期进行持续监控。4.AI算力消耗风险作为人工智能的重要底层支撑，算力成本问题是金融人工智能应用发展过程中不可忽视的一大挑战。随着人工智能能力的不断增强，模型架构不断升级，对算力与存储的要求也越来越高。金融人工智能应用需要庞大的计算资源来进行训练和推理，对许多金融机构来说，建立和维护这样的计算基础设施往往会需要高昂的成本，主要体现在硬件成本与能耗成本上：（1）硬件成本是指构建和维护高性能计算设备所需的硬件设备和设施的成本较高。（2）能耗成本是大规模金融人工智能应用所需的计算资源导致的高能耗，进而增加电力成本。若不能提升算力资源利用率，或与相关机构合作共享算力，则会造成收益比下降，前沿技术所带来的科技进步无法转化为经85.AI系统实现风险人工智能系统实现依赖于软硬件平台的支撑，软件开发和硬件编码过程中如存在漏洞，会引发人工智能系统实现风险。（1）Python是当前使用较为广泛的人工智能编程语言,编码不当的编程脚本可能会触发漏洞，使系统容易受到潜在的拒绝服务、远程命令执行等攻击。自动化的软件开发过程中使用的CI工具提供许多可利用的插件供开发者使用，这些插件可能会无意中暴露模型的代码和训练数据，同样可能造成重大的安全问题。（2）与传统程序一样，硬件漏洞也会引发人工智能安全风险。如rowhammer内存硬件漏洞利用了相邻内存单元之间的电荷泄漏问题，通过重复访问某一列的存储单元，可以引起电压波动，0，可以被利用来操纵篡改模型的参数和输出结果。（二）数据风险1.数据污染风险若训练数据集存在错误、异常或被恶意篡改的情况，会导致模型性能下降、预测结果不准确，甚至出现安全漏洞等问题。数据采集错误、数据预处理不当、恶意攻击或人为失误都可以造成数据污染。被污染的数据在训练过程中会导致模型对噪声数据过拟合，而在推理时则可能导致模型做出错误的预测或决策。数据投毒是其中最典型的恶意攻击方式，攻击者可根据神经网络的复杂性和非线性特性，找到在特征空间中与目标样本相近的中毒样本,并将中毒样本注入数据集，以此修改决策边界，来破坏模型的可用性，从而产生各种不正确的预测。92.数据质量风险数据质量在决定人工智能模型上限方面发挥着至关重要的作用，数据质量风险主要包括数据完整性与多样性风险、数据准确性及标注质量风险和数据可扩展性风险三方面：（1）数据完整性与多样性风险：训练数据集应包含足够多的样本，每个样本应包含所需的特征，并包含各种分布和变化，包括不同的类别、场景、时间等，否则模型将趋于过拟合，无法对新数据做出高准确率的预测或分类。金融数据的量级很大，某些交易类型或客户类型呈现长尾分布，数据采集时易产生有偏数（2）数据准确性及数据标注质量风险：训练数据的标签和特征值应准确无误，避免引入错误的标签或错误的特征值。对于需要人工标注的数据，标注应准确反映样本的真实情况，且标注过程应遵循一致的标准和规范。否则训练出的模型可能会产生错误的预测结果，导致错误决策。（3）数据可扩展性风险：随着时间的推移，新的数据源可能不断涌现，训练数据应易于扩展和更新。如果模型只能使用旧数据来训练，那么它的预测能力和泛化能力可能会受到限制。3.数据窃取风险数据窃取风险主要包括数据还原风险以及成员推理风险。数据还原风险是通过分析机器学习或人工智能模型的输出，尝试还原模型的训练数据，以推断出原始数据的一些特征和敏感信息。攻击者利用各种技术手段，例如生成对抗样本、附加噪声、反向工程等方法，试图逆向还原模型，从而获取训练数据的敏感成员推理风险通过分析机器学习模型的输出来确定某个特定样本是否被用于该模型的训练。攻击者利用生成对抗样本、附加噪声等方式判断某个输入数据是否属于模型的训练集，从而揭示有关训练数据的敏感信息。例如，攻击者可能利用成员推理来确定某人是否有过贷款记录、是否在银行黑名单上，或者判断某个客户是否被认为是高价值客户。（三）模型算法风险1.算法失窃风险算法模型作为技术的核心载体，一旦被窃取，将可能使拥有该技术的金融机构暴露在风险中。例如，金融机构的AI模型被黑客恶意盗取后，黑客就可以复制该公司的业务，来抢占金融市场，获取间接经济利益，或者将模型出售给第三方，甚至勒索该公司，来获取直接经济利益。在算法失窃方式中，一方面通过供应链直接窃取，算法模型因为没有加密混淆，在传输和存储过程中被窃取。另一方面可通过模型窃取算法实现，如代理模型攻击实现窃取，主要通过训练与原模型功能相似的代理模型来蒸馏原模型的知识，将原模型的输入作为其输入，原模型的输出作为其训练标签，并进行参数优化，不断拟合原模型的输出，最终达到窃取原模型知识的目的。2.算法失效风险金融场景的复杂性决定了没有一个模型能够涵盖市场的所有特征，只能采取简化的办法，通过选取重要特征来描述真实的市场。但这种以局部特征代替整体特征的方法，使得算法具备很大的局限性，非常容易导致算法失效。比如，在程序化交易中，策略模型算法的实质是按照既定的规则进行买卖交易。投资者依据经验或者数理化的方法从历史行情中发掘出某些特定的规律，然后据此制定出相应的买卖规则。但不同时间内，市场规律会呈现出不一样的特征，策略模型也就失效了。并且大部分的交易模型都是有时间限制的，程序化交易在国内的发展趋势很快，交易模型算法如果不及时更新，也会发生失效的风险。3.算法指标失衡风险在模型算法评估过程中，分类问题、回归问题等往往需要使用不同的指标进行评估，如准确率、召回率等。在诸多的评估指标中，大部分指标只能片面地反映模型的一部分性能。如果不能合理地运用评估指标，不仅不能发现模型本身的问题，而且会得出错误的结论。比如在反欺诈场景下，如果过分追求识别黑产用户的准确率，而忽视将正常用户被误判为黑产用户的误杀率，则会影响正常用户体验，增加用户投诉。4.算法同质化风险算法同质化风险指的是当多个机器学习模型使用相似的训练数据和相似的学习方法时，相似环境中共同犯错或共同受到某些不利影响。造成这种同质化风险的原因主要有两方面：一是由于使用的训练数据相似比例较大，导致算法对相同类型的噪声产生敏感性从而在类似的场景中犯同样的错误。二是由于使用相似的结构和超参数进行训练的模型，在面对对抗攻击样本时会表现出相似的脆弱性，攻击者可能会更容易将成功的对抗攻击扩展到不例如，银行内部风险防范通常由多个环节不同部门协同进行。如果风险防控中的一道防线、二道防线使用的风险模型存在同质化问题，会导致风险无法被发现，减弱多道防线的风险防控能力，使其失去效果。5.算法可审计风险人工智能算法模型的训练、部署到使用全流程应当建立一套完整且规范的记录模式，否则将会给该算法的可审计性带来风险。在这个流程中如果不能对算法使用的历史数据集进行溯源和备份，没有对模型的迭代训练过程中产生的中间结果进行记录，没有记录模型运行日志及操作日志，都有可能会给后续审计和回溯工作带来无法溯源的风险。6.文件木马风险人工智能算法在使用算法模型时，需要进行反序列化，从而将模型数据存入内存。目前大部分人工智能计算框架使用的模型文件反序化组件支持代码执行，攻击者可在模型文件中增加代码，当使用者在执行模型文件的反序列过程中引发任意代码执行，导致受害者使用的计算机遭受攻击。目前应用较为广泛的人工智能计算框架Pytorch，使用了Pickle组件来实现反序列化。该组件的反序列化过程支持任意代码执行。攻击者可向模型文件中加入恶意代码。使用者在加载恶意模型文件时恶意代码被执行，进而导致远程控制、勒索病毒等7.模型后门风险当购买第三方人工智能算法模型或使用第三方的人工智能算法模型服务时，如果第三方的模型没有通过安全审计，那么使用的模型有被后门植入的风险。后门风险是指在人工智能模型的训练阶段，通过特定数据对模型效果进行定制化干扰的攻击手法，带有后门的模型针对正常输入的输出依旧正常，而带有特定标记的输入将会被识别为攻击者想要伪装成的对象，从而操纵模型的判断结果。一些人工智能模型的提供商出于政治、商业竞争等特殊目的，可能在预训练过程中植入模型后门，使其在应用过程中输出错误的结果。一旦不法分子利用人工智能模型的这种风险，操控金融风控模型将会给整个金融行业带来极大的威胁。8.对抗攻击风险对抗攻击指的是对人工智能模型的输入进行微小，人工难以察觉的改动，从而使产生错误的决策甚至操纵决策的输出。这类风险的特点在于不需要参与人工智能模型的训练，只要有权使用该模型就可以进行对抗攻击。此类攻击之所以能够成功的根源还是在于人工智能模型算法的可解释性差，面对极端的输入数据，算法模型的处理逻辑发生偏离，从而给出错误的结果。目前金融业中普遍面向大众使用的人脸识别，ocr识别、交易场景异常行为监控等人工智能应用都存在对抗攻击风险。（四）应用风险1.操作性风险操作性风险主要包括信息茧房、算法共谋等风险。信息茧房是指由于个性化推荐算法的存在，用户倾向于只接触和接收与自己已有观点和偏好相符的信息，而忽视或排斥那些不同观点的信息，这种现象可能导致用户陷入信息的封闭空间，无法接触到多样的观点和互相冲突的意见。算法共谋是以智能算法作为促进共谋的技术因素，利用算法“黑箱化”的特性通过编码和数据进行自动化决策，使企业可以在不需要沟通和互动的情况下实现某种共同的目标，这种协作可能会对市场竞争、社会公平产生负面影响。金融机构利用智能算法推荐技术，如果违规构建充斥高风险金融产品服务的信息茧房，以算法优势排除和限制市场竞争、阻碍消费者自主选择，将会导致“劣币驱逐良币”，甚至与同行机构达成“算法共谋”，将中小微企业、社会低收入人群、民营经济组织拒之门外，引发市场垄断。2.算法应用风险人工智能算法在应用过程中同样存在风险，以算法滥用、算法思维依赖两种最为典型。（1）恶意滥用：算法的渗透力和影响力日趋强大，当算法在应用过程中如果被不加约束地使用会带来较为严重的算法恶意滥用风险。比如借助神经网络拼接合成虚假内容的深度伪造攻击、通过人工智能生成恶意钓鱼邮件、通过算法生成即拿即用的恶意代码编写、通过人工智能生成逼真欺诈话术，极大压缩电信诈骗人力成本的欺诈客服机器人等形式的算法恶意滥用，降低了攻击的技术门槛。（2）思维依赖：随着人工智能技术在业务场景大量应用，容易造成人员过度依靠生成式人工智能提供的答案，从而使人自身的观察与理解、归纳与演绎、比较与推理等感知和逻辑能力缺乏锻炼，日常怠于思考与创新。金融业具有较高的系统可用性及业务连续性要求，若核心业务使用了人工智能算法模型进行辅助决策，甚至直接决策，一旦人工智能系统出现故障，导致短期内无法使用或恢复，业务人员长期对人工智能的思维依赖可能影响业务运营及时恢复。（五）伦理风险1.金融伦理风险金融模型在训练过程中需要依赖大量的金融数据，包括客户信息、交易记录等。如果这些数据本身存在偏见，如种族、性别、地域等方面的歧视，那么模型在训练过程中就会学习到这些偏见，并在后续的应用中表现出来。这可能导致模型在风险评估、信贷审批等金融决策过程中产生不公平的结果，损害部分群体的利益。金融模型的应用也会引发利益冲突。例如，在智能投顾领域，模型可能会根据特定的投资策略或利益诉求来推荐金融产品，而不是基于客户的最佳利益。这可能导致客户利益受损，引发信任危机。在某些情况下，金融模型可能会面临道德困境。例如，在风险管理领域，模型需要在控制风险和保护客户利益之间做出权衡。如果模型过于保守，可能会限制客户的投资选择；如果过于激进，则可能增加客户的投资风险。这种权衡过程需要考虑到伦理道德因素，以确保决策的合理性和公正性。2.歧视性风险算法歧视也被称为算法偏见，是指在信息的生产、分发及核查的过程中对用户造成的非中立立场影响，从而导致片面、失实等信息观念的传播。大数据杀熟是一种典型的算法偏见，大数据杀熟是指经营者通过对用户的数据进行采集和分析，从而形成对用户的特定形象描摹，进而对不同的用户提供特定价格的商品或者服务。经营者主要根据顾客选购频次的增加，对顾客的消费心态，消费喜好，消费规律性进行记录和分析，制订出更为“合适”顾客的价钱。经常表现为对于同样的商品或者服务，老客户看到的价格反而比新客户要贵出许多的现象。3.算法黑箱风险目前算法模型的决策由海量数据和复杂的网络结构驱动，难以人为干预，不可控性较强，天然具备黑箱属性。金融机构应用算法技术时，根据已知的输入完成一系列特定操作并进行结果输出，但过程性环节实际如何进行运算和推演却无法进一步获悉，输出的结果也非常规所能控制和解释。海量数据及其所驱动形成的算法模型存在于黑箱的内部，大部分金融消费者对其仅仅只能停留于模糊的外观认知边界，无法知悉其得出结果的主要依据和具体过程。比如，在信贷领域使用深度神经网络测算客户贷款额度，由于具体额度通过一系列非线性函数叠加计算生成，算法黑箱风险导致模型难以输出更多解释信息，考虑到金融管理部门要求、客户解释等因素，模型算法在应用过程中存在一定局限性。4.责任界定风险传统意义的责任界定风险通常是指因个人或团体的疏忽或过失行为，造成他人的财产损失或人身伤亡，按照法律、契约应负法律责任或契约责任的风险。金融机构利用人工智能向客户提供更加多样化、高效、便捷的服务的同时，也会导致责任界定不清的问题。当客户在使用服务过程中，出现了财产等损失而需要追究责任时，产生的原因是多层面的，既可能有数据集的问题，也可能有模型算法的问题，还可能存在系统服务引发的问题，甚至存在客户自身使用不当等问题。以基于大模型的智能投顾为例，在正常情况下可以得出极为精确的预测分析，助力客户取得预期收益。但出现极端情况时，如类似1929年美国股灾的事件，投资者可能遭受巨大损失，追究责任却无从下手。人工智能本身是一个黑箱，数据提供商、模型提供商、服务提供商、客户自身都可能需要为此负责，具体界定主要责任还是次要责任很难划分。（六）隐私风险1.个人数据泄露风险人工智能模型训练所需的数据多为结构化数据（数值、标签等）或非结构化数据（文本、图像、音频等），其中用户的人机交互对话、搜索记录、交易记录和行为轨迹等训练数据中可能含有个人隐私信息，若过度收集并在未获得用户授权同意的情况下违规使用此类数据进行模型训练，由于模型强大的记忆能力可能会在处理用户请求时无意间泄露，对个人的隐私造成侵犯。同时泄露的个人隐私信息可能被恶意利用，导致身份盗用、开设虚假账户或诈骗等违法行为，导致严重的后果和风险。2019年，苹果智能语音助手Siri被曝出窃取用户隐私，苹果公司在未明确告知用户被录音和分析的情况下，存在定期录下用户与Siri的交流，并将其发送给外包公司进行分析的行为，导致用户隐私泄露。2.商业数据泄露风险企业的商业隐私数据可大体分为两类，一类是企业核心代码、算法、技术或密码等敏感信息，例如软件核心源代码、密钥和凭证等；另一类是企业的商业机密文件和资料，例如商业合同、商业协议、机密报告和会议纪要等。人工智能模型会根据开发者需求收集相关的数据用于模型优化训练，例如生成式模型会收集用户在人机交互过程中的对话内容、问答信息等进行持续的学习，但用户可能在使用过程中泄露包含企业商业隐私的信息并成为后续算法训练的数据源，造成新的数据泄露风险点，导致企业面临商业损失，包括竞争对手获取企业商业机密信息，或灰黑产的敲诈勒索等。例如2023年4月，据《Economist》报道三星半导体员工疑似因使用ChatGPT，导致在三起不同事件中泄露公司机密。调查原因皆因员工将公司机密资讯输入ChatGPT而导致。（七）管理风险1.侵犯版权风险人工智能应用过程会涉及大量的第三方数据和模型，如果金融机构在未经版权（著作权）所有者授权的情况下使用了这些数据和模型，则可能会面临侵犯版权的风险。（1）在数据方面，人工智能在内容获取、数据处理以及内容输出的各个阶段均有侵犯版权的风险。其中，内容获取阶段可能涉及对版权人复制权的侵犯，在此阶段，人工智能往往通过爬虫等数据收集手段大批量地从互联网中爬取数据，所用技术往往是数字化形式的扫描和文本提取，如果未经版权人许可，此种行为往往落入《著作权法》中所规定的侵犯“复制权”的范围之中；数据处理阶段可能涉及对版权人的翻译权、改编权以及汇编权的侵犯，由于人工智能的训练往往需要将所收集的数据转码为相应的结构化数据，而转码的行为必不可少地涉及对原有数据内容的调整，包括对数据格式的转换修改、整理删除以及汇总等，这难免会构成对版权人的翻译权、改编权以及汇编权的侵犯；内容输出阶段输出的结果常在互联网上以数字化的方式传播呈现，如果输出的分析结果涉及原有作品的内容而未经版权人许可，与原作品构成“实质性相似”，很有可能造成对版权人信息网络传播权（2）在算法和模型方面，金融机构也可能面临相应的侵犯版权风险。一方面，人工智能算法和模型本身具有版权或专利，且会受到法律保护，如果金融机构未经授权地复制或改编现有的算法或模型，将构成侵犯版权行为。另一方面，金融机构可能会采用开源算法进行金融产品分析和交易决策，如果这些算法没有遵循相应的开源协议，可能会违反版权规定，导致法律纠纷，这是因为开源社区提供的算法是由开发者在开源社区（如GitHub等）发布，任何人都可以免费使用、修改和分发，而这些开源算法通常附有开源许可协议（如ALv2、GPL等），且这些协议规定了算法的使用、修改和分发条件，例如某些协议要求使用者在发布衍生作品时必须公开源代码，或者必须在使用时保留原作者的版权声明，金融机构在使用这些开源算法时，必须遵守相应的开源协议条款，如果未能遵守，则会构成版权侵权。2.消费者知情风险消费者知情权要求金融机构向消费者告知所提供服务的真实、全面信息。在人工智能应用场景下，金融机构违反消费者知情权的情形主要表现为模型结果误导消费者、消费者信息收集和使用过程未充分说明等。金融机构在收集消费者数据时，若未能详尽阐述数据范围、使用规则并充分征得消费者同意，便可能侵犯其个人信息保护知情权。常见做法如冗长晦涩的隐私政策或隐蔽的同意链接，使消费者难以全面理解并预见其数据去向。这种“点击即同意”的模式，实质上剥夺了消费者的真实知情权和选择权。同样，数据使用过程中的不透明也引发广泛关注。以Google与Ascension合作为例，未经患者明确同意，数百万健康数据被用于AI训练，此举不仅触动了公众对个人隐私安全的敏感神经，也暴露了数据使用透明度缺失的严重问题。此类事件加剧了社会对数据滥用和隐私侵犯的担忧，强调了在数据收集与使用各环节中加强透明度和用户同意机制的重要性。3.组织流程风险人工智能的引入可能会造成金融机构的现有人员不胜任与AI人才流失、组织方式及业务流程不匹配等风险。一是现有人员可能因AI技能不足影响应用效率，同时技术快速迭代加剧人才流失风险。二是传统组织模式的数据孤岛现象阻碍AI全面应用，企业决策方式向数据驱动转变，对现有管理层级与结构带来挑战。例如摩根士丹利在引入“NextBestAction”人工智能系统时，AI系统部署中遭遇部门间协调难题，影响系统集成与数据共享。三是AI应用可能改变现有工作流程与决策机制，过度依赖自动化可能削弱人工审查，增加流程错误与决策失误风险，导致交易延迟或数据错误等问题。4.监管合规风险目前尚未建立行业层面统一的人工智能治理框架，行业法规和标准规范仍在制定和不断完善过程中，缺乏人工智能系统的合规性和安全性要求相对应的机制和标准。例如在人工智能技术的应用中，大模型技术会存在透明性不足等问题，如何准确评估其潜在风险并进行有效监管会是一个挑战。在没有明确约束和规范的情况下，人工智能的风险可能会进一步放大。（八）大模型安全风险随着大模型能力的不断增强和适用范围的延伸，大模型安全风险与防护也引发了业界高度关注。从技术角度上看，大模型作为一种算力更高、能力更强的人工智能模型，很大程度上继承了传统人工智能安全风险点。由于大模型更大规模的训练数据、更为复杂的模型维度，尽管使得数据投毒、模型后门等原有风险的攻击难度增大，但攻击隐蔽性及影响程度也一定程度上的提升。从第三方服务角度看，由于大模型的建模及预训练往往由第三方完成，甚至部分场景的大模型直接部署在第三方，导致模型结构、训练数据及训练过程无法管控，由此带来了全新、更为突出的供应链安全风险。1.提示注入风险提示注入风险是指通过构造设计特定的提示词，绕过安全对齐等防护机制，达到操纵大模型输出的目的。攻击者可以通过在提升词中注入模拟对话、角色扮演、目标劫持等攻击话术，操纵大模型输出有害内容，如要求大模型扮演一个虚拟角色，诱导大模型在虚构的场景下输出有害信息。2.后缀对抗风险后缀对抗风险是一种针对安全对齐机制的新型攻击风险，是提示注入风险的进一步升级。与提示注入攻击主要依赖专家经验设计话术不同，后缀对抗攻击在模型算法层面提出了后缀对抗风险。攻击者可通过人工智能算法自动生成攻击后缀，添加到恶意提问文本后部，达到绕过大模型安全对齐产生恶意输出的目的。AI幻觉风险是指大模型由于过度泛化生成虚假信息。为了得到更好的反馈效果，大模型往往需要尽可能多的关联信息进行回答，但由于信息的泛化联想与客观事实的一致性天然存在矛盾，一定程度上会影响结果的准确性。由于大模型不能自动量化评估答案的准确性，使得大模型在对准确度有较高要求的场景下如智能客服、财报分析、金融分析报告，可能存在答案严重违背客观事实的风险。4.智能体安全风险大模型智能体作为能够利用大语言模型实现复杂任务智能决策和行为输出的重要应用，为大模型的实际落地提供了重要的技术基础和支持。由于大模型智能体应用需要通过调用外链应用完成复杂任务执行，攻击者可以通过向智能体应用提出服务请求的方式对智能体应用开发框架及其外链应用发起攻击，因此大模型智能体应用除面临大模型自身的提示词注入、后缀对抗等攻击风险外，还可能存在智能体应用自身框架漏洞、智能体外链应用权限失控、智能体外链应用漏洞等风险，且这些风险的触发方式及利用难度因大模型提供的智能化服务而变得更为容易，风险影响范围也更加广泛。5.内容合规风险生成式人工智能的内容安全广义上包括输出内容的社会安全性，是否合法合规、遵守道德伦理和公序良俗等，具体表现在违法不良信息、内容失实、偏见歧视、违反伦理道德等方面。生成内容的安全性是公众选择使用相关产品和服务的重要影响因素之一，也是全球人工智能监管的重要事项。对用户而言，便捷高效地得到文本、图片、音视频、代码等内容是使用生成式人工智能技术的主要用途，生成的内容越是接近或超过一般人类的创作能力，往往越能获得用户的青睐。然而，语言风格越接近人类、合成的音视频越逼真，用户越是难以鉴别其中的真假。一旦训练数据遭受偏见、错误、不良等信息毒害，抑或模型存在缺陷，生成内容很可能是错误甚至是具有社会危害性的。6.调用交互风险大模型通常以高频次API调用形式提供服务，攻击者利用API安全漏洞实施攻击，如以未授权的方式访问或执行更高权限的操作、利用对外提供服务的API接口漏洞执行恶意代码命令等。此外，大模型会利用第三方应用的API接口丰富自身能力，但API的泄露会导致模型的外部能力直接泄露，导致越权、未授权访问他人信息等风险。如利用提示词注入诱导模型输出内置API地址列表以及调用方式，既可以让攻击者从针对模型应用的攻击转到针对所属企业的攻击，还可能变成新型的网络资产测绘手段。7.基座模型风险基座模型经过大规模数据集进行预训练，具有通用的语言理解和生成能力，因此很多大模型产品基于预训练的基座模型进行修改和定制化，但其造成的风险也同时传导到了下游模型和应用，主要表现在以下几个方面：从质量风险看，模型基座自身的缺陷来自其训练数据的缺陷，可能会产生有害内容、偏见、泄露敏感信息和错误信息等，一旦模型生成不当，会给下游模型或应用带来商业或法律问题；从技术层面看，由于模型基座技术细节的复杂性，下游模型和应用很难完全理解或者管控其带来的风险，基座提供方和下游使用方也无法独立去治理在应用过程中的风险；从供应链层面来看，海外开源大模型受到属地管辖，政治因素会带来大模型基座闭源后的供应链风险。三、金融业人工智能安全防护框架（一）基础设施防护1.基础硬件国产化在目前国际局势复杂，无法大量进口高性能AI加速芯片的前提下，应考虑推动AI系统基础硬件的国产化进程，在现有GPU、CPU算力云化集群的基础上，建设“训练推理分离、异构国产AI芯片并存、容器化供给”的国产AI算力集群。基于云化思路，可通过引入多种国产化训练推理芯片、改造现有容器调度与国产芯片的适配能力、统一资源监控等手段，实现云化供给的国产AI算力集群建设。考虑到国产的AI推理服务器相较训练服务器成熟，优先搭建和推广国产AI推理服务器集群，并同步采用小范围试点方式推进国产训练服务器集群建设。2.国产AI计算框架规模化应用为面对开源AI框架的断供风险，应从存量场景和增量场景两方面加大对国产开源AI计算框架的应用推广力度。针对存量模型场景，应采用逐步迁移方式，优先在自然语言处理、计算机视觉、智能推荐等国产AI框架适配较为成熟的领域试点推广国产开源计算框架。针对增量模型场景，应优化现有建模流水线，实现对国产框架和算法的集成支持，降低国产引擎和算法的应用门槛，满足低门槛、自主可控的规模化建模需要。3.基础框架安全检测框架漏洞的检测与防范是保障AI系统安全的关键环节。对于引入的第三方框架，应建立完备的外部威胁情报监控及漏洞检测修复机制，对于自研的基础框架，建议引入模糊测试和符号执行等技术开展安全检测。4.开源可控防护人工智能的开源应用是激发金融业务灵活创新的重要驱动力，其在赋能业务发展的同时，也为应用安全带来新的潜在风险。如何防范开源应用风险，构建开源可控的防护策略，或将成为金融业AI开源应用之路上的重要命题。对于开源AI技术平台及AI应用，应建立体系化的风险防控体系。在组织管理层面，应建立风险防范协同机制，明确开源可控防护政策、制度与原则。在AI开源应用引入方面，应着重加强软硬件的安全审查工作，针对AI应用在算法层面、数据层面、算力框架层面所面临的特有风险，进行安全技术测试与漏洞扫描。在开源应用代码管理方面，应建立审慎的开发运行管理机制，严格按照规范使用开源代码和应用，形成代码使用备案与回溯机制，便于长期跟踪管理。（二）数据防护1.数据合规性数据合规性要求数据的采集、传输、存储、使用、删除及销毁等全生命周期合法合规。为确保数据合规性，应定期开展数据合规性评测，建立内外审计制度，定期开展合规审计。基于统一的大数据平台日志标准，建立数据访问行为监控服务和日志分析服务，面向接入应用提供敏感数据访问情况、用数访问等行为数据，从而保证数据使用安全合规。同时，加强对员工的培训和合规宣传，增强员工的合规和风险意识，确保员工在日常工作中能够遵循相关规定和准则。此外，在设计和训练人工智能时，应该确保其拥有正确价值观的数据。这些价值观应该与人类社会的普遍伦理和道德原则相符合，例如尊重个人隐私、平等、公正等。2.数据机密性保证数据机密性主要包括外部数据隐私保护和内部数据权限（1）外部数据隐私保护：一是应将相关数据和程序代码部署于封闭、安全、可靠环境中运行，防止数据和程序代码在未经授权情况下被访问或修改。二是应用多方安全计算、联邦学习等技术，使各参与方应在无需交换原始数据、仅交换模型训练中间计算结果的情况下，联合完成机器学习模型构建。（2）内部数据权限控制：一是应对数据进行密级分类，通过对各业务系统数据进行采样，依据数据分类分级策略，自动识别出敏感数据及分类分级结果，并基于内置脱敏算法提供统一的脱敏服务及工具。二是应对任务执行进行动态控权，按用户维度通过SQL解析、改写等技术提供统一的数据访问控制能力。三是在与外部或第三方进行数据交换场景中，应对数据文件进行水印标记，若数据文件出现泄露，可针对文件进行水印解析和溯源分析，追踪泄露源头。3.数据可用性数据可用性通过数据流转的一致性、数据防投毒等技术保障训练数据的可靠可用。通过建立上下游数据校验修正机制，确保数据在不同系统间一致流转。可从以下三个维度保证数据可用性，一是在数据准备阶段，通过数据分布检测、错误数据清理等方式，剔除被污染的数据样本，同时要确保训练数据的完整性、多样性、准确性。二是在模型训练阶段，采用自动化建模技术，防止训练人员人为修改样本标签、插入中毒样本、修改训练数据特征。三是在模型应用阶段，通过构建输入数据的异常检测机制，防止投毒样本的源头采集。最终建立端到端的数据清洗与防投毒能力。（三）模型算法防护1.模型稳健性稳健性（鲁棒性）较好的模型算法具有较高的识别精度，能较好识别噪音、异常点等干扰样本。业界一般采用对抗样本生成、对抗训练、模型集成、迁移学习等技术增强算法稳健性。（1）对抗样本生成是一种数据增强技术，对已有数据集添加细微的扰动特征，模生成新的样本，进而丰富训练数据样本，提升模型稳健性。（2）对抗训练是一种算法优化技术，在训练迭代过程中，每次算法迭代对自动生成的新对抗样本进行测试，将测试不通过的对抗样本加入下一轮训练，使得最终得到的模型能够识别对抗（3）模型集成使用多个独立训练的模型进行集成，可以降低对单一模型的攻击成功率。攻击者需要克服多个模型的防御机制，这增加了攻击的难度。（4）迁移学习利用预训练的模型，在新任务上进行微调。这有助于利用先前学到的知识来提高模型的性能，并减少在新任务上的对抗性攻击的影响。2.模型公平性算法的公平指模型及智能应用需要遵循法律和道德规范，规避性别歧视、种族歧视等风险。为了解决此类问题，需要从具体场景出发，涵盖数据、特征、模型、应用等模型全生命周期。（1）数据纠偏、均衡采样：通过黑白样本的重新采样、缩小占比较大的样本比例、通过造数扩大占比较小的样本比例等方式，实现黑白样本的均衡分布。（2）剔除或替换引起偏见的特征：按照业务目标，在特征工程阶段开展特征分析工作，分析引起偏见的特征，将其剔除或采用其他特征进行替代。（3）模型融合训练：采用分而治之的思想将训练样本按照不同视角进行差异化抽样（未改变数据分布），形成多份数据集，并训练多个子模型，子模型对部分数据能较好识别，融合子模型形成强模型，提升全局数据的识别能力。（4）后处理补偿：利用模型的可解释能力和场景的特性，进行业务模拟测试，分析发现不公平发生的原因针对性地设计和部署对应的业务补偿规则。3.模型可解释性提高人工智能模型的可解释性可以提高对模型的内部决策过程的理解，增强模型的信任度、降低潜在的风险，并促进其在实际应用中的可接受性。目前人工智能模型可解释性的方法主要有基于样本可解释方法、基于知识可解释方法和基于反事实可解释方法三种。（1）基于样本的方法主要构造一个与原模型效果相当的简单线性方程利用特征权重对模型决策进行解释。（2）基于知识的方法利用知识图谱点边关联关系，推导待解释事件的可能成因。（3）基于反事实的方法则以举反例的模式，构建正反示例比对情境，通过展示正反两者的差异来解释模型背后的机制。4.模型训练监控模型训练监控是保障人工智能安全性的一种重要手段，涉及对模型训练过程中的各种指标和行为进行实时监控，以确保模型的可靠性、稳定性和公正性。一是跟踪模型在训练过程中的性能指标，如准确率、召回率、F1分数等，确保训练数据集的质量和一致性。二是监控模型输出结果，以便发现与预期行为不符的情况，识别潜在的安全问题或模型故障。三是监控参数、梯度等模型训练中间结果的统计学分布性质，有效识别训练数据中的潜在问题或攻击行为。5.模型访问控制在模型的训练及使用过程中，建立访问控制及授权机制，确保其使用合法性，通过实施细粒度的权限管理，为不同用户或用户组分配适当的访问级别，确保他们只能执行其权限范围内的操作。同时模型的部署和API服务也可以通过使用许可证和服务协议来明确使用规则，规范模型使用的合规性。6.模型遗忘如果在模型训练时，训练数据中含有错误素材，过期内容，涉密数据，违反法律法规的内容，则训练出的模型中就会包含这部分的知识。由于人工智能算法的特殊性，修复不良数据需要对模型本身进行调整，而模型重新训练成本很高，因此可以使用模型遗忘（也可以称为反学习、机器遗忘、MachineUnlearning）的方式进行防护。模型遗忘是指先前获取的信息或知识的损失或退化，存在于人工智能学习中所有研究领域中。模型遗忘可以达到以下目的：一是解决数据集偏差问题，丢弃无用的信息以增强模型的泛化能力。二是可以删除模型中的隐私训练数据，用于保护隐私和防止信息泄露。三是修复数据污染、模型后门等漏洞，通过模型遗忘的方式，减少或消除不当数据或模型后门对模型决策的影响。一般模型遗忘的几种常见的方法有：利用差分隐私的技术衡量和限制对个人数据的查询结果的敏感性，从而间接实现遗忘能力；或者利用数据集拆分和分布式训练（SISA）的思想重新训练模型，完成模型遗忘。目前模型遗忘技术仍处于研究阶段，还需要进一步的实验和验证，以确定其在实际应用中的可行性和有效（四）应用防护1.应用场景规范性为降低人工智能安全风险对金融业务带来的不利影响，应规范人工智能的使用场景。在金融领域，人工智能的应用涉及信贷审批、风险评估、交易监控等多个环节，因此制定明确的应用标准和操作规程是至关重要的，在高风险业务场景中宜将人工智能模型作为辅助使用，避免其直接进行决策。合规的AI应用还有助于金融机构遵守相关的法律法规，避免因违规使用AI而受到处罚或声誉损失。2.应用安全检测承载人工智能业务系统的安全检测与传统应用安全检测基本一致，需从身份鉴别、访问控制、安全审计、数据安全性、交易安全性、软件容错、资源控制、客户端安全等方面开展安全检测。这些安全检测活动有助于提高AI系统的安全性，防止由于技术缺陷或恶意攻击导致的安全事故，保障人工智能业务应用系统的3.运营异常监控通过监控模型接口调用频率和次数等方式进行运营监控是一种有效的防护策略，这种监控可以帮助识别异常的访问模式，例如短时间内的高频调用或来自单一来源的大量请求，这些可能是恶意试探或攻击的迹象。通过实时跟踪和分析这些指标，可以及时发现潜在的安全问题，并采取相应的防御措施，如限制访问频率、实施更强的认证机制等。这样的监控不仅有助于保护模型免受恶意试探，还能维护系统的稳定运行和用户的良好体验。4.安全意识培训在金融机构中，员工是人工智能系统操作和管理的一线人员，员工的安全意识和行为直接影响到整个系统的安全性，因此定期进行安全意识培训对于提高员工对潜在风险的认识至关重要。培训应当包括人工智能系统的工作原理、可能遇到的安全威胁，以及如何识别和应对这些威胁等内容。5.责任认定借鉴2024年5月新加坡政府发布的《生成式人工智能治理模型框架》，在责任认定上采取事前责任分配和事后“安全网”相结合的机制。“事前”明确了人工智能产业链上各方能够按照其控制水平分担责任，“事后”将开发商承诺承担责任、产品损害责任与无过失保险三者统筹结合，确保风险发生时能够获得补偿。事前责任分配采用“食品标签”式披露和数字水印进行处理，“食品标签”披露方法将数据来源、模型风险、安全措施等用户关心的主要问题一一列举，形成广泛的透明度，便于监督；数字水印针对人工智能各层服务要求加入独特的数字水印标识，从而确保其真实性和可追溯性。事后“安全网”模式构建了三层防护网，第一层是人工智能开发链中的各方对终端用户负责，参考云或软件开发栈的责任划分，为用户提供可预期、可解释的问责空间，并依据其便捷地保护相关权益；第二层是更新产品责任等相关法律框架，使人工智能产品（通常是虚拟产品）的损害责任证明更加明确；第三层是在自律与法律之外的第三方保险，既能提供技术创新所需的合规管理冗余空间，也能给予因意外事件受害的用户获得兜底性补偿的机会。（五）伦理防护1.加强科技伦理治理各单位应遵循制度要求，加强科技伦理治理，尤其需要加强法律监管，明确责任主体，强化伦理审查，推进依法治理，实现科技发展与伦理治理相互促进、动态调适。在科技伦理方面，中共中央办公厅、国务院办公厅于2022年3月印发了《关于加强科技伦理治理的意见》，从伦理原则、治理体制、制度顶层设计、监管措施以及教育和宣传等方面作出系统部署，填补了我国科技伦理治理的制度空白。2023年7月，国家网信办等七部门联合公布《生成式人工智能服务管理暂行办法》，为科技伦理治理指明了发展方向。2023年9月，科技部等十部门联合研究起草、经中央科技委员会同意并印发了《科技伦理审查办法（试行）》，将人工智能列入应设立科技伦理（审查）委员会的科技活动单位范围内，在7大类需要实行清单管理的重大风险新兴科技活动中，有4大类涉及人工智能伦理审查。2.全生命周期伦理管控以可信赖人工智能的生命周期为线索，秉持科技向善的人文理念和伦理先行的价值观念，将伦理道德融入AI全生命周期，增强全社会的AI科技伦理意识与行为自觉。在设计阶段，可信赖的人工智能首先要解决不可解释性和“幻觉”问题，让人类清楚生成式人工智能工作机制并且要保证在极端情况下的安全稳定性。在使用阶段，必须尽可能避免人工智能输出歧视性偏见性内容，最后如果出现事故，则必须保证追责性，明确设计者、提供者以及使用者等等各方的责任。（六）隐私防护1.数据隐私保护数据隐私可从数据机密性角度进行相关防护，一是确保人工智能模型训练数据的合法合规，面向用户提高数据收集和使用的透明度，在用户知情同意的前提下遵守最小化原则收集与使用数据；二是对训练数据采用隐私保护算法进行处理，例如匿名化技术、去标识化技术、数据脱敏技术和差分隐私技术等,确保数据在处理和分析过程中无法直接关联到具体个人。也可以使用DLP监测训练数据中是否含有涉及商业机密、源代码等企业隐私信息。2.隐私安全意识培训培训员工数据隐私安全意识，在应用人工智能模型时避免输入个人或企业的隐私信息，降低隐私泄露的风险；控制数据访问及人工智能模型使用权限，只有经过授权的员工通过身份验证后（七）管理防护1.建立版权审核机制为防范侵犯版权风险，金融机构应在内部管理上建立严格的版权审核机制，确保数据和算法模型的合法合规。一是合法购买数据或通过合同明确各方需要承担的风险。金融机构应购买高价值的版权内容，并以授权合同约定各方风险承担的交易模式获取训练数据。二是在应用和部署前，金融机构应对算法和相关技术进行全面的知识产权审查，确保没有侵权风险。对于受版权保护的算法和相关技术，应获得相应的授权或许可；对于来自开源社区的算法和相关技术，应确保遵守相应的开源许可协议。2.信息充分披露对应用人工智能提供服务的全流程进行真实全面的说明，推进模型准确性和透明性治理、规范消费者数据收集和使用程序。（1）模型准确性和透明性治理：在部署人工智能模型前，金融机构应进行充分的验证和测试，确保模型的预测准确性和公平性；在模型使用过程中，定期监控模型的性能，及时发现和纠正问题。针对算法不透明问题，金融机构应当主动向消费者声明其所使用算法模型的能力缺陷及风险提示；向公众披露对算法产品自动化决策起决定性的主要参数，赋予消费者对特定人工智能服务的“算法解释请求权”。（2）规范消费者数据收集程序：对于信息收集而言，应当为消费者履行如实告知义务并确定合理边界，尊重金融消费者的个人信息自决权。在收集客户个人信息过程中要遵循最小必要的原则，处理个人信息符合公开透明原则。（3）规范消费者数据使用程序：对于信息使用而言，用于服务内容输出和优化模型的个人信息要分别明确其具体使用方式，且在获得客户同意后才能进行使用。同时，依据《个人金融信息保护技术规范》提及的C1（账户开立时间、开户机构等）、C2（支付账号、财产信息等）、C3（账户交易密码、银行卡密码等）三类信息，在使用过程中应实施针对性的保护措施。对于敏感程度较高的个人信息，应进行特别说明，包括但不限于对个人信息使用的方式和使用该类信息可能产生的风险和后果，且需要获得消费者的单独同意。3.建立内部管理机制金融机构应根据自身的战略、成本等方面审慎地评估自身需求和技术能力，平衡人工智能应用与合规风险治理。在引入人工智能技术时，内部应建立灵活的治理架构，成立专门的人工智能治理委员会或工作组，建立合规治理评估机制，推进人工智能应用的内部监督与管理。同时，为应对人工智能带来的人员结构、组织方式和业务流程等挑战，管理层应制定详细的变革管理计划，创建适配的组织架构，降低人工智能应用过程中各个环节的潜在风险。（1）针对员工的技能缺口，金融机构应提供全面的培训和持续的教育计划，帮助员工掌握人工智能相关技能；针对新技术的人才需求，应制定有吸引力的人才引进政策和创新激励政策。（2）调整适配的组织形态：金融机构应基于战略、能力、资源等特征，选择匹配不同阶段人工智能应用的组织模式。（3）建立人工智能应用的三道防线。可借鉴银行业经典的“三道防线”风险管理理念与模型风险管理（ModelRiskManagement，简称MRM）的理论及方法进行有效结合，对人工智能应用风险形成有效防控。首先，可在一线模型开发活动中，针对不同的场景和功能，安排不同的团队进行模型开发，实现风险分散，将其作为第一道防线。其次，通过增加模型验证环节，并设置专门的模型验证部门对模型进行审核和验证，形成第二道防线。最后，由内部审计部门或外部第三方的专业审计机构，对人工智能模型进行专业审计并反馈意见，形成第三道防线。通过建立人工智能治理的三道防线，对人工智能相关的数据、算法等风险进行有效管控。（八）大模型安全防护除了传统人工智能模型防护措施外，针对大模型特有的安全风险，有以下几点防护层面。1.提示防御面对大模型提示注入攻击，当前的防御方法有以下几类：模型对抗训练优化：通过迭代地收集这些攻击样本，使用指令微调等方法对模型进行迭代的优化，使模型面对不断出现的新型恶意提示输入时能通过拒绝等方式正确应对，提高对抗攻击场景下的鲁棒性。系统提示优化：指大模型内置的提示词，在用户输入提示词后，系统提示词和用户输入的提示词进行拼接之后输入到大模型输入输出检