北京金融科技产业联盟-金融行业：金融业隐私计算安全验证技术研究报告

金融业隐私计算安全验证技术研究报告违反上述声明者，将被追究相关法律责任。编委会成员：编写组成员：参编单位：一、概述 （三）研究内容与思路 二、应用现状 （一）数据安全相关法律法规日趋严格 （二）隐私计算国内外相关标准专项化 （三）金融领域隐私计算应用痛点 三、隐私计算系统及产品安全验证技术 21（一）安全风险 （二）安全验证技术 （三）验证方式 49参考文献 56摘要：隐私计算从技术角度上可以有效解决术路径。隐私计算技术落地化、产品化后面临更复杂的产品、系统、应用层面的安全风险，目前金融领域的隐私计算通用安全验证技术尚未有统一的研究，因此，本报告对隐的隐私计算可实现工具化的安全验证技术，梳理可验证方式，验证隐私计算在金融应用中是否满足协议一致性要求、输入输出数化方式展示隐私计算内部流程，使得整个过程变得更加透明可控，保障金融领域隐私计算安全应用。1一、概述多方数据融合利用能够发挥数据最大价值，释放数据作为数字经济时代关键生产要素的潜能，而多方数据融合总是涉及数据发金融企业利益损失、个人财产盗窃等安全事件，相关责任主体面临违反隐私法律法规、遭受经济处罚的风险，严重时可能会影响社会公共安全甚至国家安全。数据信息安全是金融领域数据要素安全融合、互联互通的关键所在，金融机构需在保证使用目的与方式可控前提下传递数据的金融使用价值。隐私计算技术能够实现数据要素安全流通中隐私安全、管控数据使用目的与方式，促进数据生态闭合。隐私计算（Privacy-PreservingComputation是指在提供隐私保护的前提下，通过协作对多方的数据进行机器学习和数据计算分析，实现数据价值挖掘的技术体系。隐私计算成为构建“数据可用不可见”“按用途用量使用”，从技术角度上可以根本解决数据融合利用和数据隐私安全之间的矛盾，为数据安全保护提供了一种可行解。但隐私计算自身不同算法协议能保证的安全程度不同，同时隐私计算技术落地化、产品化后也面临更复杂的产品、系统、应用层面的安全风险。包括：如何验证隐私计算2现与声明的计算协议是一致的，如何验证交互的数据未包含敏感信息且无法推测出原始数据；隐私计算需要参与方之间的多轮通证第三方是否可信；产品能否抵抗参与方进行数据投毒、模型投毒；隐私计算的结果数据是否泄露敏感信息等等。隐私计算在金融领域应用的一大关键问题是应用方对其安全性的认同。隐私计算安全性不仅包括通用的网络层、主机层的安全性，还包括硬件安全、密码安全、算法安全、应用安全等系统/产品应用的安全性，涵盖隐私计算系统/产品整个生命周期，需要全方位考虑。目前金融领域的隐私计算通用安全验证技术尚未有统一的研究，因此，本报告对隐私计算系统/产品安全性验实践、论证可验证方式，验证隐私计算在金融应用中是否满足协议一致性要求、输入输出数据和中间数据是否满足加密要求、通信信道是否安全，并以可视化方式展示隐私计算内部流程，使得整个过程变得更加透明可控，推动隐私计算技术在多领域的广泛（一）研究对象对现有学术成果、技术应用进行高度抽象，描述金融领域最大范围隐私计算通用系统/产品的工程安全性要素及其所包含的整体范围，形成具有通用性的隐私计算安全验证技术论证结果。3广义隐私计算是面向隐私信息全生命周期保护的计算理论是实现隐私保护前提下数据安全共享的一系列技术，技术体系如图1所示，包括但不限于：1.隐私计算技术从技术应用方向来分，当前主流应用技术包括多方安全计算零知识证明等辅助技术。按技术层次来分，隐私计算技术划分为应用技术和安全保护技术。这些技术分离了数据的持有权和使用权，实现多方数据在保护隐私的前提下联合计算，使数据需求在不接触原始数据的情况下获得数据的增值价值，降低隐私泄露风我们从技术特点、数据处理、安全基础三个角度对比分析隐私计算的三大主流技术在安全性能方面的不同应用形式，如表1。用42.基于数据限制发布的技术基于数据限制发布的技术，有选择地发布原始数据、不发布或者发布精度降低的敏感数据从而实现隐私保护，包括数据脱敏以及各类去标识化技术（如掩码、抑制、泛化、截断、混淆、k-的披露风险在可容忍范围内，但是需要考虑隐私披露和可用性之用性越低。3.基于数据失真的技术真的同时并保持某些数据或数据属性不变，仍然可用保持某些统种能够抵御背景知识攻击的隐私保护方法，这类方法不依赖复杂的密码技术，用户计算开销小，并可获得精准的查询结果。4.辅助融合技术隐私计算最核心的是计算，但整个数据共享过程以及完整的系统需要借助多个辅助技术支撑，包括区块链、可验证计算、内容跟真实性检验及溯源技术（如数字水印）和访问控制技术等。5这些技术虽不是完全实现数据的联合隐私计算，但能在数据共享可控制的安全、可控的数据共享，为数据真实性、数据确权等问题提供可行解决方案，如图1所示。（二）研究目标与原则1.研究目标重点关注金融领域的隐私计算系统/产品可工具化实现的安全验证技术，保障金融领域的隐私计算系统/产品应用、实施安全性，为形成自动化安全验证工具的实施奠定基础。本报告、制定过程遵循以下原则：6与已有标准规范内容保持一致；覆盖金融领域的隐私计算系统/产品生命周期全过程；以金融应用为导向，描述粒度能够面向未来金融领域的隐私（三）研究内容与思路本报告论证内容与思路包括如图2所示：71.调研家、行业、团体标准进行调研，对隐私计算现有成熟学术成果、技术应用情况进行调研，梳理目前隐私计算存在的安全问题；2.分析安全风险项对金融领域的隐私计算技术系统/产品安全风险项进行分层安全风险、协议密码安全风险、算法安全风险。3.梳理安全验证技术从基于TEE的计算安全、区块链、基础性检测、通信数据解析、日志分析、代码审计、可视化等多维度详细描述现有的安全验证技术。4.提出验证方式以覆盖金融领域的隐私计算系统/产品生命周期全过程的角度出发，提出一系列隐私计算安全可验证的方式。5.实践安全验证项对金融领域现有的隐私计算系统/产品的安全风险项进行安全验证，验证数据在存储、流转、处理中是否符合安全要求。（四）研究意义本报告通过对隐私计算技术应用安全现状进行调研，梳理出其安全体系方面的安全风险项和安全验证技术，提出在金融领域8隐私计算系统/产品的可验证项，对隐私计算在更多领域的应用安全探索具有指导意义，可解决客户存在的验证落地和声明是否认证工作；完善了隐私计算安全检测方法，提升测评机构测评能融领域的隐私计算系统/产品在安全验证技术法律法规的制定，规范隐私计算技术在金融领域的市场应用。（一）数据安全相关法律法规日趋完善随着金融行业数字化的持续发展，金融机构往往持有大量的重要金融数据，数据的安全与风险防范一直是国家和相关监管部格，我国数据立法进程不断加快，对金融数据的重视程度不断提2016年11月7日十二届全国人大常委会第二十四次会议表保密性和可用性，实行网络安全等级保护制度。2021年6月10日十三届全国人大常委会第二十九次会议通过《中华人民共和国发利用并重，确立数据分类分级管理制度，多种手段保证数据交9会议表决通过《中华人民共和国个人信息保护法》，自2021年明确了个人信息处理和跨境提供的规则、个人信息处理者的义务等内容。《网络安全法》、《数据安全法》《个人信息保护法》一起，构建了中国网络安全、数据安全、个人信息保护的基础性与个人信息保护进行了细化和补充。2022年9会同相关部门起草了《关于修改〈中华人民共和国网络安全法〉联合修订发布的《网络安全审查办法》正式施行，将数据安全作为网络安全审查的重点考量。项法律法规对行业和企业都制定了更严格的标准。国际上对于数据的隐私保护的相关法案也愈加严格，比如欧盟保护公民隐私的英国公布《数据改革法案》，2022年中旬美国联邦层面通过/发布了《美国数据隐私和保护法案》讨论稿、《促进数字隐私技术在金融领域，国家监管部门还发布了若干关于金融信息安全、术金融信息服务安全规范》《金融数据安全数据《个人金融信息保护技术规范》等。这些法律法规的发布在数据隐私保护领域起到了重要的引导与规范作用，但同时也给数据的隐私保护技术带来了前所未有的挑战。目前很多场景下数据的收集方不一定就是数据的使用方，如果数据在实体间的转移交换或是联合计算违反了数据隐私保护相关规定，那么就可能会面临严厉的处罚，如表2所示。/（Datareformbi//（二）隐私计算相关标准逐渐细化经过近几年隐私计算技术的快速发展及应用需求加大，隐私计算技术的相关标准相继在国际、国内制定。前期的标准主要侧重于技术层面，而从2021年开始，隐私计算的标准开始面向安全层面、性能层面、应用层面的发展趋势。整理如表3所示。1.国内相关标准国内方面，中国通信标准化协会于2019年2020年7月发布的团体标准《基于联邦学习的数据流通产品技术要求与测试方法》《基于可信执行环境的数据计算平台技术要求和测试方法》规定了基于联邦学习、多方安全计算、可信执行环境的数据流通产品必要的技术要求。针对这些隐私计算平台的相关基础能力、计算能力、数据流通管理能力、安全性、性能等方面制定产品标准。并于2021年发布团体标准《隐私计算联邦学习产品性能要求和测试方法》和《隐私计算多方安全计算产品性能要求和测试方法》，首次针对性能方面制定了2022年3月份，开始《隐私计算联邦学习产品性能要求和测试方法（大规模数据量）》《隐私计算多方安全计算产品性能和测试方法（大规模数据量）》对原有的性能标准与安全标准更新，新增对隐私计算安全分级。此外《隐私计算可信执行环境性能要求与测试方法》《隐私计算可信执行环境安全性测试规范》也于2022年3月份开始编制，形成较为完整的隐私计算主流技术路线的性能与安全标准体系。全国信息安全标准化技术委员会（简称「信安标委」）2021年立项国家标准《隐私计算技术应用指南》《信息安全技术多方数据融合计算安全指南》等。此外针对不同行业的隐私计算应用标准也相继制定，在金融行业方面，全国金融标准化技术委员会在2020年11月发布的金融行业标准《多方安全计算金融应用技术规范》规定了多方安全中国支付清算协会发布了《多方安全计算金融应用评估规范》为多方安全计算金融应用规定了评估要求。《联邦学习金融应用技术规范》在2022年1月份在全国金融标准化技术委员会成功立项并开展行标编制，分别从技术框架、技术要求、系统安全等方面规范联邦学习在金融领域的应用。中国通信标准化协会于20212.国际相关标准在国际上，IEEE标准3652.1-2020《联邦学习架构和应用规范》（GuideforArchitecturalFrameworkandApplicationofFederatedMachineLearning）在2021年3月发布，阐述了联邦学习的定义、概念、分类、算法框架规范、使用模式和使用规范等内容。IEEE标准2830-2021《基于可信执行环境的共享机器学习技术框架和要求》（TechnicalFrameworkandRequirementsofTrustedExecutionEnvironmentbased信执行环境的典型隐私计算技术架构，明确了隐私计算整体技术架构的要求，规范了隐私计算的定义、技术架构、技术流程、技实践》（RecommendedPracticeforSecureMultipartyComputation）于2021年11月正式发布，规范了多方安全计算的定义，以及多方安全计算的基本要求、可选要求和安全模型、安全要求的标准自2021年下半年相继立项开始标准编制，如IEEE的P2986《联邦学习隐私与安全标准》于2021年8月份启动标准制定，对联邦学习从安全性和隐私性角度开展分析，针对不同的攻击行为对应的防御机制提供参考框架；IEEE的P3169《隐私计算安全需求》于2022年上半年通过国际标准立项，将对隐私计算技术本身潜在的安全隐患进行分析，并对隐私计算系统防御的安全风险进行分级。与此同时，其他国际标准化组织如ISO的多方安全计算系列标准（《SecureMultipartyComputation-Part1：General》《SecureMultipartyComputation-Part2：Mechanisms），算技术指南》等标准也均分别在制定中。《隐私计算技术应用指南》JR/T0196-2020《多方安全计JR/T0197-2020《金融数据安全数上述行业标准中都有包含有安全相关内容的章节，包括算法安全、访问控制、通信保密、可核查性、真实性、安全分级、数据安全、模型应用安全等内容。《多方数据共享服务数据安全技术实施指南》《隐私保护场景下安全多方计算技术指南》《基于可信执行环境的安全计算系统技术框架》《互联网广告隐私计算平台技术要求》《隐私计算产品安全要求和测试方法》系列标准、《隐私计算产品功能要求和测试方法》系列标准、《隐私计算《隐私计算应用一体机技术要求》《区块链辅助的隐私计算技术工具评估要求与测试方法》《隐私计面向金融场景的应用规范》《隐私计算应用面向通信场景《基于安全多方计算的隐私保护技术指南》全多方计算最小化数据流通中隐私数据泄露《共享学习系统技术要求》提出共享学习系统的技术要求，包括共享学习其中与隐私计算安全最相关的《隐私计算产品安全要求和测试方法》的系列标准，包括《隐私计算联邦学习产品安全要求和测试方法》《隐私计算多方安全计算产品安全要求和测试方法》和《隐私计算可信执行环境产品安全要求和测试方《基于联邦学习的数据流通产品技术要求与测试方法》《基于可信执行环境的数据流通产品技术要求与测试方《隐私计算多方安全计算/联邦学习/可信执行环境产品《SecureMulti-PartyComputation》《Informationtechnology《Informationtechnology《Guidanceonprivacypreser《Guidanceandpracticeforprivavationbasedonzero-《Securityandprivacyreferencearchitectg》以上几项标准涉及关于多方安全计算、同态加密、秘密分享、零知识证明等方面的基础性技术标准，是隐私计算的底层技术支撑。MachineLearningSyst全要求，提供了集中式和分散式共享机器学习系Multi-PartyComputatiITU-T已发布的两项标准，分别规定了共享学习的技术框架，以及安全多方计算的技术指南。《StandardforTechnicalFrameworuirementsofTEE-basedSharedMachin《RecommendedPracticeforSecureMulti-Pa《StandardforSecurerustedExecutionEnvi《GuideforArchitecturalFrameworkandApplicationofFederatedMachineLe《StandardforRequirementsofPrivacy-PreservingComputationI《RecommendedPracticeforPrivacyandSecurityforFederatedMachin《StandardforInterworkirPrivacy-PreservingComp《StandardforSecurityRequivacy-preservingcomIEEE的国际标准中，2830-2021规的技术框架，2842-2021规定了安全多方计算的推荐实践，P2952规定了基于TEE的安全计算标准，P3652.1规定了联邦学习的技术框架与应用指南，P3156规定了隐私计算一体机的技术要求，P3117规定了隐私计算的互操作框架。IEEE国际标准中，与隐私计算安全最相关的是IEEEP3169，规定了隐私计算的安全要求。（三）金融领域隐私计算应用痛点1.标准不够健全目前金融领域已生效的标准仅有《多方安全计算金融应用技术规范》和《移动终端支付可信环境技术规范》两部标准，目前的标准不足以覆盖当下流行的隐私计算技术。2.国内对于支撑隐私计算的底层技术缺乏相应标准和零知识证明出台了相关技术标准，国内密标委2021年底发布安全计算的技术原理、应用状况、标准制定等情况，更多底层技术的相关标准还需国内标准制定机构及时跟进。3.隐私计算技术应用安全的可验证性亟须解决并不是说用了某项技术就合法合规。隐私计算技术应用安全的可验证性亟须解决。4.隐私计算应用安全的研究成果较少现有国内外标准中对隐私计算技术应用安全的研究还不是5.缺乏通用安全性验证技术不同厂商采用的协议之间差异较大，缺少覆盖面足够广的统一化验证技术及工具。三、隐私计算系统及产品安全验证技术（一）安全风险隐私计算是一个多学科的技术融合，并不是一个单一的技术，包含了多种隐私保护技术，涉及密码学、安全硬件、信息论、分布式计算等多个学科。隐私计算在实际应用过程中，也涉及来自风险进行分层分析。1.隐私计算应用安全风险隐私计算应用的定位是对数据和隐私保护，识别出隐私计算技术潜在的风险，有助于我们对风险进行管控和采取措施，也是为硬件安全、密码安全、MPC协议安全、算法安全（含模型安全和数据安全）、业务层安全。（1）硬件安全风险可信执行环境（TEETrustedExecutionEnvironment）是以硬件安全为代表的安全路线。TEE的安全模型建立在对硬件的建立完全的信任，然而基于硬件的安全性也并不是坚不可摧，也面临着多方面的风险：TEE硬件设备的设计和生产过程中难免存在安全缺陷，自2017开始，相关安全缺陷陆续报出。在国际漏洞数据库CVE（CommonVulnerabilitiesandExposures）中，绝大部分TEE相关的硬件漏洞都与本地物理访问相关，可能造据泄露、权限提升等问题。最近值得关注的有CacheOut和SGAxe），境自身也面临着多项安全威胁，如IntelSGX1(已知存在重大安全问题，参见[1]、[2])、来自对基于硬件的可信执行环境的各类侧信道攻击，从而推导其内部的机密数TEE的安全有效性很大程度上依赖远程硬件认证服务的安全和诚实。由于这一服务通常由硬件厂商或者平台服务商提供，会带来中心化的信任问题。基于TEE的计算安全性需要一个没有商业利益冲突的可信第三方作为信任根的背书。因此如何挑选中立权威方或设计一套可信系统来提供这一信任服务将变得非常关（2）基础密码安全风险发展迅速。国密相关标准制定工作现在难以满足隐私计算使用过证明密码算法的安全性增加了额外的工作，需要具备专业的密码密码的安全性一般都基于安全性的假设，这些假设造成了密码算法在使用上的诸多局限性，这些局限性往往造成错误使用密码算法的情况。当下，面对密码大量使用的诉求，缺乏专业性的密码安全评估专家以及评估流程。算力的增加，密码的安全强度也是一个挑战。在密码学中，通常使用安全参数（SecurityParameter）用来衡量一个攻击方（adversary）攻破一个加解密机制（scheme）有多困难（ha的方式。直观的理解就是，安全参数越大，对应的破解加密系统的难度也就越大。安全参数有两种类型：①计算安全参数：决定了加密机制中的定义的计算的数值空间（inputsize）大小，通常是用bit位数表示。关联计算复杂②统计安全参数：通常是在攻击方unboundedcomputation在当下，联邦学习密码学部件安全性：要求不低于112bit计算安全强度和不低于30bit的统计安全强度，为适应算力算法法的安全性依赖于大整数分解或离散对数难题，包括RSA、EC-DSA、ECDHE等在内的公钥加密和签名方案受到影响。现在隐私计算采用的关键密码学技术，其抗量子攻击的算法已经是主流趋势，比如基于格的同态加密、秘密分享等，在隐私计算场景下存在广泛的应用。隐私计算算法领域具有广泛的应用需求，例如大集合中选择随机样本、密码学中生成密钥和运行安全协议，测试计算机程序等。算法实现中随机数一般由伪随机数生成器实现，由于伪随机生成器依赖于初始状态、初始值可以预测和再生。因此程序是否拥有高质量的伪随机数是至关重要的问题。密码学中的随机序列还需保证在未获取秘密信息的情况下，序列是不可预测且无法从序列的少量元素中重新生成序列，能防御攻击者重构密钥或从序列中获取密钥。伪随机数生成器质量可以通过检测每个数都是随机的产生且与序列中其他所有数都相互独立来完成。例如：德国信息技术安全研究所给出的随机数生成器的质量准则：1）随机数组成的随机矢量应该以很高的概率保证不包含完全相同的连续元素。2）基于统计测试生成的随机数与真实随机数不可区分。3）不能通过已知随机数序列计算或猜测之前或未来的随机数或生成器状态。4）不能通过生成器的内部状态计算或猜测之前的随机数或生成器状态。（3）协议密码安全风险目前MPC协议有GarbledCircuit、ObliviousTransfer、SecretSharing、BGW、GMW、BMR等，它指的是用户在无需进行半诚实安全模型和恶意安全模型。满足半诚实模型时，双方都遵循协议规范，同时试图从接收到的消息中推断出另一方输入的信息。满足恶意安全模型时，参与方根本就不按照计算协议执行计算过程。参与方可采用任何（恶意）方式与对方通信，且没有任何信任关系。结果可能是协仅知道计算结果。对于通常相互信任且由于彼此业务需要的各方来说，采用半界中部署的大多数安全多方计算实例都是在半诚实的模型中运行的。虽说任何半诚实的协议都可以被增强为恶意安全协议，允许各方主动篡改发送的消息，不过这样做会带来显著的性能开销，导致实际中无法使用。（4）算法安全风险联邦学习融合了多方安全计算技术、AI算法。虽然隐私计算技术通过数据“不可见”实现了数据安全的保护，但正因为“不全和模型安全的角度，分别讨论几类常见的攻击和防御。1）对数据安全的攻击这里我们所指的破坏数据安全的攻击是一个广义的概念，不仅指造成数据隐私的泄漏的攻击，也包括了通过污染数据达成攻击目的的方式。具体来说，这类攻击包含：数据重构对于隐私保护的机器学习模型构建，最为常用的一类技术即是由Google于2016年首次提出的联邦学习技术[4]。该技术通过传递梯度的方式，避免了直接的明文数据传递，实现了数据隐私保护多方联合建模。但国内外研究表明[5][6]，梯度并不是一个有效的安全载体，攻击者可以伪装成合法的联邦学习参与者，并在获取到明文梯度后可以仅付出少量的计算成本就反练只使用一列，只选label，batch_size=1，二分类模型等，有可能推理出隐私信息；使用方恶意频繁调用算法（用法用量），有可能推理出隐私信息或者模型系数等。数据下毒由于建模数据多由他人提供且数据“不可见”，隐私计算下的机器学习平台通常缺乏有效的机制对数据进行过滤与清洗，从而令攻击者可以通过简单的标签反转[7]、模型替换[8]、数据篡改[9]等方式，来抑制模型的收敛能甚至控制模型对特定输入的响应模式。型记住特定“触发器”的分布特性[10][11]，使训练得到的模型在面对携带触发器的输入数据时，给出攻击者所期待的输出。无意识记忆Google于一篇研究报告中指出[12]，在多方联合建模时，参与者常常会把一些分布外又无助于模型性能提升的隐私数据于无意间加入训练当中，这类数据会于神经元中引入一类被称之为“无意识记忆”的漏洞。攻击者可以利用最短路径搜2）对模型安全的攻击通常这类攻击会通过欺骗模型或破坏模型隐私的方式，威胁机器学习模型服务安全。此外，这类攻击通常在传平台中也极为常见，但由于隐私计算下的机器学习平台数据和模型“不可见”的特性，该类攻击对其威胁更为严重，如：模型偷取又称模型提取攻击。以金融领域为例，模型作为银行等金融机构的核心资产，具有极高的商业价值。这类攻击允许攻击者通过构造特定访问样本[13]，在不具备或仅具备少量数公司的核心资产安全。恶意样本通过合成的恶意样本[14]，攻击者欺骗模型做出特定的响应。以预授信场景为例，恶意用户可以通过修改其部分成员推断成员推理是一类可以通过模型输出的后验概率检测建模所使用数据的攻击[15]。这类攻击对医疗场景下的机器学习应用下的用户隐私造成尤为严重的安全威胁，攻击者在隐私计算技术的保护下，隐蔽地获取任意个体是否于某家医院参与治疗或是否患病等十分私密的个人信息。模型更新推理对于一般的模型服务场景，经常需要定期的更新模型以匹配最新的业务场景特性。德国研究机构CISPA的研究表明[16]，攻击者可以利用模型更新后带来的后验概率输出上的前后差异，推理出用来更新模型的原始数据。3）安全防御前与使用中，分别制定对应防御策略。使用前——数据清洗与过滤。平台应提供相应的工具，在数据资产发布时由平台提供方或第三方，对数据进行清洗和检测，对下毒数据、木马数据等恶意数据进行示警，在数据通过隐私计算技术加密前，就从源头上控制其可能带来潜在的风险。使用中——强化隐私计算应用。平台应杜绝对非可证明安全的数据形式变换方式的依赖，避免“梯度裸奔”等现象的出现。针对包括模型梯度、嵌入向量等任何敏感信息出域，都必须借助同态加密、秘密共享等经过学术界和专业机构验证的隐私计算在符合国家标准的安全强度下予以保护。在特定模型场景下，还应保证所使用算法能够提供可验证计算能力，防止攻击者于隐私计算过程中篡改数据。型部署前和部署后提供如下防御。部署前——模型检测。平台应提供模型安全检测工具，对所除对用户进行报警外，亦可选择性地通过模型遗忘、模型蒸馏等方式提供模型后门清洗在内的善后能力。部署后——访问控制。上述攻击的一大特点在于，都需要通过构造大量合法或非合法的访问来获取模型相关的额外信息，以辅助攻击者发起攻击。因此，一种最为简单有效的防御策略就是基于访问控制来拒绝越界访问、陌生IP访问、非授权访问等非平台应具备对数据和模型的访问、使用、授权等系统日志的行为采集证据以供法律追责之用。（5）业务安全风险1）安全假设应用错误应用场景的安全假设使用错误可能带来应用安全风险。密码和算法的安全性往往基于一定的假设和前提。比如半诚实模型下的多方安全计算技术，其安全性基于所有的参与方不能违反协议（比如发送错误的数据给其他参与方当这些技术用于解决金融领域相关问题时，技术服务方和应用方应该就技术成立的安全条件和实际环境的匹配性达成共识，如果实际环境与技术安全性假设不符，则相关产品在正式应用时就可能存在安全漏洞。工业界大部分产品采用的算法实现是基于半诚实的安全假参与方的场景。同时为了实用性，多数产品都会在一定的可控条件下，进行工程或者算法层面的效率优化，这都为安全验证工作带来了很大挑战。无论对半诚实模型和恶意模型来说，其验证都是需要理论的按照协议执行即可。但一些工程或者算法层面的优化，仍会给验证带来一定的不确定性，这也应该是安全模型验证的重点。2）隐私计算场景应用风险隐私计算在不同场景中安全性的定义也是不同的，常见的应用有：联合统计、联合建模、隐私集合求交（PSI）、匿踪查询（PIR）等。尽管如此，各场景面临的安全风险实际上大体可分为两大类，即算法本身的安全性和应用安全性，具体介绍如下：联合统计安全性底层多方安全计算协议的安全性，如安全模型是半诚实模型还是恶意模型，是否抗共谋，协议的不诚实门限等。应用时常见的风险有：联合统计的计算结果可否推断出原始数据等（如a+b-a等价于b）。联合建模安全性对抗攻击，投毒攻击，后门攻击，标签推理攻击等。隐私集合求交安全性PSI协议安全性，如安全模型是半诚实模型还是恶意模型，是否抗共谋，协议的不诚实门限等。应用时常见风险有：学术上的PSI技术通常是指定一方为结果方，所以PSI协议上安全性的保证只到结果方获得结果，但在实际应用中，参与方都需要知道最终的交集结果，如纵向联邦学习中。常见的做法是结果方将结果同步其他参与方，此过程存在两个风险，一是在半诚实敌手模型下，学术上额外将交集结果信息同步至接收方的安全证明，二是结果方可能发送假的结果。在有些业务中需要三方的数据进行融合应用，要求只把三方的交集数据作为最终结果输出，并且不泄露两两之间交，则无法满足业务要求，存在泄露两方之间隐私的风险。匿踪查询安全性PIR协议安全性，如安全模型是半诚实模型还是恶意模型，是否抗共谋，协议的不诚实门限等应用时常见风险有：很多PIR协议会采用分桶优化来提升查空间规模来降低计算开销，这同时会造成桶内元素不可区分度的线性下降，从而降低PIR协议查询过程的安全性；另一方面是数据库的可信性问题，即被查询方提供的数据集为假。2.通用的安全风险（1）网络层风险随着国内互联网快速发展，在网络层的安全性控制机制比较多，方案也比较完善，目前网络攻击是指针对计算机信息系统、联网基础设施、计算机网络或个人计算机设备的任何类型的进攻在没有得到授权的情况下窃取或访问任何一台计算机的数据。网络攻击分为主动攻击和被动攻击以及高等持续性威胁等。主动攻击会导致某些数据流的篡改和虚假数据流的产生。这类攻击可分为篡改消息是指一个合法消息的某些部分被改变、删除，消息被延迟或改变顺序；伪造指的是某个实体（人或系统）拒绝服务，会导致对通讯设备正常使用或管理被无条件地中断，被动攻击中攻击者不对数据信息作任何修改，截取/窃听是指在未经用户同意和认可的情况下攻击者获得了信息或相关数据。通常包括窃听（包括操作记录、网络监听、破解弱加密、非法访问数据、获取密码文件等）、欺骗（包括获取口令、恶意代码、网络欺骗等）、流量分析（包括导致异常型、资源耗尽型、欺骗型等）、数据流（包括缓冲区溢出、格式化字符串攻击、输攻击主要是收集信息而不是进行访问，数据的合法用户对这种活动一般不会觉察到。高等持续性威胁（APT）攻击是对特定目标进行长期持续性需要对攻击对象的业务流程和目标系统进行精确的收集。在此收集的过程中，此攻击会主动挖掘被攻击对象受信系统和应用程序进行攻击。对于网络攻击潜在的风险，一般采取的解决方法主要是在服（2）主机层风险应用程序运行于各种操作系统和基础软件之上，品类和版本繁多，比如：Linux,BSD,Windows等操作系统，MySQL、redis、sftp、ssh、apache、tomcat等基础软件。在引入各类软件的同时，也引入了软件的安全缺陷和安全风险，为应对各类软件带来将安全防控机制，进行常态化，建立软件管理、安全情报管理、定期安全扫描、病毒查杀、快速漏洞修复、安全补丁机制来确保主机层的安全能力。1.基于TEE的计算安全验证技术（1）远程验证机制在基于TEE的计算环境中，可以使用远程认证机制来远程证明用户身份和平台可信性。远程认证机制主要包括可信认证报告生成和可信认证过程两部分实现。可信认证报告和可信认证过程的基础是TEE可信根中的背一般不会被直接参与到报告生成和认证过程中，而是派生出一对身份认证密钥（AttestationIdentityKey）。可信认证报告核心是一个包含TEE运行状态和带有软硬件度量值的原始证明报告。原始证明报告使用AIK签发后形成可信执行节点所在的被验证方、客户端所在的验证方和TEE可信认证相关密钥证书的发放。验证方和被验证方都拥有认证中心的CA公钥证书，以验证CA所签发证书的合法性。被验证方向验证方提供可信认证报告，由验证方完成报告的可信认证。验证方获取可信报告后，首先验证AIK证书的有效性确保证明报告的合法性，通过AIK签名验证证明报告的完整性。之后，验证方再根据可信策略验证报告本身，比对度量值等关键字段，确认TEE端计算环境的机密性以及代码的完整性，TEE远程验证机制如图3所示。（2）节点互信验证机制TEE节点互信指的是不同机密计算节点之间达成信任关联的过程，如图4所示。节点互信机制满足如下要求：1)系统应在节点通信发生之前，在节点识别之后，预先设定需要互信的节点范围；2)系统应保证节点互信的信任凭据具备有效性时长或只3)节点互信应包含身份互信、通信安全互信、计算要素互信，宜包含计算执行代码互信。节点互信的维度包括：的身份。身份具备动态认证的特性。可采用通用的PKI（PublicKeyInfrastructure）、IBE（IdentityBasedEncryption）和CPK（CombinedPublicKey）等认证体系构建；2)通信安全互信：节点之间应实现加密通信，通过安全连接交换数据，处理请求。加密通信宜采取TLS协议或类似的加系或将节点公钥与白名单一起通过安全通道预同步到关联节点的方案。通讯密钥与节点身份认证密钥应分离；3)计算要素互信：各个节点之间应只在关联的任务计算必要时进行交互通信。计算要素包括：计算任务的参与方信息、计算节点信息、权限信息、计算参数、数据一致性信息。各方之间对参与任务的各个要素需要互证一致；4)计算执行代码互信：计算节点之间可通过远程验证机制，提供计算执行代码的一致性证明。2.基于区块链的全流程存证区块链是一种去中心化的分布式账本。该技术由分布式数据存储、点对点传输、共识机制、智能合约、加密算法等多种子技以有效解决无第三方背书的情况下的信任问题。基于这些特性，区块链可以对数据从产生到处理、从交易到计算的全生命周期进进一步来说，区块链技术能够对隐私计算任务的全流程进行存证。各参与方可作为区块链上的节点，保存有录信息、权限控制信息、协调信息、存证信息及交易信息等，可根据审计要求追溯任意历史的变更记录，从而解决隐私计算任务存证的数据难验证、交易难溯源、多方难互信、多方协作难等问题，使得隐私计算全流程可验证、可溯源、可信任、易实现多方（1）共识机制区块链中各个参与节点都有平等的记录数据的能力，那么需要一个共识机制来决定谁最终拥有数据的记账权，即让这些节点通过一个规则同意这个特殊节点在很短的时间内完成了对交易的验中所有诚实参与节点保持账本一致性。2.有效性：筛选出一个节点来往链上写入数据，其他所有诚实节点把该发布的信息记录在自己的区块中。目前常见的共识机制有：工作量证明PoW（ProofofWork）、权益证明PoS（ProofofStake）以及委托权益证明DPoS（DelegatedProofofStake）。工作量证明机制PoW性，每个区块数据只能由一个节点（有记账权的）进行记录。比特币就是通过PoW机制（如图5所示）来确认这个记账节点。比特币网络提出了这个PoW问题。其关键要素是工作量证明函数、区块信息及难度值。工作量证明函数是这道题的计算方式，区块决定了这道题的输入数据，难度值决定了这道题所需要的计算量。可以理解成节点为了获得记账权需要将不同的Nonce值代入到工作量证明函数中，尝试进行SHA256哈希运算，直到找出满足条件的Nonce值为止。计算得出满足条件的Nonce值的个数越多，代表难度越大。（2）分布式存储区块链使用点对点传输技术进行分布式存储。假设黑客破解改者需要同时修改网络上超过半数的系统节点数据才能真正地就了区块链的安全性。（3）智能合约智能合约是存储在区块链上的数字合约，在满足确定的条款和条件时会自动执行这些合约。智能合约工作时遵循简单的“if/when...then...”语句，这些语句被写入区块链代码中。当满足并验证预先确定的条件时，计算机节点将执行操作，这些操作可能包括相应的各方发放资金、发送通知或开具凭单等。然可的节点才能看到结果。因为没有第三方的参与，减少了人为失误或者合谋干预的风险。因为一旦更新了区块链，交易记录会被所有节点共享，所以数据是无法被篡改及安全的。（4）密码学包括哈希算法、公钥私钥、数字证书与签名、零知识证明、同态术可以证实某数据内容的完整性并确认其来源，即可证明数据的由于每条记录都与分布式账本上的前后记录相关联，黑客必须改变整个链才能更改单个记录。3.基于区块链智能合约的计算合约途和用量的服务契约；计算合约允许各计算参与方在计算任务发在所有参与方达成一致后，平台方可开始执行计算任务。主要内2)电子签名：体现多方监督，抗抵赖，可具备一定的法律计算合约的特点包括：1）数字化、可机读：不只是将纸质合同电子化，须实现条2）各方约定：以各方达成一致为前提，责任共担，分散风3）数据使用透明化：确认数据加工、计算的算法逻辑（对于保密部分可使用密码技术处理）。计算合约的执行流程：1）任务准备：算法提供方基于算法形成合约模板；2）任务发起：任务发起方选择合约模板，完善合约内容；所有参与方提供相关信息，审查并签署合约；3）任务执行：任务发起方执行合约，发起任务；调度方验程进行存证4）任务结算：结果使用方对照合约，验证结果；调度方进行任务结算和清算；4.基础性检测基础性检测技术，指隐私计算系统在数据流入和流出前进行的一些系列数据安全核验动作，包括数据来源可信、授权可用、质量检测、合规性审查等。（1）数据来源检测利用数字证书检测、硬件token验证等方式对数据提供方身份进行认证，确保数据来源方身份可信。采用限制IP地址、端口号等技术防止第三方的恶意接入，确保仅有经过许可的主体有权限接入系统中。（2）数据权限管控问进行识别与实时阻断，确保隔离区内的数据只有通过指定的访问管控入口才可流入流出，防止绕过管控读写数据。（3）数据质量检测对数据的一致性、完整性、及时性和可用性等数据质量进行确认的能力，确认数据质量满足合作需求，并确认输出结果符合（4）数据合规性审查事先对数据使用的目的、方式、范围、频率、权限、存储的有效期、过期数据的处理策略等进行约定，并不定期采用人工或自动拦截的方式进行合规性审查。（5）异常输入告警对大量相同数据重复流入、传输中断、校验不通过、长时间没有数据流入和识别到敏感数据等数据的异常流入进行告警，并对异常流入的文件名、异常信息描述等内容进行日志记录，为后续处理提供参考。5.通信数据解析运行一致性和关键信令执行正确性进行验证。（1）访问控制在网络边界或区域之间根据访问控制策略设置访问控制规址、目的地址、源端口、目的端口和协议等进行检查，以允许/拒绝数据包进出；在关键网络节点处对进出网络的信息内容进行过滤，实现对内容的访问控制。（2）数据包解析对隐私计算算法执行过程中侦听到的网络信息流及其所有的数据包进行解析，基于解析结果对隐私计算算法运行一致性和过程数据保密性进行判别和验证。（3）信令监控侦听用户签约、授权等关键事件的日期、用户、事件类型和成功与否等信令，后台定期对信令情况进行统计分析。（4）运行状况监测通过对网络链路、安全设备、网络设备和服务器等的运行状况进行集中监测，能够正确和及时地了解系统的运行状态。日志分析技术，对隐私计算系统中关键操作和关日志采集和存储，对日志记录进行检索和统计分析。采集应用系统多个维度数据日志，包括但不限于API调用日操作系统日志、数据库日志等。对采集的日志进行解析、聚合、关键数据提取等相关处理。对全文日志文件或提取的关键数据提供存储能力，包括分布式文件存储、大数据存储及关系型数据库存储能力。提供日志检索功能，查询指定的异常日志或者操作日志。7.代码审计络或系统会产生威胁或存在潜在威胁的恶意代码。（1）特征码扫描进行恶意代码扫描时，扫描引擎会将系统中的文件与特征码进行匹配，如果发现系统中的文件存在与某种恶意代码相同的特征码，就认为存在恶意代码。（2）恶意行为检测为违反了合法程序操作规则，或者符合恶意程序操作规则，则可（3）沙箱技术将经过加密、混淆或多态变形的恶意代码放入虚拟环境后将配合其他方法能够检测出恶意代码的存在。（4）代码分析利用常见的代码分析工具掌握恶意代码样本程序的行为特8.可视化利用常见的代码分析工具掌握恶意代码样本程序的行为特（1）流程可视化提供算法流程透视窗和实时状态监控实时跟踪算法进度，通过异常/错误日志打印功能，方便用户快速定位问题。（2）运维可视化通过设计数字大屏，直观展示节点状态、硬件资源、网络情况等信息，方便运维人员实时监控系统运作健康情况，及时发现异常风险。隐私计算安全可验证的形式可包括：1.文档审查（1）提供理论安全性证明材料，通常包括有论文及出处、（2）提供隐私计算系统设计文档，包括算法协议原理、数据交互流程图、安全设计说明等，供检测人员审查和存档。2.代码验证（1）提供系统关键步骤和关键数据的日志记录，包括数据证书、时间戳等，供检测人员审查和存档。（2）提供算法关键部分实现代码实现截图，检测人员验证其代码实现是否与所提供的算法原理说明、数据交互流程等文档所述一致；检测代码实现中是否存在安全威胁和高危漏洞。3.平台演示（1）提供关于待测隐私计算平台操作流程、界面设计、功能设计的讲解视频，帮助检测人员理解、审查和存档；（2）准备平台演示环境，按考察点逐一为检测人员提供即时的平台操作演示，检测人员进行提问和功能细节查看；（3）提供测试环境下的外部访问地址，供检测人员按照平台设计文档自行进行平台操作。检测人员利用自动化安全验证工具，检查隐私计算在金融应用中是否满足协议一致性要求，验证输入输出数据和中间数据是视化方式进行展示隐私计算内部流程，使得整个过程变得更加透出入的处理逻辑，确认是否与安全性原理材料和设计文档描述一（1）通信方监测：参与方事先提交一个通信方的白名单列表，执行计算时，系统需通过端口监控所有通信均在白名单列表（2）通信量监测：需监测计算任务的通信量。对于每个隐过阈值时接入预警系统。信内容中出现。（3）用法用量监测：记录每个计算任务的用法用量。若计算任务超出规定的用法用量则接入预警系统。（4）敏感异常操作监测：-终止任务-持续尝试同一计算任务-频繁扫描数据源等情况-没有跑计算任务，却大量消耗计算资源等。隐私计算安全验证技术从技术角度约束隐私计算产品的安良性、可持续发展提供助力，但目前相关工作和研究成果较少，未来还需要做进一步探索和研究，主要包括以下几方面：（一）挖掘隐私计算安全验证技术目前隐私计算算法逻辑安全性和一致性问题仍然缺少可行的解决方法，进一步研究验证算法逻辑安全的安全验证技术。（二）打造通用化隐私计算安全验证工具一方面，单一的验证技术无法对隐私计算产品进行全方位的终都是实现数据的安全保护。将多种技术组合打造通用化隐私计算安全验证工具，对隐私计算过程中的关键路径采集、分析，并是进一步的工作方向。（三）适配安全分类分级隐私计算自身不同算法协议能保证的安全程度不同，不同应用场景中的安全需求具有多样性。隐私计算产品的安全要求应该对应的安全验证工具也应该有相应的安全等级配置。在产品开发和实际落地应用中，形成安全与性能、准确性的平衡。（四）推动金融行业形成技术标准化共识推动隐私计算安全验证、安全检测相关标准的研究，完善的化工作，逐步推进隐私计算安全验证通用化技术，案设计、系统开发、产品验证、技术选型等方面提供参考。[1]J.VanBulck,M.Minkin,O.Weisse,D.Genkin,B.Wenisch,Y.Yarom,andR.Strackx.“Foreshadow:ExtractingthekeystotheintelStransientout-of-orderexecution”.InUSENIXSe[2]BRASSER,F.,MÜLLER,U.,DMITSADEGHI,A.-R.“Softwaregrandexposure:SGXWorkshoponOffensi[3]O.Goldreich,S.Micali,andA.Wigderson.“Howtoplayan[4]McMahanB,MooreE,RamageD,etal.“Communication-efficientlearningofdeepnedecentralizeddata[C]”.ArtificialIntellige[5]GeipingJ,BauermeisterH,DrögeH,etal.“InvertingGfederatedlearning?[J]”.arXivpreprintarXiv:2003.14053,2020.[6]WangZ,SongM,ZhangZ,etal.“Beyondinferringclassreprfromfederatedlearning[C]”.IEEEINFOCOM2019-IEEEConferenceonComputerCommunications.IEEE,2019:2512-25[7]TolpeginV,TruexS,GursoyME,etsystems[C]”.EuropeanSymposiumonResearchinComputerSecurity.Springer,[8]BagdasaryanE,VeitA,HuaY,etal.“HowtobackdoorfederatedlearninConferenceonArtificialIntelligenceandStatistics.PMLR,2020:2938-2948.[9]Huang,Hai,etal.“DataPoisoningAttackstoDeepLearning[10]Azizi,Ahmadreza,etal.“T-Miner:AGenerativeApproachtoDefendAgainstTDNN-basedTextClassification”.30th{USENIX}Se[11]SeveriG,Meyer