《金融业隐私计算联合建模技术与应用研究》

金融业隐私计算联合建模技术与应用研究北京金融科技产业联盟202311编制委员会编委会成员：何 军 聂丽琴 薛 勇编写组成员：王润元张翼飞袁鹏程王云河王礼斌曹 伟昌文婷果 伦陈 琨单进勇黄翠婷王湾湾黄 文邱晓慧李晶晶金银玉张育涵田 江王 鹏卢春曦洪 爵靳 晨张 垚王健宗胡师阳叶展豪黄一珉时 代朱 礼李武璐卞 阳何 浩蔡超超陈 浩张志慧统 审：黄本涛郭 栋刘宝龙参编单位：中国银行股份有限公司华控清交信息科技（北京）有限公司蚂蚁科技集团股份有限公司深圳市腾讯计算机系统有限公司北京数牍科技有限公司光大科技有限公司网联清算有限公司建信金融科技有限责任公司北京百度网讯科技有限公司北京融数联智科技有限公司上海光之树科技有限公司华为技术有限公司百行征信有限公司深圳长亮科技股份有限公司目 录一、发展综述 1（一）联合建模概念探讨 1（二）技术发展历程及驱动力 6二、国内外实践情况 13（一）国外应用情况 13（二）国内应用情况 21三、支撑联合建模应用的隐私计算技术体系 42（一）隐私计算技术体系简述 43（二）隐私安全技术当前面临的主要问题及参考解决方案 56（三）主要建模技术对比分析 61四、联合建模通用技术平台参考框架 65（一）联合建模通用技术平台建设的目的与意义 65（二）联合建模通用技术平台的技术架构参考 66（三）联合建模通用技术平台非功能指标与设计参考 79（四）联合建模通用技术平台关键机制 91五、联合建模应用分析 100（一） 联合建模应用场景分类与特征细分 100（二） 联合建模的应用场景的其他分类方式 119六、发展与建议 122（一）当前技术与平台挑战 122（二）未来技术与平台的发展趋势 125（三）未来应用场景展望与建议 127参考文献 129一、发展综述（一）联合建模概念探讨联合建模的含义近年来，“联合建模”伴随“数据要素化”“隐私安全”、多方计算等热点领域的研究与应用，不断涌现在各类媒体和大众面前，然而，“联合建模”作为一个专业词汇至今尚无一致的、明确的标准定义。关键词有机组合而成。。（作伙伴契约关系等项目实施与管理过程问题而采取的分工协作同一数据所有权范围（权的数据）模型泛型”等。通常构建上述“模型”的行为都属于“建模”过程。强调“建模”所需数据必须由多方提供的所有权数据组成，而不强调“建模”过程是否一定存在多家构建方。例如，（加密或未加密交付给某个数据强调“模型”的广义范畴（可以选择使用某种多方计算技术与较为复（可以选择使用联邦学习技术都可以算作“联合建模”的模型对象。强调数据和加工的联合，而未限制必须符合“隐私安业务目标，所有实现“联合建模”的技术手段均可选择。但是，当前联合建模的应用市场一方面要求数据要素加快实现“共享”与“流通”，而另一方面又面临“数据无限复制”“数据无限供给隐私安全联合建模与传统联合建模的对比分析本质上的区别。的联合建模与传统方式的本质区别在于强调了各方数据的隐私安全，具体通过多方协同计算来实现，在数据对齐、特征工程、私保护方式下的联合建模进行对比分析。数据对齐：在传统的联合建模模式下，模型需求方和数据提供方约定好共同的ID加密方式后将双方加密后的ID汇集到一起进行样本匹配从而得到双方可用于建模的共有样本集在这种模式下，由于目前已经有“彩虹表”密码破解器的存在，常用的加密方式如md5sha256等加密方式可以被暴力破解因此在样本ID传输过程中存在着合法合规、隐私泄露的风险。在隐私保护的方式下，针对样本ID对齐场景，可基于密码学、多方安全计算等技术，通过隐私集合求交(Private SetIntersection-PSI)技术得到双方的样本交集双方样本ID的原始数据不出各自私域且各建模参与方无法获取对方除交集以外的样本ID针对特征对齐的场景各个参与方只需要把特征名称进行匹配对齐，无需汇聚具体的ID和特征数据。特征工程：在传统的联合建模模式下，确定双方共有YIV程中各参与方的原始数据始终不出私域。模型训练：在传统的联合建模模式下，所有的建模数（Loss等，而这些密态信息或中间计算结果需要通过加密或隐私保护方法如同态加密、差分隐私等方式进行交互与传输。模型推理：在传统的联合建模模式下，训练完成的模另外，传统联合建模和隐私保护的联合建模比，在建模效率，数据安全保护，建模参与方上也有区别，如表1所示。表1：传统联合建模与隐私保护联合建模对比建模效率数据安全建模参与方数量传统联合建模建模数据全部归集到一起，建模速度更快。建模过程中，一方数据出私域，存在隐私泄露的风险。更容易支持多方联合建模。隐私保护联合建模建模过程需要进行加密传输、加密计算汇总中间结果，因此建模速度相对传统建模方式较慢。方原始数据不出私方之间的多次交合建模情况较多。（二）技术发展历程及驱动力主流技术的演进历史及数论等理论发展的渐进过程。由最初的理论研究为主逐渐发展为理论指导实践的实验室应用初创，直至近几年的规模化发展。197619851948DiffieHellman1976Rivest、Shamir和Adleman于1977年提出RSA算法，RSARivest本人于1978ShamirBlakley1979Lagranges分解为nkkMichaelORabin1981Alice1/2AliceBob信息，而Bob1982198620031986计算答案，而无需知道计算式中输入的具体数字。Goldreich1987Goldwasser、MicaliRackoff1989Chor1995199920042012ARM2006TrustZone及硬件实现方案；2011年，智能卡国际标准化组织GlobalPlatformTEEGPTEEDwork2006ChromeiOSGentry2009能够同时满足加法和乘法同态的公钥加密算法。20132013SGXMcMahan于2016年提出联邦学习的概念，用于解决安卓手Mohassel2017SecureML，2018驱动力分析技术驱动联合技术驱动的结果。大数据近年来的快速发展与应用算力在近些年得到大幅提升算法技术的发展（DistributedMachine为联合建模的一个重要技术。业务价值驱动与安全。宏观政策驱动2020据要素价值，规范建立数据要素市场。20152016息基础设施运营者掌握的重要数据境内存储及出境应进行安全评估。二、国内外实践情况（一）国外应用情况国外相关产品和产业LearningLedgerOrchestrationforDrugDiscoveryMELLODDY）1840202010172019613202072810业的海量数据集，证明了技术的可行性。MELLODDYOwkin公司，其8000EdgifyAI何配备CPUGPUNPU（神经处理单元MRIEdgify业的公司直接在自己的边缘设备上训练完整的深度学习和机器Sherpa是一家西班牙毕尔巴鄂的初创公司，Sherpa构建面向企业客户的基于联AISherpaSherpa850Sherpa邦学习产业在未来具备的市场潜力。Sharemind是爱沙尼亚cybernetica旗下用于安全处理机密数据信息的数据分析系统，允许企业与合作伙伴共享记录，而不会失去控制权，Sharemind2020Partisia2008在美国方面，谷歌2017苹果也将联邦学习运用在自家虚拟助理SiriSiri英伟达除了作为著名的2018NVIDIAClara（AI）13AI2019又推出了NVIDIAClaraNVIDIA20AICOVID-19Clara出自己的联邦学习产品外还在自己的初创加速计划(NVIDIAInceptionProgram)中扶持了多家涉及联邦学习业务的公司。例如：RhinoHealthDoc.ai找最佳药物的模型以及血液检测新冠病毒的模型。除此之外也有越来越多的初创公司在美国涌现，例如：Consilient2020GiantOak司和K2IntegrityDozer。2021210AILABS（SAIL）是来自MIT方面通过联邦学习在本地训练模型协助医护人员研究患者的相关数据。最近，SAIL(KCA)KCASAIL突破。而在世界其他地方也相继涌现出基于联邦学习的初创公司，Presagen公司，其致力于连接全球的医疗数LifeWhispere。该产品通过AILynx.MD则试图构建一个不会泄露隐私的临床数据共享平台。Gartner2024150很大的市场。国外相关政策欧盟：于2016年发布了《通用数据保护条例》（GDPR），2018525GDPRGDPR少。在GDPR其中提到个人数据只能从欧盟/欧洲经济区输出至被认为能够提供充分数据保护的国家---即通过了“充分性决议”的国家。而欧盟委员会有权通过签发充分性决议，认定任何欧盟/欧洲经（业组织201620182018（DataProtectionAct2018）1998GDPR2021628GDPRGDPRCCPA202132者数据隐私保护法》（CDPA），202177通过了《科罗拉多州隐私法》（CPA）。就目前形势来看，在美国，更多隐私保护法律的出现将丝毫不令人意外。日本：20054120152017530201916实现互通，形成了“全球最大安全数据流动区域”。20119GDPR人信息保护法》（PIPA）20202017330其他国家：印度GDPR201912GDPR如何执行及何时可以例外。加拿大20201117《2020GDPR5%GDPR4%。瑞士202092022理过程中的隐私权，相关规定较之前将变得更为严格。泰国于20192202261PDPA并未（MDES）规定的标准来制定个人数据安全措施。PDPAGDPR，处罚202071GDPRGDPRPOPIA则更为宽松，例如GDPR对管理数据可移植性有相关要求，但POPIAPOPIA2018（19628于202061993GDPR（二）国内应用情况政策环境在国家政策方面20191049202020216108在金融管理方面据保护的技术。20198（2019-20212020202011202192021不更2021与此同时，金融行业组织也在积极开展相关研究。2020年11月，中国互联网金融协会发布《金融业数据要素融合应用研（业界亦称多方安全计算或多方安全计算2021分享会。行业应用概况技术产品市场100-200202420870AI12IDC2018-202439%202415AI202412-15TEEgartner2025金融行业应用市场由于多行业均存在数据合规流通和基于共享数据挖掘更大更为迫切。IT20248191170根据Gartner20215-101图1：Gartner发布的2021隐私相关的技术成熟度曲线金融行业作为信息技术应用、数据价值最大化最早的行业，值挖掘驱动业务创新业已成为各家金融机构数字化转型的主要（涉及非金融领域合作以及客户完（特别是小微企业（包括黑名单共享、的联合建模方式，与各家合作机构或数据源公司展开合作。AUC6%召回率提11%10%；中国银行成立技术创新研Fate同时考虑到以下几种因素，在金融场景下基于隐私安全技术、1）隐私保护的宏观政策与监管力度趋严，跨数据所有权下数据共享的“灰色地带”逐渐收窄；2）联；3）联合建模所依赖的技术4）个别场景适合采取“一家为主体构建模型并共享成果”的模6）要真正寻找“跨数据所有权”的应用场其他行业的联合建模应用将政务大数据赋能于新基建下的各行各业也成为一个重要课题。协同。SDKAPI外服务平台，成为数据合规合法输出价值的一种解决方案。主流技术平台介绍（1）蚂蚁集团隐语平台蚂蚁集团通过自研隐私计算框架隐语帮助不同机构在满足PPU(PrivacyPreservingUnit)分布式计算节点，由PPU完成具体的计算任务。通过编译器和PPU隐语系统架构，具有以下几个特点：一体化的编程体验：可以像使用常用机器学习框架，或使用SQLTFPytorchJAXPrivacyAwareIRABYABY3BlazeSecureNN隐私保护能力：框架支持包括可信安全、可度量安全计算性能：整个系统框架针对隐私计算的特点，在计译层和PPUPPUIR性，在不同运行环境下可以选择最适合的协议来提升性能，如图2所示。TensorFloTensorFlowJAXPSQL+CompACompXLADAG->PPUDAGSQLSQLQuery->PPUEnPPPU PPUPAwarePAwareDatedPEng

MeasurabPEng

MeasurabPEng

… DatedPEng

MeasurabPEng

MeasurabPEngRe ReP1 PN图2：蚂蚁隐私架构隐语框示意图（2）华控清交产品据可用不可见、用途可控可计量”。主要技术特点有：PythonSQLPython，兼容Numpy懂基础算法和密码学的普通程序员能够直接调用基于密文的计邦学习。性能：通过对密码学基础理论、底层协议、分布式计5-6（）平台允许多角色接入，可以根据不同应用场景进行按3图3：华控清交多方计算平台应用示意图腾讯云隐私安全计算平台隐私保护集合求交技术TEE可信执行环境。通过腾讯云算主要使用AngelPowerFL全自动化流程：安全样本对齐、特征工程、联邦算法以及预测打分；算法丰富：支持LR、XGBoost、PCA（如MLPCNNRNNDSSM等性能卓越：基于腾讯开源Angel分布式机器学习框架，异步并XGBoost模型训练，十分钟左右可以完成千万级数据的4图4：腾讯AngelPowerFL产品架构图InsightOneInsightOneMPC+FML”双计算引擎的金法有数十倍的速度提升，解决联合建模中的性能问题；通过“MPC+FL”的双计算引擎，适配不同计算场景，并在一定标准内支持异构计算框架之间的互联互通。业有数十个应用落地案例。INSIGHTONE平台是国内唯一通过工信部中国信通院多方安全计算、联邦学习、隐私计算+区块链全系列评测的隐私计算产品。富数科技阿凡达平台Avatar(阿凡达)平台是富数科技自主研发的一站式企业级多方安全计算平台集成多方安全计算联邦学习匿踪查询等核心技术提供企业级的数据安全匹配安全联合计算安全联合建模、匿踪查询等跨机构间可信数据协作能力。在此基础上，用户可以结合实际场景以及自身实际需求，增加相关模块(包括定制联盟区块链模块、安全策略模块 Al计算模块等)对标准平台进行补充以实现更多功能Avatar可应用于金融风控精准营销医疗科研政务数据开放共享可溯源供应链等场景具有以下特点：安全技术与权威认证：首批通过中国信通院多方安全化，工程安全可解释。私有化部署：支持纯软件私有化部署或软硬一体机等多种形式进行交付机构可灵活投入硬件与计算资源。开箱即用：通过图形化建模，算法流程化编排等技术各种应用场景，操作门槛低。开放互联：底层算子开放架构，可以热插拔的算法组智能营销，政府医疗等关键数据与模型。（6）百度点石数据开放平台包括数据安全隔离域、联邦学习、MesaTEEAI联邦学习平台：基于数据安全和隐私保护技术，在数据不出本地的情况下和多个参与方之间通过共享加密数据的参MesaTEE5图5：百度点石平台产品架构图Tusita如图所示。底层加密协议使用各种国际通用和国家密码局发布的加密（IDAIAI6。图6：Tusita隐私计算平台系统架构及功能分层图融数联智善数平台/板卡以及网络等多个层面持续进行应用场景……..反电诈反洗钱精准营销联合征信画像补全应用场景……..反电诈反洗钱精准营销联合征信画像补全案硬件案GPUGPU加速方案CPU加速方案FPGA板卡隐私计算芯片

软件：善数隐私计算平台安全求交集（合数）安全求交集（合数）安全求并集（叠数）隐秘查询（匿踪）安全求并集（叠数）隐秘查询（匿踪）

服务隐私计算能力开放平台数据接入服务隐私计算培训隐私计算能力开放平台数据接入服务隐私计算培训精准营销咨询风控建模咨询数据化运营咨询平安蜂巢联邦智能隐私计算平台蜂巢联邦智能隐私计算平台是数据隐私保护的一站式解决方案，为金融业务提供全方位数据安全合作服务。建信金科数易联隐私计算平台基于建设企业级隐私保护计算平台的总体目标，建信金科设计并开发了基于区块链的存证审计系统，进而完成了“数易联”企业级隐私计算平台开发工作，如图8所示。本平台使用了中心化管理与分布式计算相结合的系统架构，块链的存证审计系统可以对参与方的恶意攻击行为进行有效追8：“三、支撑联合建模应用的隐私计算技术体系（（（以及隐私保（Private-Preserving（Private-Preserving（有关隐私保护计算的详细解2021应用研究报告（2021）》）。隐私保护计算按照《UN Handbook on Privacy-PreservingComputationTechniques（一）隐私计算技术体系简述联邦学习理与预测服务。方安全计算工具提高数据协作过程中的安全性。联邦学习根据训练数据在不同数据方之间的特征空间和样（短板效应（2021年）》联邦分析的主要关键机制如下：隐私求交促进了数据价值的深层次挖掘。Blind-RSA联邦学习的前置过程。联邦特征工程IVWOEWOEIV程，将数据按照设定的规则进行划分。此操作可将连续变量WOEIVIVIV越强。据加法同态性质，Enc(a)+Enc(b)Enc(a+bYWOEIV。加工后供联邦学习算法使用。模型训练联邦逻辑回归（FederatedLogisticsRegression）逻辑回归(LogisticsRegressionLogistic(binary)因变的梯度下降算法在计算中同使用上分置于多方的标签数据和特9体算法供参考。图9：联邦学习逻辑回归算法示意图联邦逻辑回归往往在风控场景用于评分卡模型的建立，通过联合多方数据，联邦逻辑回归能具有比单方数据更强的区分度，从而更好地识别坏用户。联邦提升树模型（SecuredBoostingTree）boostingBoostingCARTg依赖标签yHostHost态性质，即Enc(a)+Enc(b)=Enc(a+b)，计算节点两侧的密文GuestHostHostGuest10图10：联邦学习树模型算法示意图联邦提升树模型同样能通过联合多方数据提升模型的区分解释性较差，常常用于反欺诈等领域。联邦神经网络（FederatedDeepNeuralNetwork）所示）。（所示）。图11：联邦神经网络采用的双塔网络结构多方安全计算多方安全计算意图解决一组互不信任的参与方之间保护隐的形式化表达为：在一个多方参与的分布式网络中，n个互不信任的参与方PiXi，nF(X1,X2,...Xn)-PiXiYi输入信息。该协议目前主要包括三类解决方案和一个主要技术工具基于同态加密(HomomorphicEncryption)的解决方案基于混淆电路(Garbled Circuits)的解决方案、基于秘密共享(SecretSharing)的解决方案，以及不经意传输(ObliviousTransfer)。基于这些技术的组合产生了隐匿查询、联邦学习等应用技术。同态加密同态加密也是联邦特征工程和联邦学习算法的核心底层技术。混淆电路SMPC实现电路的正常输出但又不泄露参与计算的双方的私有数据。具体来说，混淆电路至少包含一个garbler和一个evaluator。GarblerXOR、AND基本电路组成。每个基本电路就是一个加密混淆的真值表，01evaluatorEvaluator各输入电线上指定的输入标签，解密混淆电路，得到输出标签，并发送给garblerGarbler12图12：混淆电路原理图秘密分享中任何相应范围内参与者出问题时，秘密仍可以完整恢复。要的底层技术。不经意传输nn持有方只允许数据需求方知道其选择的kn-k选择了哪k技术的底层基础技术。差分隐私证分析者能获取的个人数据几乎和他们从没有这个人记录的数据集中能获取的相差无几。差分隐私是当下比较主流的隐私保护技术之一，主要用于横C技术从Safari13图13：差分隐私应用示意图可信执行环境CPUCPU确保TEETEETEE这种技术能完成多方安全计算、联邦学习当中常见的任务，TEE中完成。但是其缺点为依赖特殊硬件和单一可信安全查询(PrivateInformationRetrievalID匿踪查询技术目前主要是基于不经意传输的思想和加密混ID无法得到额外信心，同时保护了查询方和服务方的信息安全。其他主要传统隐私计算技术数据脱敏数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，该技术常用于企业内部保护企业敏感数据，使可接触原始数脱敏规则有，替换、重排、加密、截断、掩码。匿名算法等领域受到广泛关注。K（K该技术可以保证存储在发布数据集中的每条个体记录对于敏感属性不能与其K-1K-少要有K4该技术主要用于发布数据集使数据仅能用于统计分析而无法精确关联到具体个人从而保护用户隐私。代理重加密授权分发，以此确保数据只在密文状态下进行存储和转发。较弱的客户端需要重复进行加密运算耗费大量时间。零知识证明(ZeroKnowledgeProof)等业务环节中具有很大应用价值。金额等其他细节的情况下，保证交易有效。（二）隐私安全技术当前面临的主要问题及参考解决方案大数据量下的隐私求交性能优化RSARSA1024基于不经意传输扩展协议(OTExtensionPSIOTOTHashPSI率。基于不经意传输扩展协议的PSIOTPSI均摊到多次协议的实例上，从而实现安全求交的提速优化。隐私求交ID泄露在纵向FL的标准范式中，参与方依次执行加密实体对齐(encryptedentityalignment)和加密模型训练(encryptedmodeltraining)两个过程。在联邦学习协议的执行过程中，各参与方的隐私数据集的特征和标签隐私被重点关注和保护。IDID非交集部分内容的隐私安全，通过加密模型训练保证了两方ID成为必向各方公开的信息，使弱势方珍贵的客户清单被暴露。Genuine-with-Dummy对称版本的加密实体对齐，使得弱势方获得真实交集样本（Genuine样本），而强势方获得真实样本和混淆样本（Genuine+DummyIDID（傀儡不同隐私平台互联互通问题隐私计算跨平台互联互通的目的是实现基于不同设计原理和功能的隐私计算平台间协同完成某一项隐私计算任务的能力，理等，实现在不同的平台间业务层的互联互通。台的互联互通。联邦学习中的数据异构问题的全局模型，但是存在一些异构问题：敛、通信迭代次数过多问题；各个客户机根据其应用场景所需要的模型异构性问题（每个参与方有一部分的模型（经典的纵向（弱监督non-IID），通过朴素的联邦地模型进行聚合得到的全局模型往往效果不佳。FederatedLearning）是一个主要手段。个（对外传输Extractor（代表真实数据（三）主要建模技术对比分析的应用场景中根据实际情况进行具体分析后选择最合适的技术方案。多方安全计算组互不信任的参与方之间在保护隐私信息以及没有可信第三方其安全性是可以保障的，但是通常需要巨大的计算和通讯能力，一般用来进行两方或多方的联合计算。联邦学习（例如模型梯度进行多方联合建模通常会使用XGBoost可信执行环境CPU于中心化，需要信任硬件提供方，有被侧信道攻击的风险。同态加密方，利用密文协同计算。差分隐私2表2：联合建模技术对比技术分类对比维度多方安全计算联邦学习可信执行环境同态加密差分隐私第三方/协调方否是/否否否不涉及安全性高中/高（码学）高高中准确性高高高高低高效性低中高低高通用性高中高中低自主可控高高低中高适用场景联合计算XGB,线性回归、深度学习数字版权管联合计算IV统计查询四、联合建模通用技术平台参考框架（一）联合建模通用技术平台建设的目的与意义架应既包括基础的核心设施机制以支撑平台的底层核心能力与户需求、场景特征进行灵活的个性化适配。接基于密码技术上进行开发。拆装，动态装配，保障技术应用的灵活性。据利用能力。（二）联合建模通用技术平台的技术架构参考1.逻辑架构参考联合建模平台由多个模块组件构成，其逻辑架构如图14。图14：联合建模平台逻辑架构图/算法、基础支撑、对外显示、互联平台组件平台组件包括资源管理、任务管理和任务执行三部分。并对任务所使用的算法模型进行计量计费。并通过通知系统下发任务配置到各参与方数据接入节点和计算任务执行包括样本对齐、特征工程、数据探查、模型训练、ID（WOE和IV、特征相关性分析等，结合数据探查结果，选择所需的样Auc，f1,ks,recall算法库：算法库包括机器学习算法库、特征工程函数库、科学计算函SQL调度框架：（据量等因素技术类型。（资源拆分，最后在任务编排环节进行统筹执行，如并发执行等。TEE计算引擎：解释器/编译器与指令集，以及数据类型接入和格式转换等。明文计算引擎用以支撑基于差分隐私的联邦学习、本地明文计算以及可信执行环境（TEE）计算。密文计算引擎通过底层密码技术实现。明密文混合计算将以上两种方式混合，如本地明文计算和外部代理的密文计算混合。解释器/编译器将上层算法逻辑转化成密码学可识别（即指令集数据类型接入、数据格式转换将外部输入的多种类型的明文数据转化为密文，进行后续安全计算。基础协议/算法：TEE传统的密码技术（如公钥加密）等。基础支撑：支持云计算服务、容器、分布式存储等技术。对外显示：法IDE、异常显示与处理等。资源操作一般是指参与方的资源节点在部署好后在平台进行注册，从而成为参与方开展任务的物理基础。的授权，比如参与方允许本方数据资源参加到指定任务中。任务流程监控包括对联合建模过程情况和结果统计的检测，PSI算法IDE编程（python）IDE码学编程的复杂性。异常显示与处理为平台提供网络异常、资源（如数据资源）不在线等的异常情况显示，辅助操作者进行进一步动作。互联互通：跨平台互联互通模块为实现与不同系统架构的异构联合建共同完成同一个联合建模任务。系统运维：升级维护、存证和审计等。身份认证为系统各种不同角色提供身份管理功能，包括注册、登陆与身份鉴别等。联合建模过程中。个模块之间的接口和互通。Merkle1515IDE（以多方安全计算引擎为例（如秘密分享协议平台建模角色参考参与执行联合建模任务的各方，其逻辑角色一般包括：任务发起方方扮演。建模任务一般通过对外显示层的相关操作输入。任务调度方可分为本地调度方式或统一调度方式。数据提供方形式发送到计算方实例中进行计算。算法提供方APIIDE计算方此之外，还可选择以计算资源共享的方式独立部署。模型需求方也可通过对外显示层对外输出。（算法提供方16图16：联合建模各参与方关系平台部署架构参考17图17：平台部署架构模式示意图图17：平台部署架构模式示意图（1）点对点模式：据资源，实现共同建模。统一控制模式：统一控制模式是指在点对点模式的基础上增加一个统一控（或只有软件环境的计算任务，统一控制面实现对整个平台的管理运维。计算资源共享模式：计算资源共享模式是将密文计算的资源从各个参与方的部到接收方，从而保证各个参与方的明文数据安全。（5.1征细分心化运营。（三）联合建模通用技术平台非功能指标与设计参考隐私安全性平台数据的隐私安全性应该考虑数据准备、计算过程、结果发布等数据流通全流程的安全性。会包含原始数据或隐私数据信息。在计算结果进行发布的时18图18：隐私流通及计算中的数据保护示意图（采用加密通信信道（基于存证因此隐私安全性实际上涉及了平台多个层面相关组件的设计。可扩展性联合建模平台的可扩展性在满足不同业务通用需求的同时，可快速满足上层应用的个性化需求，需要从水平可扩展和垂直可扩展两方面来考虑。（1）水平可扩展务服务等均可独立扩展。数据接入可扩展：可通过数据计算解耦，实现参与方活扩展。算法开发可扩展：提供算法开发工具包，开发人员可实现算法应用可扩展。任务服务可扩展：任务服务可看作是一类数据源、算（2）垂直可扩展联合建模平台的垂直可扩展性是通过扩展单功能节点的处理能力，提升平台的整体处理能力。计算执行大吞吐高并发扩展：针对大数据量复杂运算需求，采用负载均衡器（loadbalancer）和多实例机制，将内并且通过多个执行实例之间的强隔离减少相互干扰。性能（效率）在实际应用中，可能会有多个数据方的海量数据，再加上基主要包括：将大量数据转换为相对少量的中间参数再进行传输；算法，减少多方之间的交互轮数；SQL的分解等；低大数据量的交互次数。（运算）在硬件上实现（FPGA）。平台建模效果评估基于模型评价指标评估模型的泛化能力、不同模型的效果，指导模型的逐步优化。模型评价指标包括混淆矩阵、准确率、查准率、查全率、F1指数、PR曲线、ROC曲线/AUC等。（1）混淆矩阵、准确率、查准率、查全率（Confusion是衡量分类型模型准确度中01positive结果是positivepositivenegative真实值是positvepositive（TruePositive=TP）；真实值是positive，模型预测是negative的数量（FalseTypeI真实值是negative，模型预测是positive的数量（False Positive=FP，即统计学上的第二类错误Type Error）；真实值是negatvenegative（TrueNegative=TN）。将这四个指标一起呈现在表格中，得到混淆矩阵如表3：表3：混淆矩阵混淆矩阵真实值PositiveNegative预测值PositiveTPFP（TypeII）NegativeFN（TypeI）TNTP与TNFPFN准确率（accuracy）：判断正确的结果占总样本的比例，Accuracy= TP+TNTP+TN+FP+FN

，虽然准确率可以判断总的正确率，但是在果。因此衍生出了其他两种指标：查准率和查全率。查准率（precision）：预测为正的样本里面，真实为正的样本所占比例，Precison=𝑇𝑃 。TP+FP查全率（recall，也称召回率）：真实为正的样本里面，预测正确的比例，Recall= 𝑇𝑃 。PRF1

TP+FN01估各个阈值下的查准率和查全率。PR分类器模型对于每个样本预测为正例的概率，根据precisionrecallprecisionrecallPRPRrecallrecall，precisionrecallprecision19图19：PR曲线F1F1F1平均值，即21+1

。如果要提升F1指数，则需要两者都比较高且均PR衡。（2）ROC曲线和AUCROCPR分别画出真正例率和假正例率。以真正例率 𝑇𝑃 作为纵轴，所有正样本假正例率 𝐹𝑃 作为横轴，将所有点连起来即得到ROC曲线。所有负样本20图20：ROC曲线ROCTPRPRROC10ROC改变，而PR曲线则变了很多。ROC曲线和POC曲线对比如图21所示。图21：ROC曲线和POC曲线对比示意图AUC(AreaUnderCurve)：AUCROC（（ROCAUC图22：ROC曲线及正负样本示意图22对应的ROC1AUC0.5（两个类别概率密度重合在一块了，即模型没能把两个类别分开）。所以一般AUC的值是介于0.5到1之间的。AUC的一般判断标准：⚫ 0.50.7：效果较低⚫ 0.70.85⚫ 0.850.95：效果很好⚫ 0.951：效果非常好通用性提供通用建模平台，通用性设计包括：VM，云平台部署。LinuxCentOS，RedHatAPI的能力，在完成数据源接入配置后，在整个流程中不存在差异，易于使用。/安全屋算力等。算力资源是设备能力及6.易用性平台的易用性设计主要包括：pipelinePython环境，定制开发无门槛。7.高可用同城双活（备（DSDS节点，而不需要关心计算节点的具体位置。管理节点内部的服务管理框架实现内部各个服务实例的状态监控来决定由哪个实例处理业务。DS算任务可以继续进行。由于管理节点存储有计算任务等信息，因此要求管理节点的后，管理节点依赖的存储数据库能够继续提供数据服务。两地三中心有信息，包括管理信息，数据集，合约等。DNS（包括使DS）或者和主节点使用相同的IPIPDSIPIPURLDNS线，恢复成灾备状态。（四）联合建模通用技术平台关键机制1.平台密文算法支持组件换明文运算。通用计算的基础运算操作主要包含密文数的加法、通过多方计算实现基本运算操作；基础运算操作组合实现衍生运算操作；基础运算操作和衍生运算操作实现常用的函数和算法；通过常用基本运算、衍生运算和函数和算法组合实现通用的多方计算应用。1)密文比较等基础运算操作。在第2)层中，平台通过数值方法等算法实现一些衍生运算𝑓(𝑥)=𝑒𝑥（在𝑥0=0处通过一个多项式对函数值进行拟合：𝑥𝑓(𝑥)≈1+1!

𝑥2+2!

+⋯

𝑥𝑛𝑛!观察可见，上式出现了密文的乘法运算，密文和明文的乘法运算(密文除以明文等价于密文乘以明文的倒数)和密文的加法运算，即上式可通过组合一系列的基础运算操作实现。在第3)层中，平台通过对基础运算进行不同的组合实现科密文的sigmoid函数计算，进而能实现密文的逻辑回归模型训练。PythonPython平台明密文混合计算组件密文计算具有高安全的特点，明文计算具有高性能的特点，DAG23图23：明密文混合计算任务规划编排平台对机器学习算法（神经网络模型）的支持密文数据上运行这些算法和模型。文上计算出各个数据提供方在本地进行模型更新所需的梯度等平台对异构联合建模平台互联互通的支持（简称跨平台联合建模类型统一兼容在一个接口上进行流通、运行。24图24：跨平台互联互通重传、容错等机制。对自身数据的使用能够进行授权等。AI建模。5.平台级安全与业务可解释性全性对整个平台的影响以及相关的设计机制。（联合建模的业务可解释性主要指AI算法的可解释性。AI算AI算法的可解释性保证了数据用途可控。目前金标委已经发布了标准《人工智能算法金融应用评价规范》（JR/T0221-2021），对AIAI算法的安全性，一般采用如下方法和机制：AI建模算法。建立算法安全审核机制。由权威的专家对算法进行审核，信息。五、联合建模应用分析（一）联合建模应用场景分类与特征细分1.联合建模应用分类特点照行业进行分类分金融场景。定程度可以用于业务领域经营战略与趋势分析等较宏观的决策最大综合效益。2021分为C（个人消费B（企业G（政府三类客群。数字化、安全性的特点”。不难看出，金融场景普遍具有三大“多样性”特点：数据的多样性（（（下交付与协同数据）等。1、业务干系人、合作方的多样性（涉及非金融领域（模型（模型）2、业务模型的个性化与多样性（不同业务模型以及不同的构建、交付方式。一般而言，每个金融场景案例均可以通过对“定义+要素+多（系统与运营两个不同层面的设计与实现素”和“多样性特点”的通用特征化细分。1、不讨论“非隐私保护的联合建模金融应用场景”的通用特征2、仅包括与IT系统实现“分析建模”相关问题域的特征参考，而诸如“业务流程微服务分解”“联机对客服务性能加速”等业务问题域的特征化，不纳入本报告讨论范围。建模金融应用场景主要特征细分参考参考的方法论和部分特征样例。隐私数据存储特征据在数据所有权/权力方面的隐私特征的特征。（含内存计算（4-涉及客体密文隐私数据。（外3-外部涉及主体密文隐私数据；5-技术上无法判断外部是否涉及主体隐私数据特别说明：1）需针对每一个联合建模的参与方分别考察该特征。2）中间结果数据、模型中间参数数据并一定进行持久化存储，可能只在计算过程中“缓存”。隐私数据传输特征涉隐私安全的特征。值建议：0-通信明文传输；1-通信密文传输特别说明：1）需针对每一个联合建模参与者的数据发送方考察该特征。2）应注意通信密文与数据存储密文的区别，比如数据存储密文可以明文传输也可以密文传输。数据明密文计算特征使用的隐私样本数据是明文还是密文。取值建议：0-全明文计算；1-全密文计算；2-明密文混合计算。特别说明：1）该特征主要考察涉及隐私数据的样本参与计数据运营模式特征角色和职责。属性描述：分为集中运营模式、去中心化模式、中心调度与1-2-3-运营模式。术手段上可以使用可信硬件或者通过权限管理建立安全的计算环境的方式来实现。方基于自身的明文隐私数据以及其他协作方的密文隐私数据和中间结果或参数的交付给中心调度者，由中心调度者完成基于心化模式最大的区别是有一个集中的调度者。特别说明：无样本规模特征属性描述：议0-1-2-大规模数据建模，3-超大规模数据建模10w模样本大部分集中在小规模；10w-100w的建模一般需要把数据维度归到人或者企业上，中规模居多；大规模数据建模：100w-1亿样本，常见场景如营销推荐场景；超大规模数据建模：一般是指1亿以上样本量，在建模数据上。样本最小传输速率：传输吞吐速率本质是网络带宽的问题，0-1-中规模数据通信，2-大规模数据通信100M1G安全性稳定性的要求也没那么高的时候；1G特别说明：无响应时效性特征定义：响应时效性特征是指联合建模时，自业务目标定义、数据采集完成之后开始，包括数据探索与清理整合、特征衍生、模型训练和评估、模型结果发布全流程分析建模的平均时间。），小时级（<8），分钟（1级属性指标。取值建议：0-分钟级、1-小时级，2-天级于批量样本数据的跑批和建模来完成数据和模型的例行更新；现力，实现系统新增数据的高效更新和生效。特别说明：无建模数据形态特征标，系统建模所采取的不同的模型算法和模型计算方式。0-结构化的数据建模-机器学习、1-基于自基于语音数据的建模、4-结构化的数据建模-简单多维分析、5-结构化的数据建模-联合数据查询（用风险评估模型等（如信用风险等级预测等（（传统数据仓库领域的OLAP分析，即传统的多维分析建模）、联合数据查询（基于多方数据存储和处理系统之上的数据检索）等场景。这也是目前应用最为广泛的情形。具有隐私信息的图片在信息收集和计算中也需要进行保护；基于语音数据的建模：随着语音交互场景的增多，如音响，APP特别说明：1）建模数据形态所代表的特征属性最能直接反2）单纯的数据形态（结构化数据、文本、图体验友好性特征部署运维以及生产运营全流程中，向所有参与者（如研发人员、运维人员、业务运营人员和客户等）工具，使该联合建模产品具有全流程的良好用户体验。属性描述：针对不同的参与角色提供不同“友好”工具，分（热插拔等业务产品设1-（2-3-4-6-运营管理友好性、7-其他联合建模应用场景特征细分案例以下给出两个联合建模实际案例的特征细分样本，因涉及商业隐私，数据详实程度仅供参考，如表4、表5所示。表4：案例一、某隐私计算平台隐语在银行金融风控中的应用样本案例名称某隐私计算平台隐语在银行金融风控中的应用行业领域金融业务领域细分联合风控应用场景目标通过联合建模，提升银行的风控能力和业务效果，为客户提供更加精准的信贷服务场景要素说明场景客群、金融产品、非金融服务和内容资讯长尾个人用户，小微企业用户以下内容，针对不同具体属性取值，分多种细分情况加以说明。【填写前，务必先阅读和理解报告第五章内容】属性值具体说明隐私数据存储特征涉客体隐私0-不涉客体隐私数据；1-隐私数据；2-据；3-结果半隐私数据据4对于参与方客体的数据都是通过密态的方式进行交互计算，不接触明文数据涉主体隐私0-外部不涉主体隐私数据；1-外部涉及主体明文隐私数据；2-外部涉及主体模型参数半隐私数据；3-外部涉及主体中间结果半隐私数据；4-外部涉及主体密文隐私数据；5-技术上无法判断外部是否涉及主体隐私数据4对于主体数据，提供给客户进行计算时，也是提供的密态结果进行计算，过程中不涉及明文隐私数据传输特征0-通信明文传输；1-通信密文传输1参与方之间的数据传输是通过密态方式进行交互和计算数据明密文计算特征0-全明文计算；1-全密文计算；2-明密文混合计算1算，参与双方均生成分片的模预测生成预测结果数据运营模式特征0-集中运营模式、去中心化模式、2-式、3-混合运营模式1参与方进行点对点计算，数据提供方也是计算方，参与双方基于此模式进行联合建模分析，生成模型并基于此进行预测样本规模特征样本平均规模小规模数据建模、中规模数据建模，大规模数据建模，超大规模数据建模1数据规模大约在几十万到百万量级样本最小传输速率小规模数据通信、中规模数据通信，大规模数据通信0专线传输，带宽较低，通信安全性和稳定性保障好响应时效性特征0-分钟级、1-小时级，2-天级2数据批量采集，可进行天级建模计算建模数据形态特征0-结构化的数据建模-机器学习、1-基于自由文本数据的建模，2-的建模，3-数据的建模、4-化的数据建模-简单多维分析、5-的数据建模-联合数模型】0LR、XGBNN体验友好性特征0-业务产品设计友好性、1-架构友好性（松耦合、共享性、组件化、热插拔等）、2-开发测试友好性、3-底层封装友好性、4-功能扩展友好性、5-运维友好性及6-运营管理友好性、7-其他0、1、2、3、4、5、6本；安全算子开发工程师可独立开发，独立优化；测试同样可分层实现；接口，方便平台进行集成；平台框架支持多种算子开发，tf，pytorch，sql，python发，可方便集成已有的算法中的状态及统计信息提供运营管理统一平台，方便项目运营人员进行平台化操作表5：案例二、基于多方安全计算的信贷营销样本案例名称基于多方安全计算的信贷营销行业领域银行业业务领域细分信贷营销应用场景目标子行利用母行客群信息进行潜客挖掘，并对其进行精准触达、营销和转化。场景要素说明场景客群、金融产品、非金融服务和内容资讯对私信贷客户群、信贷营销类金融产品等以下内容，针对不同具体属性取值，分多种细分情况加以说明。【填写前，务必先阅读和理解报告第五章内容】属性值具体说明隐私数据存储特征涉客体隐私0-不涉客体隐私数据；1-隐私数据；2-据；3-结果半隐私数据据3模型训练阶段，客体模型的中间计算结果（即参数或梯度）以密文形式输入多方安全计算平台（在两方分别部署），用于联合模型更新。涉主体隐私0-数据；1-体明文隐私数据数半隐私数据；3-半隐私数据；4-涉及主体密文隐私数3模型训练阶段，客体模型的中间计算结果（即参数或梯度）以密文形式输入多方安全计算平台（在两方分别部署），用于联合模型更新。据；5-技术上无法判断外部是否涉及主体隐私数据隐私数据传输特征0-通信明文传输；1-通信密文传输1母行及子行客群数据以密文形式输入多方安全计算平台（在两方分别部署）进行隐私集合求交以及联合模型训练数据明密文计算特征0-全明文计算；1-全密文计算；2-明密文混合计算2模型训练阶段涉及明密文混合计计算结果以密文形式交互。数据运营模式特征0-集中运营模式、去中心化模式、2-式、3-混合运营模式2多方安全计算平台作为中心调度合计算。样本规模特征样本平均规模小规模数据建模、中规模数据建模，大规模数据建模，超大规模数据建模0100000样本最小传输速率小规模数据通信、中规模数据通信，大规模数据通信0100M以内响应时效性特征0-分钟级、1-小时级，2-天级0模型训练阶段：30分钟/轮；模型预测阶段：1分钟/次建模数据形态特征0-结构化的数据建模-机器学习、1-基于自由文本数据的建模，2-的建模，3-数据的建模、4-化的数据建模-简单多维分析、5-的数据建模-联合数模型】0XGBoost体验友好性特征0-业务产品设计友好性、1-架构友好性（松耦合、共享性、组件化、热插拔等）、2-开发测试友好性、3-底层封装友好性、4-功能扩展友好性、5-运维友好性及6-运营管理友好性、7-其他0、1、2、3、4、5、60：练门槛；1：平台微服务架构为不同功能（隐私集合求交、匿踪查询、联合统计、联邦学习）提供单独组件；平台的松耦合架构可实现数据、算法、算力与应用解耦，数据与算法解耦，算法与算力解耦；2：JupyterNotebookIDE库；3：500体为：（1）数据提供方（参与方）可以任意扩展；（2）算力可任意扩展；（3）支持多协议的按需组合，包括秘密共享、同态计安全计算协议；（4）兼容各种密码体系，如国密；5：云原生、微服务架构；方便集成多种现有明文大数据平台；6：存证机制实现业务全流程的可机制审核机制。特征细分对通用平台架构设计的指导意义个在市场与客户中口碑良好的产品，都会坚守“需求决定设逻辑，不符合客户逻辑”的程序，是系统设计的反模式。一个具体业务场景的业务功能需求与数据模型需求决定业务程序代码的计算执行逻辑和数据结构设计，而抽象自同类业务场景需求的通用特征、属性及其相互关系，视为同类业务场景的高阶需求，也必然决定通用技术平台所应该具有的通用组件能力、分工与架构层次。因此，基于完备的“联合建模应用场景”特征细分成果，同时，充分借鉴当下前沿的架构设计理论，依托成熟的隐私计算、云计算、大数据、机器学习等底层技术栈实践成果，方能真正设计出可以动态支持、敏捷适配不同个性化客户需求的通用、平台化的联合建模软件系统。为此，本文简要给出如下平台设计的参考思路：首先，对联合建模应用场景的通用特征进行细致挖掘，提IT需求到高阶IT中，应重点关注三类设计要点：其一是特征的功能定位应符合“业务可见性”及“职责单一化”原则，且粒度适中，该特征或细分属性可以直接映射为平台应用类通用组件；其二是特征的功能定位符合职责单一化原则但不符合“业务可见性”原则，其能力一般表现对其他通用组件的支撑（组合与封装），该类特征或细分属性可以映射设计为平台通用支撑组件；其三是特征的功能定位不符合“职责单一化”原则但符合“业务可见性”原则，其能力明显需要借助多个平台应用类通用组件的封装与组合来实现，该类特征或细分属性可以映射设计为平台应用通用套件。另外，那些不依赖业务特征细分的技术组件，如云技术组件、算法组件、安全组件以及多方计算组件等，统称为平台底层技术组件。一般而言，组件自下而上形成基本层次关系：平台底层技术组件（最下层）、平台通用支撑组件、平台应用通用套件、场景应用业务代码（最上层）。最后，需进一步对上述组件按照如下三个维度进行分析、评估和分类：一是各层组件之间的功能依赖与耦合关系；二是各类组件与业务代码之间的功能依赖关系；三是各类组件之间的部署依赖及不同接口协议匹配关系。基于上述分析与分类的结果，平台将对各层中的组件按功耦合度进行聚类（族）划分，再按照不同聚类间的关联关系，将聚类划分为“共享”“个性”“扩展”等不同类别，并以此来决定组件聚类的使用范围和边界，进而决定不同聚类的软件打包策略及物理部署策略。通过不同粒度和聚类软件包的“低成本、最小化”组合方式来精准满足不同运营角色、不同建模角色、不同管理角色的实际需求，既要避免向客户交付“功能缺失”的产品，也要避免让客户为“与需求无关的功能”及其他额外成本买单。（二）联合建模的应用场景的其他分类方式按照机器学习算法进行分类在隐私计算的语境下，联合建模属于分布式机器学习。不同的建模目的与场景往往需要采用不同的机器学习算法。通常我们将机器学习分为有监督的机器学习和无监督的机器学习两大类，与此相对应的，联合建模可以分为有监督学习的联合建模和无监督学习的联合建模两大类。有监督学习指的是通过有标记的训练样本集去进行学习训练，获得一个最优模型，此后同类的数据可按照此模型进行输入，根据输出的结果进行预测、分类。有监督学习要实现的目XY”，通常适合于拥有不同特征、样本有重叠的多个机构之间的联合建模。有监督学习一般包括分类与回归两种类型，有监督的机器学习算法常见的有：逻辑回归算法、BPKNN无监督学习指的是训练集不会有人为标注的结果（无反馈），X法常见的有：密度估计、异常检测、层次聚类、EMK-Means按照应用部署架构进行分类URLAPI本地化终端部署主要用于嵌入式设备，当模型用于对时间要求严格的系统中，需要立即作出决策时，可以采取本地化终端部署。通过将模型打包封装到SDK，集成到嵌入式设备中，数据的处理和模型推理都在本地终端设备上执行，以提供高性能的推理能力。按照技术路线分类程中引入MPCTEE据技术路线的丰富程度，可将联合建模案例划分为单一技术应用的案例，混合技术应用的案例。按照数据量级分类数据建模可能需要放弃安全性或者采用数据集中式的建模方级以上数据的联合建模。六、发展与建议（一）当前技术与平台挑战全流程的安全保障决跨机构的数据合作，但是其中有不少安全的挑战，主要有：隐私计算过程中的安全风险。例如，联邦学习是一种在原始数据不出域的情况下多方协同训练机器学习模型的方法。技术的安全性往往基于一定的假设和前提。比如半诚（比如发送错误的数据给其他参与方工程实现也是安全性的重要一环，各种技术在工程实现的时候往往会考虑和其他要求的权衡。例如，安全参数越高，数据可信验证。对于联合建模来说，训练数据的可信密码技术复杂不易理解。实现联合建模的隐私保护的性能瓶颈仍需打破下几个方面：基于密码学理论，数据加密解密及密态下的计算，带来额外的计算量多轮大数据量的交互通信，带来较低的通信效率多方联合建模的模型仍在不断迭代发展中；对于需要满足实时性的特殊建模场景（例如一些金融应用场景），目前的联合建模技术仍面临较大困难。异构平台的互联互通尽管在本报告第三章中给出了联合建模平台互联互通的解和基础设施面全方位实现互联互通，还“任重道远”。这样会导致部署平台费用的累加，企业将面对巨额的部署成本。互联互通问题的根本原因在于，一是基于市场竞争原则的PSI（隐私集合求交）Diffie-Hell