联邦学习-从多云机器学习到数据生态方案

联邦学习：从多云机器学习到数据生态技术创新，变革未来PRIVATE

CLOUDEDGETKG或任意K8sTKG或任意K8sTKG或任意K8sTKG或任意K8sTKG或任意K8sTKG或任意K8sTKG或任意K8s…………………TKG或任意K8s…跨云一致性VMware云服务云应用平台云管理平台云与边缘设施安全与网络AnywhereWorkspace™平台©容器拓展机器学习负载到多云环境©不同云平台间的数据交互成本机器学习不同云平台间的数据交互成本跨云传输数据成本非常高，所以我们希望：如何减少不同云平台间数据交互让训练发生在数据产生处©不同云平台间的数据交互成本跨云传输数据成本非常高，所以我们希望：如何减少不同云平台间数据交互让训练发生在数据产生处(来源:

Federated

Learning:Collaborative

Machine

Learning

withoutCentralizedTrainingData,GoogleAIBlog,

2017）©不同云平台间的数据交互成本跨云传输数据成本非常高，所以我们希望：如何减少不同云平台间数据交互让训练发生在数据产生处(来源:

Federated

Learning:Collaborative

Machine

Learning

withoutCentralizedTrainingData,GoogleAIBlog,

2017）联邦学习(来源:Federatedlearning,Wikipedia,URL/wiki/Federated_learning）©在数据产生的云内进行局部（多轮次）训练；汇聚平均全局模型；更新全局模型到各云内。使用跨云数据进行训练成本与训练效果的平衡©单机构多团队/单集团公司©多机构，跨地理环境，多种设备环境单机构多团队/单集团公司©数据源（数据提供方）互联网企业信用机构…企业机构

（数据使用方）银行保险医疗机构广告，市场…电信公司监管机构技术提供方联邦学习框架多方安全计算可信执行环境一体机…技术输出技术需求监管合规监管合规技术输出技术需求技术输出©(来源：

iR)不同技术提供方的方案如何保证合作建模？组织

1算法层框架A组织

2算法层框架B©框架

A框架

B管理平台工作流引擎联邦学习算法联邦学习算法执行引擎层管理平台工作流引擎执行引擎层计算服务存储服务传输服务计算服务存储服务传输服务管理APIs统一控制APIs及DAG计算能力服务:MapReduceHDFS传输协议及设施互联互通规范基础机器学习及安全协议算子基础机器学习及安全协议算子基础算子规范用户向互联互通算法层互联互通算子层互通©全球首个工业级联邦学习开源框架:©有效帮助多个机构在符合数据安全和政府法规前提下，进行数据使用和联合建模支持多种主流算法：为机器学习、深度学习、迁移学习提供高性能联邦学习机制支持多种多方安全计算协议：同态加密、秘密共享、哈希散列等友好的跨域交互信息管理方案，解决了联邦学习信息安全审计难的问题:有效帮助多个机构在符合数据安全和政府法规前提下，进行数据使用和联合建模支持多种主流算法：为机器学习、深度学习、迁移学习提供高性能联邦学习机制支持多种多方安全计算协议：同态加密、秘密共享、哈希散列等友好的跨域交互信息管理方案，解决了联邦学习信息安全审计难的问题VMware FATE:©技术指导委员会成员FATE和KubeFATE等开源项目的维护者（maintainer）组织和参与联邦学习开源社区建设线下&线上活动技术交流论坛学术界和产业界会议多方联邦通信网络：跨站点传输网络Tensorflow

/

Pytorch(

深度学习)EggRoll

/

Spark

(分布式计算框架)纵向联邦统计纵向联邦特征工程纵向联邦学习联邦迁移学习RSADH密钥交换Paillier同态加密安全聚合模型加密预测多方联邦横纵融合异步联邦学习联邦SQL查询安全数据检索联邦多云生命周期管理FedLCM集群自动化部署升级可视化易用向导多联邦多框架支持联邦建模pipeline调度FATE-FlowDAG解析联邦任务管理多方任务协同调度联邦在线推理FATE-Serving实时在线联邦推理集群管理与监控在线模型管理联邦学习算法库FederatedML横向联邦学习 联邦深度学习联邦安全协议Secure

ProtocolsSecret-Sharing（SPDZ） OT 可交换加密联邦任务可视化平台FATE-Board联邦模型可视化联邦任务dashboard任务/日志管理云原生联邦学习管理平台KubeFATE云原生容器化平台灵活部署，动态管理，自动化运维支持K8s，多云和跨云能力©FATE

开源技术框架KubeFATEvs.测试、体验多方FATE集群；上手简单。面向生产环境：支持多个FATE环境及集群；声明式扩展能力；升级，迁移；4)

日志及监控功能2.

强大的定制功能ContainersML

ExpertSWESRE公有云/私有云©KubeFATE基本功能对FATE集群安装更新删除部署任务的状态监控访问权限控制©KubeFATE高级功能收集查看所有日志离线部署取消部署任务子任务状态监控TanzuKubernetesGrid

ServiceTanzuRuntime

ServicePodService|RegisterService|NetworkService|Storage

ServiceHybridInfrastructure

ServicesvSphereNSX-TvSANvRealizeCPUMemoryStorage联邦学习加速硬件硬件加速驱动横向联邦学习算法

|

纵向联邦学习算法

|

联邦迁移学习数据处理工具多方安全计算协议计算引擎传输引擎站点管理数据访问数据工程数据可视化日志与审计联邦学习管理数据管理模型管理推理服务认证和鉴权审计服务联邦学习管理VCFwith

Tanzu基础设施硬件支持站点管理

白皮书访问地址:

/fmlwpKubeFML(KubeFATE)©TanzuKubernetesGrid

ServiceTanzuRuntime

ServicePodService|RegisterService|NetworkService|Storage

ServiceHybridInfrastructure

ServicesvSphereNSX-TvSANvRealizeCPUMemoryStorage联邦学习加速硬件硬件加速驱动横向联邦学习算法

|

纵向联邦学习算法

|

联邦迁移学习数据处理工具多方安全计算协议计算引擎传输引擎站点管理数据访问数据工程数据可视化日志与审计联邦学习管理数据管理模型管理推理服务认证和鉴权审计服务联邦学习管理VCFwith

Tanzu基础设施硬件支持站点管理KubeFML(KubeFATE)FedLCM(FederationLifecycle

Manager)©KubeFMLParticipant

11(联邦学习协调方)12本地训练2234434加密模型参数上报加密模型汇总Participant

21Participant

31KubeFMLKubeFMLKubeFMLFedLCM生命周期管理：部署、监控、运维等FLManager数据管理、模型管理、认证及鉴权等联邦学习多个参与方FLFramework…FLFramework…FLFramework…FLFramework…24加密模型更新下发联邦学习框架部署管理和互联配置多种联邦学习框架部署管理纳管多个K8s集群管理不同集群中KubeFML服务无需命令行介入部署FATE、OpenFL等不同框架以联邦形式统一组织多个参与方灵活的证书、Chart、Token管理©多种联邦学习框架部署管理纳管多个K8s集群管理不同集群中KubeFML服务无需命令行介入部署FATE、OpenFL等不同框架以联邦形式统一组织多个参与方灵活的证书、Chart、Token管理©联邦学习任务全流程支持低代码的联邦学习开发平台本地数据管理项目创建与邀请数据关联支持多种横向和纵向算法的图形化任务创建模型管理与发布离线和在线推理功能支持©联邦学习可用于多云环境下机器学习场景，解决数据分散在跨云平台问题；联邦学习不仅可用于一个组织内部数据合作建模，甚至推广到多组织合作，解决数据孤岛问题；围绕联邦学习，逐渐形成了以数据资产为核心的生态，赋能各行各业；VMware是国内外联邦学习领域积极参与者，是全球首个工业级联邦学习开源框架FATE的主要贡献者之