版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
杭州数据协同创新未来实验中心×
2024年9月2024年全球隐私计算报告数据要素社l:杭州数据交易所HANGZHOU
DATA
EXCHANGE中国联通China
unicom目录01
隐私计算产业发展概况02
2024隐私计算产业图谱
03
隐私计算技术演进和融合04
隐私计算产业应用分析05
隐私计算与人工智能06
隐私计算未来展望·
浙江省大数据产业技术联盟·
杭州国际数字交易联盟特别支持单位·
中关村实验室·
杭州金智塔科技有限公司·
浙江蚂蚁密算科技有限公司
·
联通数字科技有限公司·浙江大学区块链与数据安全全国重点实验室·
中国联通智能城市研究院·
数据要素社·
杭州数据交易所组织单位指导单位支持单位联合发起单位·
杭州市数据资源管理局主编张秉晟
王
鹏
熊婷参编人员许苗峰、殷泽原、郭大宇、胡爽、应琦、潘凯伟、林洋、梁子轩、刘泽宇、申奇、申冠生、武通、卢天培、钱润芃、卢益彪、田磊原、冯宇扬、徐泽森、张洵、张文、吴钰沁、彭乐坤、张菊芳、黄益超、谢琴超、周旦、郑超编写成员2024全球隐私计算报告
×××隐私计算产业发展概况
圣贺鉴盖:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom·
隐私计算是用于保护数据安全、个人信息和商业秘密,促进数据高效流通、处理和分享等一系列技术的总称·助力实现数据
“供得出”“流得动”"用得好”“保安全”隐私计算技术分类
安全多方计算同态加密零知识证明
不经意传输
可信执行环境差分隐私数据脱敏国家数据局围绕数据要素市场化改革开展系列工作·2023年,国家数据局会同有关部门制定《“数据要素×”三年行动计划(2024—2026年)》·
国家数据局积极探索布局数据基础设施,加快数据空间等技术研究,推动隐私计算技术应用,打造安
全可信流通环境,为数据要素流通、开发、利用提供支撑隐私计算技术是保障数据安全的关键技术2024全球隐私计算报告
×××:杭州数据交易所"HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom安全多方计算(MPC)·
学术界严谨的安全证明·
数据控制力强·
不依赖特殊硬件·无硬件信任根,国密化方案较为可控·有通用运算能力,但性能相对较低·数据提供方增多性能会下降,一般适用于5方以下联邦学习(FL)·
数据控制力强·
不依赖特殊硬件·无硬件信任根,国密化方案较为可控·
存在部分安全风险·
无通用运算能力·数据提供方增多性能会下降,垂直场景一般建议于10方以下可信执行环境(TEE)·
理论上支持所有算法·
计算精度高,与明文一致·计算性能支持大规模且性能损失小·
随着数据提供方增多不会有明显性能下降·
数据控制力比较弱·
需要相信硬件信任根·
需要额外硬件成本差分隐私(DP)·可证明可衡量的个体隐私保护技术·
与上面所有技术路线可独立叠加·计算精度明文比会有所下降,需结合算法流程设计·
不保护数据使用价值同态加密(HE)·是经典MPC、联邦学习方案重要基石,是目前隐私计算PK性能的关键·通用FHE方案性能挑战大,硬件加速还在发展中零知识证明(ZK)·验证速度快,证明通信量较小·
不泄露任何隐私信息·
能与其他隐私计算技术联合使用·
协议复杂,开发成本高·
大规模计算时证明开销大·
隐私计算是“隐私保护计算”(Privacy-Preserving
Computation的
简
称
,可以
在保证数据提供方不泄露原始数据的前提
下,对数据进行分析计算,有效提取数据
要素价值,保障了数据在产生、存储、计
算、应用、销毁等各个环节中的"可用不
可见"。·
隐私计算以安全多方计算
(SecureMulti-party
Computation,MPC)、联邦学习
(Federated
Learning,FL)、可信执行环境(Trusted
ExecutionEnvironment,TEE)
三大技术路线为代
表,同时发展出了同态加密、差分隐私等
其他密码学技术为辅助的成熟技术体系。隐私计算,通常又被称为隐私保护计算,是“在计算中和计算后保护数据隐私的技术”。-----《联合国隐私保护计算技术手册》
隐私计算技术是保障数据安全的关键技术隐私计算概述2024全球隐私计算报告
×××隐私计算技术路线:
杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom隐私计算作为独立的概念在产学研界得到关注和发展,并融合密码学、人工智能等多学科技术逐渐形成了综合性技术体系。主流技术相继出现:·
1982年姚百万富翁问题·
1987年Goldreich等人提出的安全多方计算协议·
2009年Gentry
提出全同态加密及OMTP
提出首个可信执行环境标准·2016年《中华人民共和国网络安全法》使隐私计算技术不可或缺·
克劳德·香农在20世纪40年代发表的重要论文《保密系统的通信理论》《密码学数学理论》·
1976年Diffie和Hellman
创建了公钥加密体制·
1978年Rivest等人设计的非对称加密算法RSA和首次提出的同态加密概念·
1981年Rabin
首次提出不经意传输协议·
随着数字经济的快速增长,隐私计算技术快速发展,成为促进数据要素跨域流通和应用的核心技术,广泛用于金融、通信、互联网、政务等领域·
相关政策标准不断细化完善,如:2018年欧盟GDPR,2019年联合国《隐私保护计算技术联合国手册》,2020年中国“数据二十条”2022年美国《促进数字隐私技术法案》等·
产业方面,开源项目如FATE,Mesa
开始商用和落地·
隐私计算开始在实际应用中发挥重要作用,技术不断成熟,应用规模将呈现
稳定增长趋势·
隐私计算在技术上将迎来一系列创新迭代,各个主流技术路线持续优化,业
内探索技术融合等方式来突破应用瓶颈
隐私计算技术的四个发展阶段2024全球隐私计算报告
×××稳定期(2025至未来)探索期(1982-2016)萌芽期(1949-1981)增长期(2017-2025):杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通
China
unicom产业需求增加●隐私计算生态包括数据提供方、数据加工方、数据使用方、服
务商与交易所等●企业和个人需求日益增长,有巨大市场空间●开源产品目前是生态中的主流2021-2025年(预计我国隐私计算市场规模120-
1.5145.80%1
44.50%
1.4100-1.280-1S2
.60%G0
0.875.8060.6400.4200.202021
2022基础产品服务(亿元)数据来源:36氪研究院根据公开资料整理
应用扩展、产业链融合●隐私计算在金融、通讯、政务、医疗、保险等产业应用更广泛●产业链从上游的可信硬件,到中游的技术提供方,再到下游的应
用方,已形成较完整的生态金融
53%通信17%·
政策法规支持,产业需求增加·
技术加速创新并与区块链、人工智能等新兴技术融合·
相关技术标准和产业规范逐步完善、产业链完整、应用扩展
隐私计算技术市场前景广阔20232024E2025E数据运营《亿元)
-
-
增速(
%
)数据来源:亿欧,国泰君安,36氪研究院整理2024全球隐私计算报告圣鉴盖:杭州数据交易所HANGZHOU
DATA
EXCHANGE×××数据要素社政务13%中国联通
China
unicom·
2023年人工智能相关法规25项·欧盟Al法案
(EUAlAct,2024):全球首个全面的Al
法律框架,基于风险分类对高风
险Al系统设置了严格的监管·
美
国Al权利法案
(AIBill
of
Rights):防
止Al系统中的歧视,确保算法透明性和隐私保
护·中
国AI监管法案:加强对Al技术的监管,特
别是涉及国家安全风险的应用,如生物识别
和监控技术。·
加拿大人工智能和数据法案
(AIDA):
重
点
强调数据隐私和Al的伦理使用,如金融和保险
领域·其他国家和地区:南韩《SouthKorea's
AlFramework
Act》;巴西《Brazil's
AlRegulationBill》;印
度
《DigitalIndiaAct》·
2023年,具有开放许可证的日益高效的基础模型呈爆炸式增长,比2022年增加一倍以上,
新模型如:LlaMa、StableLM、Falcon、Mistral、LlaMa2、DeepFloyd和
Stable
Diffusion等·
以
ChatGPT为代表的新一代生成式人工智能
问世,在全球范围大火,改变了人工智能(Al)
技术与应用的发展轨迹,加速了人与
Al的互动,是人工智能发展史上的新里程碑
·GPT-4、Gemini、Gemini
Ultra和Claude3等先进模型展示出强大的多模态能力,综合性能优越·
麦肯锡2024年调查发现,在过去六年中,全球的Al采用率2019年之前一直在50%以下,
2023年跃升至72%;生成式Al采用率从2023年的33%增加到2024年的65%,几乎翻
了一倍。超过60%的中国企业计划在未来1-
2年内部署生成式Al2023年对生成式Al的投资激增,达到252亿
美元,比2022年增长近八倍Aladoptionworldwide
has
increaseddramatically
inthe
pastyear,after
yearsoflittle
meaningfulchange.OrganizationsthathaveadoptedAlinat
least
1
businessfunction,%of
respondents100-
1002023-2024年间,Al
在技术创新、政策法规与应用投资等方面均取得较大进展。目前60个国家拥有A|战略,预计生成式Al每年将为全球经济贡献4.4万亿美元。
人工智能技术的发展332020201720182019202020212022202320249
应用和投资规模扩大
政策法规支持2024全球隐私计算报告
×××
技术创新:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom5650Use
of
generative
AI806055582080Al大模型在创造巨大价值的同时,可能带来明文训练数据被泄露或个人信息被滥用等安全和隐私风险,隐私计算技术通过提供安全计算环境,可以有效降低这些风险。
产业界进展·
2019年,微众银行人工智能团队发起了全球首个联邦学习工业级开源框架FATE,可以让企业和机构在保护数据安全和数据隐私的前提下进行数据协作,核心功能包括联邦特征工程,联邦统计,联邦机器学习,联邦深度学习,联邦迁移学习等·2024年,蚂蚁集团发布“隐语Cloud”
大模型密态计算平台,提高大模型密态托管和大模型密态推理服务
未来发展方向·
增强的模型安全性:隐私计算技术可以增强A|模型的安全性,防止模型被恶意攻击或篡改。例如,使用同态加密技术可以在加密状态下对数据进行处理,确保模型训练和预测过程的安全性,使用联邦学习、差分隐私等技术可以在不暴露原始数据的情况下训练模型·
技术融合与创新:
隐私计算与A
技术的融合将催生新的技术路线和创新应用。例如,结合区块链技术可创建更透明、可追溯的数据处理流程,促进跨域数
据合作·
性能优化:当前隐私计算和A
技术面临的一个挑战是性能问题,尤其是在处理大规模数据时。随着算法和硬件的优化,隐私计算和A技术的性能将有望得
到显著提升,从而更好地支持Al应
用·
产业定制化解决方案:不同产业对隐私计算和A
技术的需求不同。未来将出现更多针对特定产业需求的定制化解决方案,如医疗健康、金融风控等专用隐
私平台·
Al
伦理和合规性:通过确保数据处理过程符合隐私保护要求,隐私计算可以帮助A
技术更好地适应法律法规,解决A
应用中的伦理和合规性问题
隐私计算与人工智能的技术融合2024全球隐私计算报告
×××:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom2024隐私计算产业图谱
圣贺鉴盖》Part
TW第二章2024全球隐私计算报告
×××:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicomAIX
科太OpenAI新精口日部senseri0塑BaseBitai°翼
方
健
数
崴
科
技inpherCape
Privacy数牍sudo二
RYPTICL⁷aS2024全球隐私计算报告
×××通信通用硬件服务商HUAWEI
ARMinspur
浪潮
intel.AMDA原语科技PRIMITIVE
HUBTONGTAI同态科技SEAGLYSPrimiHubpiranha政务上期放据集四有限公司门]数字浙江交易所北京国际大数据交易所BeijingMernatianat
Data
Exchange贵阳大数据交易所
2024隐私计算图谱专精服务商凡蓝象智联
洞见科技经
敲1CJLO作
nlsnaHUAWEIMicrosoftZAMASECRETFLOW隐语EzPC蚂蚁集团
ANTGROUPhlByieDance字节跳动金智塔科技让
数
智
世
界
更
可
信融
安
数
科
cDnG3nDIGITeCH富数PU²开源服务商FudanMPLMP-SPDZ金融Eank
中国光大银行d
溥发银行6交通银行中国电信CHINATELECOM世
界
触
手
可
及隐私计算垂直类服务商隐私计算融合类服务商硬件服务商融
安
数
科hGlTEC锌
裁
科
技Tencent腾讯
Oogle中
圣
在
结水母智能U综合服务商场景应用三6O趣链科技HYPER
CHAIN蚂蚁集团ANTGROUPBai山
百度联通数科necmbH中国联通
China
unicomFATE软硬一体机服务商APar8diqm算
国
它
饵杭州数据交易所HANGZHOUDATA
EXCHANGE杭州数据交易所HANGZHOUDATA
EXCHANGE数据要素社中国联通China
unicom中国农业银行rm*Ko*c上
取
题招商银行信息安全中国工商银行区块链医疗hl:i应用场景国外ZamaInpherEaglysCape
PrivacyPyte.aiCryptolabsConcrete,Concrete-MLSecret
ComputingR,SecurAl隐私增强技术,MPC和安全多方数据分析平台保密计算技术,API加密状态下的机器学习工具集安全多方计算(MPC),区块链安全金融、医疗、区块
链金融、医疗金融、医疗医疗、金融医疗、金融金融、区块链提供隐私保护应用程序开发,支持机器学习和其他计算任务安全计算,跨组织数据孤岛协作,大语言模型推理
数据安全共享和协作数据去识别化和重新识别,安全文档处理加密状态下训练和推理模型多方协作计算,智能合约安全杭州金智塔科技有限公司国
内
浙江蚂蚁密算科技有限公司神州融安数字科技(北京)有
限公司隐私计算平台、数据合规流通平台、容器计算平台、
数据资产登记平台等以密态计算技术创新应用及开源社区共建赋能可信数据要素流通建设政务、金融、零售、
制造业政务、金融、医疗、
互联网政公共数据授权运营、智能风控、反欺诈、智能营销、
智能选址、智能制造等公共数据开放、密态医疗大模型、密态大模型知识库、
智能风控、车险定价等融安隐私计算平台、融安隐私计算一体机
保险、公安、营销医保智能风控业务、银行营销用户画像及标签等隐私计算垂类服务商正在快速成长,国外企业专注技术研发,在技术层面取得较多成果;国内企业技术研发和商业化落地协同发展。国内外隐私计算垂类服务商分析2024全球隐私计算报告
×××数据要素社中国联通China
unicom差分隐私TensorFlow
Privacy
框架(谷歌)提供用于训练差分隐私模
型的工具。提供跟踪和管理隐私预算
功
能
。Privacy-PreservingData
Analytics(Uber)利
用差分隐私与匿名化技术。帮助公司在处理用户乘车数
据时保护隐私,同时进行交
通流量和其他分析。联邦学习FATE联邦学习框
架(微众)支持多种机器学习模型联
邦
建
模
。社区多达570家企业参加(2021年)
但代码性能低(Python)。JaxFed计算库(谷歌)通过提供相关组件提高编写
和部署联邦学习算法效率。支持TPU、GPU等硬件加速。同态加密②
l
)态加密首个开源实现全同态加密
算法
(BGV
算法)提供
密文自举代码实现。但使
用成本高,代码缺乏维护。O
t(
态)计提供密文自举代码实现(TFHE
算法)。前端兼容科学计算库Numpy。实
现
零成本编写同态应用。ZAMAe全同算框架ConcreIBMb全同库HE利用MPC
技术完成用户浏览页面广告位的隐私保
护集合竞价。隐语SecretFlow安全计算框架(蚂蚁)统一前端编写成本低加入
中间层解耦前后端易于扩
展新协议。可信执行环境目
O(高易用性,只需要少量修改程序源码即可在TEE上
执行
。高性能,支持多TEE任务
同时高效执行。)系统蚂蚁TEE华&um清ccl
国内外隐私计算产品概况自研TEE,
高性能密态计算能力,支持主流全同态加密算法与52种全同态加密算子的硬
件加速,比软件性能提升200
倍以上。"翠湖"安全处理器和全同态协处理器(中
关村实验室)隐私保护广告位集
合竞价平台
(Meta)2024全球隐私计算报告
×××安全多方计算:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社目目中国联通China
unicom■
开源促进了隐私计算的快速发展开源技术可以有效促进隐私计算技术的发展、普及及应用推广,开源项目降低了隐私计算产业门槛,从而进一步促进产业的发展与繁荣。■
开源提升了隐私计算平台的安全性在隐私计算领域,安全性是核心关切。开源社区的代码透明、审查公开,用户可以检验和监督平台的安全性。这种开放性有助于及时发现并解决产品中的潜在安全问题。国内外开源隐私计算技术与应用不断涌现,
包括微软、蚂蚁集团、原语科技、UC伯克利、复旦大学等国内外企业与高校推出多个隐私计算开源项目,进一步促进隐私计算技术普及、应
用和发展。SECRETFLOW隐语由蚂蚁集团研发的开源可信隐私计算框架,以安全、中立、易用为核心设计理念,用一套通用框架支持了包括安全多
方计算
(MPC)、
联邦学习
(FL)、同态加密
(HE)、可
信执行环境
(TEE)
以及差分隐私
(DP)
在内的多种主流
隐私计算技术,是国内生态影响力最大的开源社区,技术
方案最为齐全的隐私计算框架之一。uiepiranha由UC
Berkley
Rise实验室维护安全多方
学习框架,主要通过GPU
对本地密文计
算进行加速,提高本地运算效率,是隐私
计算领域中使用GPU
加速本地密文计算
的先行者。EzPC由微软开源的安全多方学习框架,针对安
全推理场景提供了相对完备的安全级别定
义,相关研究工作自成一体,是安全多方
学习框架中安全推理场景的标杆之一。Zama由Zama公司开发的Concrete
和Concrete-ML
框架,是由Rust编写的FHE
框架,旨在让密码学家和开发人员能
够以最小的开销创建隐私保护应用程序。FudenMPL由复旦大学Daslab实验室韩伟力教授及
其学生独立研发的开源安全多方学习平
台,是基于BGW
协议的开源安全多方学
习框架。FATE由微众银行开源的联邦学习开源项目,提供了一种基于数据隐私保护的安全计算框
架,为机器学习、深度学习、迁移学习算
法提供强有力的安全计算支持。MP-SPDZ由CSIRO
Data61
Engineering
&Design
机构Marcel
Keller独立维护,支
持安全多方计算(MPC)
及同态加密(HE)
隐私计算技术。由原语科技研发的开源可信隐私计算平台,该平台融合了安全多
方计算(MPC)、
联邦学习(FL)、
同态加密
(HE)、
可
信执行环境
(TEE)等多种隐私
计算技术。
隐私计算技术开源情况国外开源隐私计算技术国内开源隐私计算技术2024全球隐私计算报告
×××数据要素社:杭州数据交易所HANGZHOU
DATA
EXCHANGE中国联通China
unicom圣鉴盖2024全球隐私计算报告
×××隐私计算技术演进和融合
圣贺鉴盖:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom
隐私计算技术演进与融合-总体进展2023-2024年各类隐私计算论文发表数量
2023-2024年各类隐私计算论文占比1601402024全球隐私计算报告
×××数据来源(安全和密码学顶级会议):·
IEEES&P2023、2024USENIXSecurity2023、2024·ACM
CCS
2023、2024·
NDSS
2023、2024·
CRYPTO
2023、2024·EUROCRYPT
2023、2024●
ASIACRYPT
2023技术分类:MPC:
Secure
Multi-Party
Computation
安全多方计算·
ZKP:Zero-KnowledgeProof
零知识证明FHE:
FullyHomomorphicEncryption全同态加密·
DP:DifferentialPrivacy差分隐
私·TEE:TrustedExecutionEnvironment
可信执行环境·
PSI:
PrivateSet
Intersection隐
私集合求交·PIR:
Private
InformationRetrieval
隐私信息查询806040200MPC
ZKPPSI&PIRFHEDP■2024年发表数量■2023年发表数量TEE6%TEEDP
12%ZKP28%MPC33%PSI&PIR11%FHE10%说
明
:MPC中除去PSI、PIR相关工作
说
明
:MPC
中除去PSI、PIR相关工作圣鉴盖
数据要素社:杭州数据交易所HANGZHOU
DATA
EXCHANGEunic联120100····
门限加密/签名算法、混淆算法是MPC
中经典的研究课题。门限方案允许一组参与方分享密钥,超过t个参与方能够对消息进行解密/签名;混淆算法起源于经典的姚氏混淆电路。·关于Schnorr、BLS、BBS+、ECDSA
等签名算法的研究数量较多。关注点包括:签名的轮数复杂度、抵御适应性敌手的能力、底层假设、在实际场景下的健壮性等。·
关于混淆算法的研究聚焦于:算法的性能、算术电路/算术-布尔混合电路的混淆算法。·MPC的论文也关注一些特殊场景下的有趣问题,包括:相关随机数的生成、非平衡场景MPC、可
追
责
MPC。·相关随机数通过离线阶段的预处理,使协议的在线阶段取得巨大的性能提升。·非平衡场景有:星型网络拓扑场景、算力非平衡场景、参与方权重不同场景等。·
可
追
责MPC协议能够在运行失败时识别出作恶的参与方,大大增加参与方的作恶成本。·
理论界,关于MPC
协议的轮数复杂度(或非交互式计算)、通信复杂度以及计算复杂度也受到了广泛
的
研
究
。·
对于不同的目标/模型,研究者证明复杂度下界或设计线性/亚线性复杂度的高效协议。·
一些反直觉的结论:例如,Lin
等人通过对输入的预处理,使得参与方在承诺、零知识证明、MPC
协议中甚至不需要读取整个输入,达到亚线性的在线时间复杂度
(Doubly
Efficient
Cryptography:
Commitments,Arguments
and
RAM
MPC)。·MPC
的在各场景下的应用以及高效实现,同样受到业界人员的广泛关注。·
研究最多的是MPC在机器学习/深度学习中的应用,其他的例子包括:使用MPC进行时间序列分析、认证、网络服务、密钥管理、动态数据库分析等等。·MPC
落地实现方面,研究包括:(布尔-算术-姚)混合模式MPC、
有协助者的MPC、MPC
编译器等。
其
中
,Silph
是一个能自动将高级程序语言程序编译成混合MPC协议的框架
(Silph:A
Framework
forScalable
and
Accurate
Generation
of
Hybrid
MPC
Protocols)。统计了2023与2024年发表在四大安全会议
(CCS,USENIX
Security,IEEE
S&P,NDSS)和三大密码学会议
(CRYPTO,EUROCRYPT,ASIACRYPT)的
关
于MPC的论文,共144篇。截至本报告写作之时,ASIACRYPT
2024的论文尚未公布,因此未加入统计。6%3%5%4%9%■相关随机数■轮数复杂度/非交互
■应用4%13%4%
9%
(门限)加密/签名
■混淆算法有些论文同时属于多个类别。18%25%■非平衡场景■通信复杂度
■实现■可追责性■计算复杂度
■其他安全多方计算MPC
研究动态
MPC论文分类统计
各研究方向进展2024全球隐私计算报告
×××:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom技术分类与论文数量构建11%攻击36%应用25%防御28%·
技术分类:攻击、防御、应用、构建;
·
安全类顶级会议相关论文总数28篇。可信执行环境
(Trusted
Execution
Environment,TEE)是软硬件协同构成的隔离环境,可以保护敏感数据并执行隐私计算。常用的TEE技术
各研究方向进展工
MyTEE通过制作页表进行内存隔离、过滤DMA
数据包以及启用安全IO,
在嵌入式设备新型可信执行环
上实现了可信执行环境境开发EnigMap
通过在外部存储和飞地间建立隐蔽映射,实现了大规模数据的安全高效处理Dörre
等人利用不完全可信的可信执行环境构建了高效隐私集合求交协议,其中可信执行环境可能受到侧信道攻击,或是将信息泄露给硬件制造商Gramine-TDX
基于Gramine项目和IntelTDX,专门为机密虚拟机设计了轻量级操作系统Schaik等人的综述性文章发现,现有的IntelSGX更新策略无法帮助开发人员即时修复安全漏洞多篇文章利用数据竞争攻击、指令计数攻击、恶意#VC
中断、总线故障攻击等攻击方式,成功攻破了现有的商用可信执行环境
可信执行环境研究动态·IntelSGX、IntelTDX、AMDSEV和ARMTrustZoneAEX-Notify
解决方案已被纳入IntelSGX修订版规范
SymGX发现多个零日漏洞,并获开发者确认迹防御和漏洞探测
手段品隐私计算和可信
应用开发圣鉴盖中国联通China
unicom2024全球隐私计算报告潜在安全隐患:杭州数据交易所HANGZHOU
DATA
EXCHANGE×××数据要素社ZK
数据库。零知识基本数据库(ZK-EDB)使得证明者能够对数据库D
(其中包含
(x,v)对的键值)进行承诺,并随后为“发送与x相关联的值D(x)”的查询提供令人信服的答案,而不
会泄露任何额外的知识。其技术贡献有两方面。首先,引入了一种支持集合合并操作的新型
零知识集(ZKS),
并给出了一个基于未知阶群的实际构造。其次,开发了一种将布尔电路查询
转换为相关集合合并操作查询的变换。ZK隐私保护。在区块链研究中,实现隐私保护的审计而不牺牲系统的安全性和可信性是一个
关键的研究领域。zkCross,这是一种新颖的双层跨链架构,配备了三种跨链协议,以实现隐
私保护的跨链审计。其中,两个协议分别用于隐私保护的跨链转账和交换,第三个协议则是
高效的跨链审计协议。这些协议基于坚实的跨链方案,以保证隐私保护和审计效率。ZK
投票。为了保证电子投票中没有选票被添加、遗漏或更改,使用零知识证明来提供公开可验证的证明,证明输出的选票是输入选票的重新加密的排列。通过Coq
证明助手对Bayer-Groth
洗牌证明的安全性进行了机器检查。随后提取了验证器(软件),用于检查Bayer-Groth
实现生成的证明,并使用该验证器对正在为瑞士国家选举开发的瑞士邮政电子投票系统的证明进行检查。ZK
身份验证。对于许多用户来说,基于私钥的钱包是进入区块链的主要方式。常见的钱包认证方法可能会显得繁琐。这种用户入门的难度显著阻碍了区块链应用的普及。zkLogin,
这
是一种新颖的技术,利用由流行平台(如启用OpenlD
Connect的平台,例如Google、Facebook
等)发行的身份令牌来认证交易。zkLogin
提供了强大的安全性和隐私保障。然
而,与之前相关的工作不同,zkLogin
避免了额外的受信方(如受信硬件或预言机)来提供其
安全保障。zkLogin
利用零知识证明确保用户的链下身份和链上身份之间的链接被隐藏,甚至
对平台本身也是不可见的。zkLogin核心的签名方案使得在区块链之外进行许多重要应用成
为可能。ZKVM
(零知识证明虚拟机)。使用高级语言编写的程序可以自动生成零知识证明。D
ora是专为ZKVM设计的高效零知识证明协议,它很好的平衡了指令数量和指令复杂度,使得向处
理器添加指令的开销几乎为零。另一个新奇的ZKVM
实现途径是,使用定制的零知识证明系
统,证明在Satisfiability
ModuloTheories(SMT)范式下的各种等式,如布尔逻辑。FoldingScheme。Nova
是为IVC(incrementalverifiablecomputation)
专门设计的零
知识证明方案。其本质是一种高效的算术化表示方法,通过对约束系统的不断压缩,只需验
证一次,大大减少了开销。SuperNova处理了每次调用函数不同时的情况,同时运行多个folding
实例,根据调用的不同,更新相对应的实例。而HyperNova
适应于最新的算术约束系
统CSS(customizable
constraint
system),并使用了名为CycleFold的技术,使得证明方
案能在一对循环曲线上进行高效的递归。Post
Quantum。后量子安全的零知识证明方案一直是研究的前沿方向,基于格的零知识证
明方案近两年在实用性上得到了较大的突破。其中,LaBRADOR
证明系统通过基于格的递归
摊销R1CS证明系统,实现了证明大小优化,其证明大小仅由递归的最后一步决定,与初始R1CS实例的大小无关。Greyhound是第一个基于标准的格假设的多项式承诺方案,当多项式
的度高时,其evaluation
证明大小较小,达到了实用的程度。分布式。减少零知识证明高昂的证明开销、将证明过程并行或者分布式是现实的需求。Pianist是一个基于Plonk的高效分布式零知识证明协议,为并行电路和通用电路都设计了并行化方法。该框架包含了一个分布式的多项式IOP协议和一个可分布式计算的多项式承诺方案。
Collaborative零知识证明系统中,证明者会分发证明任务给多个子证明者,其他证明者会协
作生成证明。ZKSaas是一个典型代表,其证明者可以通过秘密分享技术,让一组其他证明者
通过安全多方计算的方式,安全生成证明,而不会泄露隐私信息。零知识证明(zero-knowledge
proof,ZKP)是一种密码学技术,其中证明者能够向验证者证明某一陈述为真,但在此过程中,除了该陈述的真实性外,验证者无法获得任何额外的信息。理论进展
应用方面进展
零知识证明研究动态2024全球隐私计算报告
×××:
杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom·PSI,
即隐私集合求交,要求两方或多方在不泄露额外信息的前提下得到集合的交集。大多数文献的研究聚焦于标准PSI,关注点包括安全性、通信效率、计算效率。·
安
全
性
方
面
,Dörre
等人提出能够在含有侧信道的可信执行环境(TEE)
下安全运行的PSI协议。·
通信效率方面,Bienstock
等人通过对不经意键值存储(OKVS)进行改进,优化了键值对编码效率。在计算效率上,Kerschbaum
等人提出在离线阶段执行昂贵操作的比较协议,可用于PSI协议并提高响应速度。·
除
标
准PSI外,许多文献关注PSI的变体,例如电路PSI,模
糊PSI,
阈
值PSI,
结构感知PSI。·
电
路PSI的输出是集合交集的秘密分享,允许参与方基于集合交集做进一步的计算,而交集本身对两方保密。Hao
等
人提出了不经意键值检索
(OKVR),并据此构建了高效的不平衡电路PSI方案。·模糊PSI将“距离接近”的两个元素视作相同元素匹配。Chakraborti等人提出DA-PSI
返回在距离阈值内的匹配。·阈值PSI仅在交集大小高于阈值时获得交集,Liu等人在阈值PSI的基础上提出了多方概率阈值PSI,以较小概率的不良事件为代价,换取了协议的高效性和可扩展性。·
结
构
感
知PSI(sa-PSI)由Garimella等人在2022年提出,其中一方持有的集合为公开的结构,近年来Garimella
等人又对sa-PSI在抗恶意性和计算开销等方面进行了优化。·PIR,
即隐私信息检索,指用户向服务器提交查询请求时,在用户查询隐私信息不被泄漏的条件下完成查询。多数文献聚焦于PIR在效率上的优化,关注点包括:底层假设、预处理、计算外包。·
底层假设方面,Lazzaretti等人提出了基于DDH
假设的双服务器PIR协议,在性能上优于前人基于LWE的构造。·
许多研究通过使用预处理方式,增加查询的响应速度。例如,Ghoshal
等人分别在双服务器和单服务器上提出了新
的预处理PIR方案,有效降低了在线带宽。·
此
外
,Li等人通过将计算中昂贵的部分“外包”给服务器,同样对PIR查询的效率进行了优化。·
一些文献则更加关注协议的抗恶意性与隐私性。例
如
,Park等人提出了容忍至多两个恶意节点的高性能多服务器PIR方案;Dietz等人提出了抗恶意的、允许查询中途终止的PIR协议。·
一些文献对批量PIR进行了研究。Mughees
等人提出了计算和通信效率都较高的批量PIR协
议
,Liu等人提出了支持
批量查询的PIR协议PIRANA,且该协议对数据库频繁更新的场景更加友好。··PSI类型
文献数标准PSI
11电路PSI
2模糊PSI
2阈值PSI
1结构感知PSI
2PIR研究方向
文献数效率优化
16抗恶意性
4隐私性
2批量PIR
2其它
4
PSI&PSU&PIR研究动态此外,许多研究关注不平衡场景——这在实际应用中更为常见。例如,Sun
等人对个多客户端与服务器分别独立执
行PSI协议的场景进行了优化,使每个客户端的执行协议的复杂度与自身集合大小呈线性关系。·
共有5篇文献对PSU
进行研究,主要聚焦于新的PSU
协议框架,以及对非平衡PSU的优化。根据PIR
研究方向统计文献数据
PSI类型统计文献数2024全球隐私计算报告
×××u
,
杭
州
数
据
交
早
所HANGZHOU
DAA
EXCHANGE数据要素社中国联通China
unicom优化Bootstrapping
提升FHE的计算效率·Bootstrapping作为FHE
中的关键操作,用于恢复加密
数据的精度·通过优化盲旋转操作、使用小型评估密钥来优化FHEW的Bootstrapping过程·基于SIMD技术的BatchBootstrapping框架将FHE乘
法操作的需求减少到常数级别·
对于经典FHE
加密方案BGV、BFV、CKKS
的Bootstrapping
过程也有不同方式的优化FHE的标准化·
统一的中间表示方法HEIR、新型的明文编码方案
VERITAS、专为FHE设计的编译器HECOFHE
的安全性分析·
精
确FHE
方案(如BFV、BGV
和TFHE)
也容易受到
CPAD攻
击·
提出了一种改进的FHE
方案,通过引入可验证性机制,超越了传统IND-CCA1
安全性模型·
提
出了PELTA
机制,通过零知识证明和一系列的验证机制抵御恶意参与者的攻击优化同态运算的速度提升FHE的计算效率·
对密钥分解、多项式计算、矩阵向量乘法进行优化…
·
研究者们提出了一种基于LWE
问题的简化门限FHE
加密方案FHE
在机器学习领域的应用·
在深度神经网络、在卷积神经网络、算法方面提高了
计算效率·
神经网络推理方面提出了一种创新的方法NeuJeans,通过联合优化卷积操作和Bootstrapping,解决了隐私保护神经网络推理中的效率问题。FHE的其他应用·
转
密
、PSU、
数据存储与检索·加速FHE运算的硬件加速器、高效可扩展的数据库系统、
利用同态加密的单服务器PIR方案.·
量子全同态方案的安全性和实用性产生了重要的改进品
FHE
论文分类统计Bootstrapping
12算法改进
11安全性分析
4标准化研究
3机器学习
5其他应用
9统计了2023与2024年发表在四大安全会议(CCS,USENIX
Security,IEEE
S&P,NDSS)
和三大密码学会议
(CRYPTO,EUROCRYPT,ASIACRYPT)的关于MPC
的论文,共44篇。截至本报告写作之时,ASIACRYPT2024的论文尚未公布,故未加入统计。
圣鉴盖
全同态加密(FHE)
研究动态2024全球隐私计算报告
×××三
各研究方向进展:杭州数据交易所"HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom·
针对差分隐私的定义,可提出新的模型,并定义新的差分隐私算法,使其满足差分隐私定义,且有某些方面的改进与提升。·Ji
等人提出的R1MSG机制,通过使用一种特殊的低秩协方差矩阵,显著降低了精度损失,且能生成更稳定的噪声。·
差分隐私的应用或是差分隐私与其他隐私计算技术结合后的应用,得到了研究者广泛关注。·
差分隐私与零知识证明:Biswas
等人提出了一种可验证的差分隐私计数查询机制,要求发布方生成零知识证明,确保输出既符合差分隐私,同时又能保证不暴露任何随机性信息。·
差分隐私与安全多方计算:Wei
等人将差分隐私用于安全多方计算,可以较快地生成安全参数较高的离散高斯样本。·差分隐私与联邦学习:跨机构联邦学习中实现记录级个性化差分隐私的rPDP-FL
框
架
、PrivateFL
方法改进了差分隐私用于联邦学习时的精度下降。·差分隐私与机器学习:评估不同的差分隐私算法在图像分类任务中的效用和抵御成员推理攻击的能力的评估工具DPMLBench、模型在面对差分隐私引入的噪声时能够保持更好的性能的新技术
DPAdapter,还有一些差分隐私用于机器学习的新算法等。·
其他:差分隐私应用于侧信道的研究、差分隐私与其他数学模型结合等。·
有部分研究对经典的DP-SGD
算法进行了更深入的分析,比如“数据依赖”分析、验证该算法的信息泄露、研究该算法梯度裁剪引入的偏差等。·
也有研究工作提出了更好的算法,比如Du
等人提出了一种通过在语言模型前向传播中直接扰动嵌入矩阵的差分隐私方法DP-Forward,与
DP-SGD
相比减少了计算和存储成本;Feng
等人提出了
Spectral-DP
算法,结合频域梯度扰动和频谱滤波,通过降低噪声规模以提高效用。·
差分隐私理论方面的研究也有不少进展:·在差分隐私的预算方面,近两年的研究工作研究了如何解决预算管理不足、如何有效分配预算等问题。其他工作研究了差分隐私中最优随机化的构建、错误界限改进、差分盲目性改进、审批机
制改进、差分隐私和自适应数据在空间复杂度上的差异分析等问题。主要集中在用户级差分隐私和本地差分隐私。·
用户级差分隐私:Dong等人研究了针对用户级差分隐
私的持续观察机制,这些机制无需对数据进行先验限
制,并在效用上接近静态情况的最优值。·
本地差分隐私:基于链接的局部差分隐私方法,可以
保护图中链接的隐私;针对本地差分隐私频繁项集挖
掘协议的数据投毒攻击;首个在本地差分隐私下进行
数据挖掘任务的方法LDP-RM;优化局部差分隐私协
议中的频率估计问题的卷积框架等。DP
论文分类
统计※研究热点
差分隐私DP
研究动态DP应用,9本地DP,6DP
理论研究,
DP-SGD
相13
关研究,52024全球隐私计算报告
×××各研究
方向
进展DP结合其他
技术,4:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社新DP
定义,4中国联通China
unicom其他,7·
联邦学习中的分布式模型更新和聚合协议旨在确保客户端更新的隐私,同时抵御恶意客户端的攻击。现有
方法如安全聚合协议、基于概率的检测机制提供了初步的解决方案,但面临通信成本和计算效率的挑战。·例
如
,Ma
等人提出
Flamingo
协议,引入轻量级丢弃容错机制,显著提高了训练效率,同时保持模型准
确
性
。Rathee
等人提出了ELSA安全聚合协议,专注于应对恶意行为者的存在,并通过创新的分布式信任
机制保证了客户端更新的隐私和防御恶意客户端。·
联邦学习的鲁棒性设计旨在防御恶意更新和各种对抗性攻击。现有研究提出了基于认证、评分和排名的机
制来提高FL模型的稳健性。·
例
如Xie等人探讨了差分隐私与中毒攻击认证鲁棒性之间的内在联系。通过用户级和实例级差分隐私的形
式分析,研究提供了两种鲁棒性认证标准,并展示了如何在提高隐私保护的同时增强认证攻击的无效性。
Fang
等人提出BALANCE算法,并通过理论和实验结果证明了该算法在面对中毒攻击时的有效性。·
个性化联邦学习
(PFL)
允许每个客户端根据自身的局部数据分布定制模型,提升个体性能。然而,这种
个性化也为潜在攻击者提供了新的攻击向量,特别是后门攻击等复杂威胁。·
例
如
,Lyu
等人探讨了个性化FL中的潜在后门攻击,提出了PFedBA
攻击策略,通过优化触发器生成过程
有效规避现有防御机制。Xu
等人提出ACE攻击,展示了恶意客户端如何通过操控本地模型参数提升自身
的贡献评估,并探索了六种防御措施,结果显示这些防御不足以阻止ACE
攻击。·
联邦学习的隐私保护是其主要优势之一,差分隐私(DP)技术已经被广泛应用于保障用户数据的安全。
然而,DP
带来的精度损失和对异质性数据的影响仍是待解决的挑战·
例
如,Yang
等人通过个性化数据转换减少了差分隐私引入的异质性,从而提高联邦学习模型的精度。Jiang等人提出了标签分布扰动机制,实现个体隐私和标签分布隐私的双重保护·
联邦学习容易受到中毒攻击和后门攻击威胁,攻击者可以通过恶意客户端修改模型更新。现有的防御机制主要通过检测恶意更新、限制更新空间或引入认证机制来提高鲁棒性·
例
如MESAS、RoFL、FedVal、FreqFed、CrowdGuard、AutoAdapt、Backdoorlndicator、3DFed、BayBFed、FedRecover
等多种防御框架被提出,被用于攻击检测、自适应工具防御、后门攻击等各种复
杂场景之下的攻击防御。03个性化联邦学习和定制防御,
分布式模型更6
联邦学习鲁棒新和安全聚合性和稳健性,2
协议,4
04隐私保护与差分隐私技术,3其它,13
中毒攻击和后门攻击的防御,
12*统计了2023与2024年发表在四大安全会议
(CCS,USENIXSecurity,IEEE
S&P,NDSS)上关于FL的论文,共36篇。截至本
报告写作之时,ASIACRYPT
2024的论文尚未公布,因此未加入
统计。有些论文同时属于多个类别,分类时存在重叠。
联邦学习FL研究动态FL论文分类统计
各研究方向进展2024全球隐私计算报告
×××数据要素社0102繁赞备盖:杭州数据交易所HANGZHOU
DATA
EXCHANGE中国联通
China
unicom05FL的应用场景正在不断扩大,研究者正致力于开发更加智能和自适应的防御机制来应对复杂的攻击。去中心化和个性化隐私保护技术、激励机制、分布式架构优化等也将成为未来研究的重点,发展趋势如下:隐私保护技术的进一步发展
增强攻击防御能力
高效、安全的聚合协议
个性化与鲁棒性的平衡随着FL应用场景的扩大,如何在大规模分布式系统中高效地进行
安全聚合将成为一个关键问题。
未来的研究可能会探索更加轻量
化且鲁棒的协议设计。未来的FL系统需要更智能的差分隐私应用,以在不显著影响模型
性能的前提下提高隐私保护的能
力。个性化隐私保护方案将是一
个重要的发展方向。个性化模型训练与全局鲁棒性的平衡将是未来的研究重点。个性
化技术将继续发展,尤其是在保
护安全的同时提高本地模型的性
能。FL中的攻击防御需要应对越来越复杂的自适应攻击,特别是针对后门攻击和中毒攻击。新的防御
策略应具备动态适应不同攻击模
式的能力。
联邦学习未来发展趋势2024全球隐私计算报告
×××:杭州数据交易所"HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom》Part
Fo第四章隐私计算产业应用分析
2024全球隐私计算报告
×××:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom圣贺鉴盖隐私计算产业资本热度有所降低,但随着应用加深,新的增长机会不断涌现,市场规模仍会持续增长。隐私计算市场规模/招标数量
趋势分析
团
增长机会隐私计算技术与前沿技术不断融合,隐私计算技术与AI、云计算、区块链等技术深
度融合,多种技术融合的应用解决方案已
逐渐成为各场景的主要技术应用模式,持
续提高数据安全性和隐私性。数据要素流通促进隐私计算不断发展,随
着各地公共数据授权运营机制逐渐完善,
各方数据用户意识到隐私计算成为必需投
入的内容。隐私计算应用场景不断深化,隐私计算在金融、医疗、政务、人工智能等业务场景
不断深化,各个业务场景均需多方数据的
可信流通,实现数据价值释放。受整体经济环境,隐私计算产业资本热度有所降低,资本逐渐回归理性。随着隐私计算技术成熟度和产业认知度逐
渐提升,隐私计算产业仍处于快速增长阶
段,预计市场规模将进一步扩大。
隐私计算产业市场分析16014012010080604020020212024全球隐私计算报告
×××<←250200150100500数据来源:中国信通院、2023全球隐私计算报告市场规模一招标项目数:杭州数据交易所HANGZHOU
DATA
EXCHANGE数据要素社中国联通China
unicom亿元/人民币2025e2023·隐私成为云端智能计算的核心竞争力在日益重视隐私的时代,Private
Cloud
Compute提供了一种新模式,
确保在享受云计算带来的强大智能时,用户的隐私和数据安全不会受到
侵犯。这一模式使Apple
成为了产业内隐私保护领域的标杆。·打破“隐私与智能化无法兼得”的认知传统上,用户常常认为要想获得智能化的服务,必须牺牲部分隐私,而
Apple
的Private
Cloud
Compute平台通过技术创新打破了这种矛盾,
使得用户能够在不损害隐私的前提下,享受与日俱增的智能服务。·推动产业隐私保护标准提升Private
Cloud
Compute的推出推动了云计算和Al产业的隐私保护标
准,促使更多公司关注用户数据隐私问题,进一步推动了全球数据隐
私保护法律法规的落实。·适应AI时代的数据需求Al需要大量数据进行训练和推理,而如何在不泄露隐私的前提下处理这
些数据是一个巨大挑战。Private
Cloud
Compute提供了一个新的解
决方案,允许Al技术继续进步的同时,不必担心用户隐私泄露。Private
Cloud
Compute是2024年Apple
推出的云计算平台,旨在提供强大的计算能力,同时确保用户数据的隐私和安全。这个平台标志着Apple在隐私保护领域的进一步创新。该平台是Apple
基于其强大的隐私保护传统,构建的一个全新云计算架构。它将iPhone
等本地设备上已有的隐私保
护措施扩展到了云端计算环境中。该平台的设计理念是通过确保数据隐私,使用户可以在不暴露个人数据的前提下,享受人工智能和云计算技术带
来的智能服务。■加密处理与计算平台采用先进的同态加密和多方安全计算技术,确保数据在加密状态下依然可以进行处理和分析。这意味着即使在云端,数据也不会被解密,从而实现完全的数据隐私保护。■个性化与隐私的平衡用户可以通过平台享受个性化服务,比如广告推荐、智能助手等,而这些服务不需要实际读取或存储用户的个人数据。所有个性化推荐和分析均在加密数据上完成,保护了用户的隐私。■
端到端加密保障所有用户与云端之间的数据传输都经过端到端加密,确保数据在传输过程中无法被窃取或篡改。无论是用户的输入还是云端计算的输出,Apple
都保证数据始终处于加密状态。■本地级别的隐私保护扩展到云端Private
Cloud
Compute将Apple
在设备端的隐私保护技术(如差分隐私、设备端处理、端对端加密等)
无缝扩展到云端。这样,用户的数据即使在云端进行处理,依然享有与本地设备上同等的隐私保护。■差分隐私技术Private
Cloud
Comput
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 农业生产成本核算与管理制度
- 运输行业车辆维修技术管理制度
- 出入库管理制度流程
- 医院预约诊疗工作制度和规范流程
- 电力工程项目进度管理制度
- 图书馆消防安全管理制度
- 稽核管理制度体系模板
- 医用设备安全管理制度
- 研究和开发管理制度
- 标准化和规范化管理制度
- 《大学物理学》精美课件(全)
- 规范权力运行方面存在问题及整改措施范文(五篇)
- 减压孔板计算
- 博物馆学概论课件:博物馆与观众
- 着色渗透探伤检测报告
- 反恐培训内容
- 配套课件-计算机网络技术实践教程-王秋华
- 农产品质量安全检测机构考核评审细则
- 装修申请审批表
- 建筑施工安全检查标准jgj59-2023
- 2023年大学生《思想道德与法治》考试题库附答案(712题)
评论
0/150
提交评论