DB33-T 1360-2024 公共数据脱敏技术规范

ICS35.240.01CCSL6733Technicalspecificationforpublicdatades浙江省市场监督管理局发布IDB33/T1360—2024前言 2规范性引用文件 3术语和定义 4数据脱敏基本原则 4.1有效性 4.2真实性 4.3稳定性 24.4一致性 24.5高效性 25数据脱敏总体架构 26数据脱敏技术 36.1脱敏算法 36.2脱敏规则和策略 37数据脱敏场景 37.1数据加工 37.2数据共享 37.3数据开放 37.4数据利用 47.5数据开发测试 47.6数据运维 48数据脱敏实施 48.1敏感数据识别 48.2脱敏权限分配 48.3脱敏规则和策略配置 48.4脱敏效果评估 58.5脱敏数据标识 58.6数据脱敏审计 59数据脱敏过程评价 6附录A（资料性）数据脱敏技术 7附录B（资料性）脱敏工具选择示例 19附录C（资料性）脱敏效果评估方法示例 20DB33/T1360—2024本标准按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本标准的某些内容可能涉及专利。本标准的发布机构不承担识别专利的责任。本标准由浙江省大数据发展管理局提出、归口并组织实施。本标准起草单位：浙江省大数据发展中心、数字浙江技术运营有限公司、联通数字科技有限公司、杭州安恒信息技术股份有限公司、杭州美创科技股份有限公司、北京神州绿盟科技有限公司、北京天融信网络安全技术有限公司、杭州深普科技有限公司、杭州市数据资源管理局、宁波市大数据发展管理局、温州市大数据发展管理局、湖州市大数据发展管理局、嘉兴市政务服务和数据资源管理办公室、绍兴市大数据发展管理局、金华市大数据发展管理局、衢州市大数据发展管理局、舟山市大数据发展管理局、台州市大数据发展管理局、丽水市大数据发展管理局。本标准主要起草人：王瑚、陈登、蒋迪、张纪林、赵程遥、金永勤、张斌、范世育、笪猛霄、屠勇刚、包自毅、张新丰、周建良、徐振华、张晓玮、杜战、吕跃华、黄亮、洪吉明、党铮铮、樊兴悦、陈琼、郑嘉俊、吕周亮、尹小飞、俞弘毅、吴怡、陈林、王冬茜、胡瑞玉、周文、徐逸倩、王沁怡、甄理、俞巍滔、刘凯、徐津津、杜辉、吴梦琪、李思超、邹任芯、张昱、黄澜、谢国杰、孙茂阳、曾露、俞文群、蔡东山、叶其蕾、林丽丝、汪亚东、许彪、毛蕾、黄怡、韩建良、徐道成、邵建峰、徐李锐、周榜中、王海斌、李永孟、林国、陈余超、陈马涛、吴雨鑫。1DB33/T1360—2024公共数据脱敏技术规范本标准规定了公共数据脱敏的基本原则、总体架构、脱敏技术、脱敏场景、脱敏实施以及过程评价。本标准适用于各级公共数据主管部门、公共管理和服务机构以及使用公共数据的组织、个人开展公共数据脱敏工作。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本标准必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本标准；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本标准。GB/T25069信息安全技术术语GB/T37988信息安全技术数据安全能力成熟度模型DB33/T2487公共数据安全体系建设指南3术语和定义GB/T25069、GB/T37988、DB33/T2487界定的以及下列术语和定义适用于本标准。3.1公共数据publicdata国家机关、法律法规规章授权的具有管理公共事务职能的组织以及供水、供电、供气、公共交通等公共服务运营单位（以下统称公共管理和服务机构），在依法履行职责或者提供公共服务过程中收集、产生的数据。3.2敏感数据sensitivedata具备一定的隐私性，一旦泄露可能会对个人、政府部门、企业、组织等产生危害的数据。3.3数据脱敏datadesensitization通过一系列数据处理方法，在不影响数据分析和处理任务的前提下对原始数据进行处理以屏蔽敏感信息的一种数据保护方法。4数据脱敏基本原则4.1有效性数据经过脱敏处理后，原始信息中包含的敏感信息已被屏蔽，并确保脱敏后的公共数据在数据汇聚、关联分析等操作过程中无法产生敏感数据。4.2真实性2DB33/T1360—2024脱敏后的数据需保持原始数据真实特征，包括以下方面：a)原数据的格式；b)原数据的类型；c)原数据之间的依存关系；d)语义完整性；e)引用完整性；f)数据的统计、聚合特征；g)频率分布。4.3稳定性相同的原始数据在脱敏策略一致的前提下，每次脱敏效果相同。4.4一致性脱敏后的数据保留原始数据的主外键关系、业务包含关系。4.5高效性在确保安全的同时，数据脱敏实施应尽可能减少时间和经济成本。5数据脱敏总体架构数据脱敏总体架构如图1。图1数据脱敏总体架构数据脱敏主要涉及脱敏技术、脱敏实施、脱敏场景和脱敏过程评价四个要素：a）脱敏技术：脱敏技术（见附录A）主要包括脱敏算法、脱敏规则和策略，脱敏算法有泛化、抑制、随机化、加密和统计等技术（见附录A.1）；脱敏规则和策略（见附录A.2）制定的要素包括脱敏数据项、脱敏算法、脱敏算法附加值和脱敏算法作用域；b）脱敏实施：选用脱敏工具（见附录B）或人工方式实施脱敏，脱敏流程主要包括敏感数据识别、脱敏权限分配、脱敏策略配置及执行、脱敏效果评估、脱敏数据标识、数据脱敏审计；c）脱敏场景：数据脱敏场景主要涉及数据处理活动各阶段；3DB33/T1360—2024d）脱敏过程评价：对数据脱敏实施过程进行评价，确保脱敏工作正确、完整地执行，促进脱敏流程优化，确保数据脱敏实施过程的合规性和有效性。6数据脱敏技术6.1脱敏算法6.1.1泛化通过泛化技术对数据项进行概括、抽象处理，包括：时间偏移、截取、截断、分档、归零等。6.1.2抑制通过抑制技术对数据项进行屏蔽或数据记录进行限制，包括：遮盖、限制返回行、限制返回列等。6.1.3随机化通过随机化技术对数据项进行随机化处理，代替原来的真实值，包括：随机映射、固定映射、范围内随机、浮动、重排等。6.1.4加密通过加密技术对数据进行处理，包括：对称密码算法、公钥密码算法、密码杂凑算法等。6.1.5统计统计技术是利用统计学原理，对数据集进行相关的处理，包括：抽样、聚合等。6.2脱敏规则和策略脱敏规则和策略主要包括如下要素：a)脱敏数据项：应根据数据级别、脱敏场景、数据关联情况等确定需脱敏的数据项；b)脱敏算法：应根据数据类型、数据级别、脱敏场景、数据集大小、数据分布和关联情况等确定脱敏算法；c)脱敏算法附加值：应根据脱敏场景和算法类型等，选择算法附加值，如随机种子、遮盖符、密钥、盐值等；d)脱敏算法作用域：应根据数据特征、关联情况等，确定脱敏数据项中脱敏算法作用的区域。7数据脱敏场景7.1数据加工对数据进行转换、汇聚、分析等加工处理时，宜采用抑制、随机化等算法构建脱敏规则和策略，将敏感数据进行脱敏后再进行加工处理。7.2数据共享通过一体化智能化公共数据平台共享数据时，可采用抑制、随机化等算法构建脱敏规则和策略，将敏感数据脱敏后再进行共享。7.3数据开放4DB33/T1360—2024通过数据开放网站、开放域、授权运营域等面向社会提供数据时，应采用抑制、随机化等算法构建脱敏规则和策略，将敏感数据脱敏后再进行开放。7.4数据利用利用数据履行公共管理和公共服务职责时，可采用泛化、抑制、统计等算法构建脱敏规则和策略，将敏感数据脱敏后再使用。7.5数据开发测试系统测试、联调时，应采用泛化、抑制、统计等算法构建脱敏规则和策略，将敏感数据脱敏后再使7.6数据运维进行数据监控、维护、审计等操作时，宜采用抑制、随机化等算法构建脱敏规则和策略，将访问的敏感数据进行脱敏。8数据脱敏实施8.1敏感数据识别对元数据和数据内容进行识别，发现并标识敏感数据（见附录A.3），过程需要符合下列要求。a)技术要求：1)应对主流数据库、大数据平台、文件存储系统等进行数据内容识别；2)应采用数据识别或人工梳理方式获取数据信息，包括数据存储位置、数据内容、数据格式等；3)应根据公共数据分类分级结果标识数据所属类别和敏感程度；4)应固化敏感特征，形成识别模板；5)应识别在数据汇聚、关联分析等操作过程中产生的敏感数据。b)安全要求：配置数据识别任务应尽量降低对生产系统的影响，主要措施包括限制识别范围、优化识别周期、提升识别性能等。8.2脱敏权限分配从系统管理、安全管理、审计管理三个维度，评估业务系统和数据使用方所需权限并授权，过程需要符合下列要求。a）技术要求：1)系统管理应分配系统的资源和运行配置、控制和管理权限；2)安全管理应分配脱敏任务的执行权限，包括敏感数据管理、脱敏策略配置、脱敏结果查看等；3)审计管理应该分配审计记录存储、管理和查询权限。b）安全要求：1)应实现用户的权限分离；2)应对用户进行身份鉴别，保证权限真实且唯一，并对操作行为进行审计。8.3脱敏规则和策略配置5DB33/T1360—2024选定脱敏规则和策略，执行脱敏任务，过程应符合下列要求。a)技术要求：1)脱敏规则和策略应覆盖所有敏感数据；2)脱敏规则和策略应表述明确，具备可执行性和可转述性；3)应监测脱敏执行过程，发现执行错误、配置错误、资源占用过高等执行异常情况及时告警，必要时可中断脱敏执行过程。b)安全要求：1)应尽量降低对业务系统的影响，主要措施包括选定脱敏范围、优化脱敏执行周期、提升脱敏处理性能等；2)不应存储源数据。8.4脱敏效果评估对脱敏后的数据进行效果评估，确保已达到预期脱敏效果（见附录C），过程应符合下列要求。a)技术要求：1)应评估数据特征是否变化；2)应评估已知敏感信息是否去除；3)应评估逆向恢复敏感数据的执行难度；4)应评估数据结构和统计特征是否存在敏感性；5)应评估脱敏后的数据是否满足使用需求。b)安全要求：评估过程中产生的敏感数据应在评估完成后执行删除销毁操作。8.5脱敏数据标识对脱敏后的数据进行重新标识，与原始数据区分，过程应符合下列要求。a)技术要求：应根据实际使用需要，标识数据脱敏状态为已脱敏，并标识敏感级别。b)安全要求：1)应保障数据标识不被恶意删除和篡改；2)数据标识不应影响数据的结构、分析和使用。8.6数据脱敏审计记录脱敏过程各个阶段相关信息，形成完备的脱敏日志完成审计分析、溯源追踪和监督检查，过程应符合下列要求。a)技术要求：1）应审计数据源相关信息，包含数据源自身安全策略和权限信息等内容；2）应审计脱敏工具配置信息，包含权限账号、敏感数据识别规则、脱敏算法、脱敏规则和策略等关键配置信息等内容；3）应审计脱敏过程各个阶段人员操作信息，包含登录、登出、任务执行、策略变更等人员操作日志等内容；4）应审计脱敏任务执行信息，包含任务创建、执行、查询、删除信息，任务报错信息等内容；5）脱敏工具应具备审计日志外发的能力。b)安全要求：1）脱敏日志应保存不少于六个月；2）脱敏日志应采取加密和校验机制，保障记录保密性和完整性。6DB33/T1360—20249数据脱敏过程评价定期开展数据脱敏过程评价，评价过程包括：a)组建评价团队，团队成员包括组织内部人员或第三方专业人员；b)明确评价范围，全面涵盖脱敏场景、脱敏技术、脱敏工具、执行人员等；c)制定评价指标，围绕敏感数据识别、脱敏权限分配、脱敏策略配置及执行、脱敏效果评估、脱敏数据标识、数据脱敏审计等过程的技术和安全要求，结合实际制定评价指标；d)选定评价方式，采用多种方式组合开展评价工作，包括资料查阅、人员访谈、功能演示、技术检测等；e)判定评价结果，收集并整理相关证明材料，组织召开相关会议确认评价结果，输出评价报告，并对数据脱敏实施持续改进优化。7DB33/T1360—2024数据脱敏技术A.1脱敏算法详述及示例脱敏算法详述及示例见表A.1。表A.1脱敏算法详述及示例1泛化技术按随机位移量对时间进行向上或向下偏移并取整，可在保证时间数据一定分布特征移量、5秒取整量通过时间偏移取整脱敏即为2截取是指对字符串按照起始位置、结束位例如设定开始位置：3，结束位置7，那么原数3截断是指除去字符串起始位置、结束位置例如设定起始位置：3，结束位置7，那么原数4将数据按照预设条件规整到预定义的多个限分为高收入家庭、中等收入家庭、低收入家庭三个级别，家庭年收入数据用这三个级别代56抑制技术遮盖是指通过设置遮盖符，对原数据全部7行例如药品配方数据，只有在拿到所有配方数据8列9随机化技术随机映射是指采用了一定程度的随机性作为其逻辑的一部分，对数值、字符或字符例如将生日19941118通过随机映射脱敏为20000220；脱敏后依然保障是一串生日特征的固定映射是指设置映射种子，在映射种子不变的情况下，相同的原始数据脱敏后结那么原数据张三通过固定映射算法后脱敏结果机范围内随机主要对日期或金额类型数据，在一个指定的范围内进行随机，并保留原8DB33/T1360—2024表A.1脱敏算法详述及示例（续）例如设定下降8%；那么对原数据1000.00采用浮将原始数据按照特定的规则进行重新加密技术以使用密钥对属性进行加解密来进行数据脱敏和还原，常见于对id类数据例如原数据身份证密后207a4ae88e5dc7a70c7c2f0278c93fcd关系。常见于对id类数据进行处理。由于hash函数的特性，会存在数据碰例如原数据身份证列脱E(nx)=E(x+x+…+x)=E(x)+E(x)+…+E(x)=统计技术通过采样抽取数据集中有代表性的子种方式可以避免使用全量数据进行分例如根据人口地域分布情况抽样10%的数据做统计统计值来反应原始数据集中的记录属9DB33/T1360—2024A.2脱敏算法详述及示例部分常见敏感数据类型脱敏规则和策略配置示例见表A.2。表A.2部分常见敏感数据类型脱敏规则和策略配置示例1脱敏算法作用域：中间字、名2345DB33/T1360—2024表A.2部分常见敏感数据类型脱敏规则和策略配置示例（续）6脱敏算法作用域：类别代码,身份证省、市、脱敏前：2005411424101841983脱敏后：2005411************7脱敏算法作用域：类别、省、市、县89DB33/T1360—2024表A.2部分常见敏感数据类型脱敏规则和策略配置示例（续）DB33/T1360—2024表A.2部分常见敏感数据类型脱敏规则和策略配置示例（续）脱敏算法附加值：随机种子为7，随机范围小时00～24，分DB33/T1360—2024表A.2部分常见敏感数据类型脱敏规则和策略配置示例（续）脱敏算法附加值：随机种子为5，随机范围未服兵役、服现DB33/T1360—2024表A.2部分常见敏感数据类型脱敏规则和策略配置示例（续）DB33/T1360—2024表A.2部分常见敏感数据类型脱敏规则和策略配置示例（续）DB33/T1360—2024表A.2部分常见敏感数据类型脱敏规则和策略配置示例（续）DB33/T1360—2024A.3部分常见敏感数据类型发现规则部分常见敏感数据类型发现规则见表A.3。表A.3部分常见敏感数据类型发现规则序号类别1个人23456代码，第5～6位是省、自治区、直辖市代码，第7位是执业医师级别代码，第8～97医师执业证书由15位数字组成，其中，第1位是执业89用.间隔的4段数字，第一段取值范围在1～223之间，剩余3段取值范围在0～255之间），有@符号，@符号前内容任意长度字符串，@后面为一个含有.字符不动产证的号码由8位数组成，前面的4位数是年份，后面的4位数是流水号含有小学、初中、高中、大专、本科、研究生等，GB/T465DB33/T1360—2024表A.3部分常见敏感数据类型发现规则（续）类别个人中共党员、中共预备党员、共青团员、民革党员、民盟盟员、民建会员、民组织由八位数字（或大写拉丁字母）本体代码和一位数字（或大写拉丁字母）校类别代码(4位)和机构分类管理代码(1位)四部分组成18位，登记管理部分代码（1位机构类别代码（1位登记机关代码（6位组织机构代码（9位校验码（1位）客体公司名称+投资方向or基金特点+基金类型DB33/T1360—2024（资料性）脱敏工具选择示例脱敏工具选择示例见表B.1。表B.1脱敏工具选择示例1应2应3应4宜5宜6宜7应8宜9应DB33/T1360—2024（资料性）脱敏效果评估方法示例公共数据脱敏效果评估中“评估数据特征是否变化”，参照附录A.3判断，如敏感数据类型发现规则无变化，则数据特性未发生变化。脱敏效果评估方法示例见表C.1。表C.1脱敏效果评估方法示例序号类别逆向恢复敏感数据的执行数据结构和统计特征是否存在敏感性（批量数1个人判断脱敏后的姓名与原姓射比遮盖抗逆向恢复能力计出相同信息，如姓名2具备识别出该人员敏感信息的条件，如个人身份证号码的地区编1.通过识别该脱敏算法是否具备抗逆向恢复的特性，如随机映射比固定映射的抗逆向恢复能力2.判断脱敏后的数据是否和原数据呈规律变化，如范围内随机比固定值浮动的抗逆向恢复能力能和原始数据表统计出相同信息，如个人身份证号码表能统计出地区比例、青壮年占比、性3码456789判断原不动产证