《大数据标准化白皮书（2023版）》v10-00

大数据标准化白皮书(2023版)I专家指导组：编写组(排名不分先后)杨秋勇刘一平王爽高洪美戴炳荣柳峰赵菁华编写单位(排名不分先后)北京大学(天津滨海)新一代信息技术研究院腾讯云计算(北京)有限责任公司中汽数据(天津)有限公司方正国际软件(北京)有限公司江苏中堃数据技术有限公司美林数据技术股份有限公司南湖实验室网易(杭州)网络有限公司北京中科建谊信息技术有限公司特斯联科技集团有限公司江苏中堃数据技术有限公司塬数科技(无锡)有限公司V 11.1研究背景 1 3 4 4 8 26 514.1国际标准化现状 5.1技术标准需求分析 5.2行业领域标准需求分析 66 6.1大数据标准框架 6.3标准明细表 6.4重点标准介绍 7大数据标准化工作建议 7.1科学优化标准化管理工作机制 7.4健全标准符合性评估体系建设 7.6多渠道加大标准人才培养力度 7.7建立通畅有效的协同合作机制 7.8多维度拓展标准成果衍生应用 7.9提升大数据国际标准化影响力 12《大数据标准化白皮书(2023版)》将在2020版的基础上更新国内外大数342大数据相关政策法规布《数据战略2021:当前与未来的任务》,旨在为处理大量信息流提出有效的52.1.2欧盟大数据政策济，并确保新技术体现民主价值观。2022年2月2日，欧盟委员会发布“标准2.1.3英国大数据政策一是助力经济复苏。2020年9月9日，英国数字、文化、媒体和体育部发布《国家数据战略》,提出五项主要任务：(1)释放经济中的数据价值；(2)善公共服务；(4)确保数据所依赖的基础架构的安全性和韧性；(5)倡导国际6会数字化转型的支持。2021年11月，俄罗斯联邦发布了《2021年俄罗斯联邦78放网站datagov.au已包括1169个组织的106710个数据集，相比于2016年，增长了近4倍。9类别1数据安全《关于做好个人信息保护利用大数据中央网络安全和信息化委员会办公室2工业和信息化部3工业和信息化部4国家发展改革委5工业和信息化部类别6最高人民法院等多部门7部8活消费市场带动扩大就业的意见》国家发展和改革委员会等多部门9数据安全公安部《关于加快推进国有企业数字化转型国务院国资委办公厅数据安全国家核安全局数据安全工业和信息化部《关于加快构建全国一体化大数据中心协同创新体系的指导意见》国家发展和改革委员会等多部门数据安全国家知识产权局商务发展格局的通知》商务部金融中国人民银行车联网《国家车联网产业标准体系建设指南工业和信息化部等多部门数据安全《关于加强网络安全和数据保护工作国家医疗保障局系算力枢纽实施方案》国家发展和改革委员会等多部门工业和信息化部数据安全《关于扩大知识产权基础数据开放范国家知识产权局商务部等多部门国家发展和改革委员会等多部门《关于建设中国烟草科学数据中心的国家烟草专卖局车联网《关于加强车联网网络安全和数据安工业和信息化部类别数据标准中共中央、国务院交通交通运输部活消费市场带动扩大就业的意见》国家发展和改革委员会等多部门矿产自然资源部中央网络安全和国务院工业和信息化部部国务院《工业和信息化领域数据安全风险信息报送与共享工作指引(试行)(征求意见稿)》工业和信息化部中央网络安全和工信部等八部门发改委、市场监管总局等九部门《中共中央国务院关于加快建设全国统一大市场的意见》中共中央、国务院国务院数据要素中共中央、国务院(2020—2022年)》提出建立完善涵盖基础数据、行业应用等多层面大数据标准体系。《贵州省大数据标准化体系建设规划(2020—2022年)》要求加强数序号省市文件名称发布时间12内蒙古3山东4吕梁56北京7江苏8北京9《河北省大数据产业创新发展提升行动计划(2020-2022贵州昆明北京北京北京北京江西广东序号省市文件名称发布时间贵州《关于持续推动移动互联网产业高质量发展加快做强做深圳《深圳市人民政府关于加快智慧城市和数字政府建设深圳《深圳市数字经济产业创新发展实施方案(2021—2023山东广东广东广东广东北京天津江苏陕西武汉广东四川湘西呼和山东杭州南京辽宁序号省市文件名称发布时间常州云南信阳信阳市数字经济发展三年行动计划(2021-2023年)山东黑龙江贵州广西《广西数字经济发展规划(2018-2025年)(2021年修订广西《关于建立健全政务数据共享协调机制加快推进数据有序山东江苏广西广东黑龙江江苏《福建省做大做强做优数字经济行动计划(2022—2025广东北京云南江西广东北京序号省市文件名称发布时间深圳《深圳市数据商和数据流通交易第三方服务机构管理办法》制度、数据安全保护义务等提出系列要求，其中的第4条、第5条、第10条、效力级别1部门规章农业农村部2部门规章农业农村部效力级别3部门规章《公共资源交易平台系统林权交易国家发改委，国家林业和草原局4部门规章办法(试行)》中国银行保险监督管理委员会5部门规章办法(试行)》文化和旅游部6部门规章《水利建设投资统计数据质量核查办法(试行)》水利部7部门规章中国民用航空局8部门规章国家市场监管总局9部门规章工业和信息化部部门规章交通运输部部门规章中国民用航空局司法解释识别技术处理个人信息相关民事案最高人民法院行政法规国务院部门规章国家互联网办公室、国家发展和改革委员会等多部门部门规章中国人民银行部门规章办法(试行)(征求意见稿)》工业和信息化部部门规章《数据出境安全评估办法(征求意见稿)》国家互联网信息办公室部门规章《网络数据安全管理条例(征求意国家互联网信息办公室部门规章国家互联网办公效力级别室、国家发改等部门规章定》国家互联网办公室、国家发改委等部门规章国家互联网信息办公室序号省市文件名称发布时间1山西省2浙江省3贵州省4吉林省5山西省6浙江省7湖北省8安徽省9深圳市广东省山东省广东省上海市湖南省福建省江苏省河南省序号省市文件名称发布时间江西省浙江省山东省重庆市广州市江苏省陕西省北京市自治区四川省山西省3大数据现状及发展趋势3.1大数据技术发展3.1.1.6大数据可视化技术3.1.1.7大数据安全与隐私保护技术据安全(如备份容灾、数据加密)、应用安全(如身份鉴别和认证)、设备安全 3.1.2存在的问题及挑战3.1.3发展趋势及分析3.2大数据产业应用数据、基础数据等超过60亿余条，累计为全国提供调用服务超过5600万次，指导业务快速发展，包括通用标准、术语标准、领域知识标准等，如GB/T3.2.2存在的问题及挑战这往往会导致数据存在“碎(碎片化)、多(重复性)、少(缺失性)、乱(格式混乱)、错(数据冲突)、旧(时序过旧)”等问题。也由于这些问题，各产3.2.3发展趋势及分析3.3大数据热点方向2020年4月中共中央、国务院印发《关于构建更加完善的要素市场化配置体制机制的意见》,明确将数据作为一种新型生产要素写入文件中，并且明确加3.3.1.2存在问题及挑战括《信息技术服务治理第5部分：数据治理规范》《信息技术数据质量评价指标》,立项并研制中的有《信息技术大数据数据治理实施指南》,数量相对2020年8月，国务院国资委发布《关于加快推进国有企业数字化转型工作的通治理方式变革。中国人民银行和银保监会于2022年发布《金融科技发展规划(2022-2025)》和《关于银行业保险业数字化转型的指导意见》,明确金融数3.3.3.3发展趋势及分析(1)ISO/IECJTC1/SC32(数据管理和交包括：(1)协调现有和新生数据标准的参考模型和框架；(2)数据域、数据类WG1电子业务(eBusiness)工作组息技术业务运营视图》(由多部分组成，目前共21个部分)。ISO/IEC21838《信息技术顶层本体(TLO)》、ISO/IEC19502《信息技术元WG3数据库语言(Databaselanguage)工作组：研制SQL和GQL等数据查询语言(SQL)》(由多部分组成，目前共13个部分)、ISO/IEC9579《信库语言SQL的使用指南》(由多部分组成，目前共9个部分)和ISO/IEC39075《信息技术数据库语言图形查询语言(GQL)》等。ISO/IECJTC1于2013年11月全会上成立了ISO/IECJTC1/SG2大数据研《信息技术大数据参考架构》(包括五个部分)的国际标准研制工作，其中，ISO/IEC20547-4《第4部分：安全与隐私保护》于2016年3月转至JTC1/S2017年10月，在ISO/IECJTC1第32次全会上决议成立ISO/IECJTC1/SC标准项目ISO/IEC20546和ISO/IEC20547(四个部分),并于2018年至2020术大数据参考架构第3部分：参考架构》确立了大数据参考架构(BDRA),技术人工智能数据生存周期框架》。信息技术大数据概述和术语发布2信息技术大数据参考架构第1部分：框架与应用发布3发布4发布5信息技术大数据参考架构第5部分：标准路线图发布6InformationtechnoloProcessmanagementframeworkfor7述、术语和示例8machinelearning(ML)—Part2:Dataqual9人工智能分析和机器学习的数据质量第3部分：数据machinelearning(ML)—Pmanagementrequirementsandguideli人工智能分析和机器学习的数据质量第4部分：数据质量过程框架machinelearning(ML)—Part4:Data信息技术人工智能数据生存周期框架信息技术大数据参考架构第4息技术大数据安全与隐私保护过程》和ISO/IEC27046《信息技术大数据安全与隐私保护实现指南》,以及预研项目ISO/IECP征、促进大数据发展的技术，在报告的最后部分分析了大数据面临的挑战和应用)、SG17(第17研究组：安全)以及SG20(第20研究组：物联网(IoT)数据管理的标准参考架构，以支持可扩展的FAIR基础原则，即可发现性年3月10日立项IEEE2957《大数据治理和元数据管理参考架构标准》,计划2023年11月1日完成，目前已形成了草案第3稿。内容包括：(1)标准范围和目的；(2)术语定义；(3)物联网、社交媒体、智慧城市、智能制造、5G求；(6)相关标准，涉及ISO/IECJTC1SC32/WG2、SC42WG1、DC(都柏林核心元数据集)、W3CDCAT(数据目录词汇表)、CERIF(通格式)、数字对象架构、永久标识符等；(7)BDGMM参考架构。4.1.4NIST(美国国家标准技术研究所)一版本(2015年9月发布)包括七卷：定义、分类法、用例和需求、安全和隐私保护、架构白皮书、参考架构、标准路线；第二版本(2018年6月发布)除三个版本(2019年10月发布)对前两版的内容作了进一步完善。NIST的这一2014年12月2日全国信标委大数据标准工作组(以下简称“工作组”)正式(1)全国信标委大数据标准工作组(以下简称“工作组”)1发布2信息技术大数据技术参考模型发布3多媒体数据语义描述要求发布4信息技术科学数据引用发布5信息技术数据溯源描述模型发布6数据管理能力成熟度评估模型发布7发布8发布9信息技术通用数据导入接口规范发布发布发布发布发布发布信息技术大数据数据分类指南发布信息技术大数据存储与处理系统功能测试要求发布发布发布发布分：总则发布分：基本要求发布信息技术大数据政务数据开放共享第3部分：发布信息技术大数据工业应用参考架构发布信息技术大数据工业产品核心元数据发布发布术要求发布信息技术大数据政务数据开放共享第4部分：发布智能制造工业数据空间参考模型发布智能制造工业大数据系统功能要求发布智能制造工业大数据时间序列数据采集与存储管理发布智能制造多模态数据融合技术要求发布发布信息技术大数据数据资源规划城市数据治理能力成熟度模型信息技术生态环境大数据系统框架信息技术大数据数据服务能力评估第1部分：评估模型企业标准自我声明公开数据同步要求企业标准自我声明公开信息基础数据元大数据图数据库系统技术要求信息技术网络空间测绘体系结构信息技术网络空间资源分类和标识符编制规则国际上，工作组积极研究和参与大数据领域国际标准化工作，全面参与别工作组”)1发布2发布3发布4信息安全技术数据安全能力成熟度模型发布5发布6信息安全技术个人信息安全规范发布7发布8发布9发布发布发布发布发布发布发布发布发布发布发布发布发布指南国际上，工作组积极研究和参与大数据领域国际标准化工作，全面参与成立时间1北京市信息化标准化技术委员会有限公司北京市2安徽省信息技术标准化技术安徽省标准化研究院、中科院合肥物质科学研究所(联合组安徽省3员会福建省经济信息中心、福建省空间信息工程研究中心福建省4贵州省大数据标准化技术委员会贵州省机械电子产品质量监督检验院贵州省成立时间5员会工业和信息化部电子第五研究所广东省6内蒙古自治区大数据与云计呼和浩特市中科院云计算中心智慧产业研究院自治区7山西省网络安全和大数据信息技术标准化技术委员会山西省网络安全和信息化学会山西省8督检验研究院江苏省9山东省大数据标准化技术委员会山东省计算中心山东省陕西省信息技术标准化技术陕西省信息化工程研究院陕西省浙江省上海市数据标准化技术委员会上海市大数据中心上海市员会数字重庆公司重庆市云南省区块链和数字科技标准化技术委员云南省科学技术院云南省四川省大数据标准化技术委员会四川省大数据中心四川省数据标准化白皮书(2020版)》,在整合大连市大数据产业相关的需求、供给、5大数据标准需求分析6大数据标准体系管理与治理标准04产品标准02数据标准数据登记数据交易数据开放共享03技术标准特征与分类质量模型数据溯源工业大数据政务大数据电力大数据矿山大数据生态环境大数据网络空间大数据农业农村大数据数据安全隐私保护系统安全服务安全应用安全安全私标准07行业应用标准评估治理6.2大数据标准体系准化白皮书(2020版)》提出的大数据标准体系框架基础上进行修订，形成新图6.2大数据标准体系图6.2大数据标准体系毓喜料温油补滞降汁少测北独描滞池竭涨蒲牌强哪猫障碎室过漂油硅革计除调辟革潭温器醉率中李事隆泄情游炸阳球部品(1)基础标准(2)数据标准(3)技术标准(4)产品标准(5)治理与管理标准(6)安全与隐私标准6.3标准明细表发布发布发布发布分：框架5分：分类发布6发布7分：数据定义的形成发布8信息技术元数据注册分：命名和标识原则发布9信息技术元数据注册分：注册发布发布信息技术实现元数据发布信息技术实现元数据发布模型框架(MFI)第1部分：参考模型发布模型框架(MFI)第2部分：核心模型发布模型框架(MFI)第3发布模型框架(MFI)第4发布发布模型框架(MFI)第5模型务模型注册元模型发布模型框架第8部分：角型发布需模型选择发布系统(MDR)模块发布信息技术XML元数据交换(XMI)发布信息技术服务数据资发布数据同步要求发布务平台通用功能要求发布发布求发布结构化描述规范发布信息技术大数据数据分类指南发布信息技术科学数据引用发布信息技术数据溯源描述模型发布信息技术大数据接口发布非结构化数据访问接口规范发布信息技术通用数据导入接口规范发布信息技术大数据面向分析的数据存储与检索技术要求发布拟研制融合计算技术要求作技术指南拟研制发布系统通用要求发布发布与处理系统功能要求发布与处理系统功能测试要求发布系统功能要求发布系统功能测试要求发布非结构化数据管理系统发布关系数据管理系统技术发布关系数据库管理系统检测规范发布信息安全技术数据库发布发布信息技术数据集成中间件发布实时数据库C语言接口规范发布接口规范发布信息技术数据库语言SQL第1部分：框架发布信息技术服务治理第5部分：数据治理规范发布信息技术大数据数据治理实施指南信息技术大数据数据资源规划度模型信息技术大数据数据治理体系建设指南拟研制信息技术大数据数据治理工具基本要求拟研制估模型发布考模型发布发布据管理规范拟研制信息技术大数据数据服务能力评估第1部分：评估模型信息技术大数据数据拟研制服务能力评估第2部信息技术大数据数据治理绩效评价拟研制发布信息技术大数据数据资产价值评估能力要求拟研制信息安全技术数据安全能力成熟度模型发布信息安全技术数据出境安全评估指南信息技术安全技术信息安全控制实践指南发布信息安全技术个人信实施指南信息安全技术个人信南信息安全技术个人信息安全规范发布信息安全技术个人信息去标识化指南发布术要求发布信息安全技术个人信息安全影响评估指南发布信息保护指南发布信息技术安全技术信南发布信息安全技术大数据发布易服务安全要求发布信息安全技术大数据安全管理指南发布信息安全技术政务信息共享数据安全技术发布发布信息安全技术网络支发布约汽车服务数据安全要求发布信息安全技术网络音发布发布发布信息安全技术健康医发布市建设信息安全保障指南发布域数据安全指南信息安全技术声纹识别数据安全要求发布信息安全技术人脸识别数据安全要求发布信息安全技术步态识别数据安全要求发布信息安全技术基因识别数据安全要求发布信息技术安全技术信发布南应用参考架构发布产品核心元数据发布信息技术工业大数据发布智能制造工业数据空间参考模型发布智能制造工业大数据系统功能要求发布智能制造工业大数据时间序列数据采集与存储管理发布智能制造多模态数据融合技术要求发布智能制造工业数据分类原则发布信息技术工业大数据拟研制数据开放共享第1部