汽车制造企业数据治理实践分析

汽车制造企业数据治理实践

发挥龙头企业研制主体、协同主体、使用主体和示范主体作用，持续提升自主创新、产品竞争和知识产权布局能力，利用资本市场做强做优。鼓励中小企业专精特新发展，不断提升创新能力和专业化水平。引导龙头企业为中小企业提供数据、算法、算力等资源，推动大中小企业融通发展和产业链上下游协同创新。支持有条件的垂直行业企业开展大数据业务剥离重组，提升专业化、规模化和市场化服务能力，加快企业发展。数据是数字经济发展的关键要素，加快推进数据治理工作是保障数字经济高质量发展的重要前提。“十四五”时期是我国工业经济向数字经济迈进的关键时期，对大数据产业发展提出了新的要求，产业将步入集成创新、快速发展、深度应用、结构优化的新阶段。汽车制造企业数据治理实践1、汽车制造企业数据治理背景随着业务飞速发展，汽车制造企业业务系统数量、复杂度和数据量都在呈几何级数的上涨，这就对于企业IT能力和IT架构模式的要求越来越高。加之企业大力发展数字化营销、新能源车等业务，希望通过持续优化客户体验，创造可持续发展的数字化转型之路。为更好应对数字化变革所带来的挑战，现有的竖井架构的数据体系难以满足越来越多、越来越快的系统和数据交互、敏捷创新应用、数据共享、新业务拓展的需求。以数据驱动的数字化，将帮助车企全面了解用户的需求变化，也能为企业在营销、生产、服务等各个环节提供支撑，进一步提升企业的经营效率。数据治理平台的核心理念在于数据取之于业务，用之于业务，即完整构建车企从数据生产到消费，消费后产生的数据再回流到生产流程的闭环过程。2、汽车制造企业数据治理解决方案（1）汽车制造企业数据治理咨询服务在车企组织架构、制度体系和数据资产盘点的基础上，结合国际、国内和行业标准，围绕数据资产全生命周期管理，制定相关的数据规范体系。通过数据治理咨询建设所涉项目的数据治理体系，包括标准、组织、规范、流程、制度等，实现营销业务线、制造业务线、研发业务线数据分级分类标准制定，形成包含主数据、数据标准、数据模型、元数据、数据质量、数据安全、数据生命周期、数据架构等标准、流程与管理制度，并具备推广至全公司业务线的能力。一是数据治理体系规划。数据治理整体规划方面包括数据管理愿景、组织模式、管理边界和推动策略，数据管理体系设计方面包括数据治理基础、数据管理核心领域、数据应用，任务及规划方面包括数据管理任务识别、实施原则分析、实施计划制定。二是数据治理组织规划。根据数据管理工作的实际需要，在业务部门、技术管理部门和业务应用部门间要确定各个工作人员的职责。例如不同的业务部门应该明确各自业务开展对数据的具体要求和相关规则，而技术部门则会根据业务部门的需求负责具体的实施工作，包括将业务部门提出的要求转化成技术语言，用于事前的控制（如字段的约束）、事中的逻辑控制（例如控制不能为空）、事后的核查，以及具体的技术操作和编制定期的报告等。（2）汽车制造企业数据治理平台搭建集成自有大数据平台、开放平台、调度平台与可视化平台，管理数据资产、提升数据质量，打造数据资产中心、支撑业务创新的数据服务中心和应用中心。（3）汽车制造企业数据治理项目实施梳理营销业务线、制造业务线、研发业务线数据资产，划分数据域，构建数据应用，实现数据生命周期全流程打通。具体实施内容包括数据资产地图、数据模型、数据标准、元数据管理、数据血缘、数据分级分类、数据质量规则及报告等。一是数据资产门户。全局统计企业数据资产情况，让企业管理者对数据的分布、增长、使用、质量情况有直观的了解。包括不限于。1）数据指标的统计：数据源数量、表数量、存储量、使用量、质量评分。2）数据趋势的统计：数据分布情况、数据增长趋势、数据使用热度。3）数据使用排行：数据存储排行；元数据质量：规范趋势、规范排行。二是数据地图。数据地图的定位是可视化的数据资产中心，用户可以在数据地图模块中查看平台内的所有数据表情况，同时可以进行全方位管理数据资产。1）数据查找：汇聚平台内的所有数据表信息，方便开发人员快速定位所需数据表，支持用户根据类目、表名、所在项目、授权状态进行过滤，或直接根据表名搜索。2）数据表元数据展现：用户指定某张表后，可以查看此表的基本信息，包括表名、物理存储量、生命周期、是否分区表、字段名称、字段类型、分区信息等，同时可以进行预览，直观地查看表内数据情况。3）数据类目管理：当平台内的数据表越来越多时，数据类目的重要性就会日益突出。提供3层类目的管理，用户可自定义层级、名称，并将数据表指定至某个节点上，数据开发者在寻找数据时可根据数据类目快速定位。4）数据审批授权：提供表级数据权限的管理，当用户需要跨项目访问表时（读/写）需先经项目管理员审批授权，审批通过后才可以对表进行跨项目访问。同时，授权审批具备有效期的概念，超出有效期后自动取消授权，提升数据访问的安全程度。4）生命周期管理：提供表的生命周期管理，用户可在建表时指定生命周期，系统定时检测每张表/分区的数据更新时间，超出时间后自动删除数据，降低临时数据造成的存储压力。5）数据血缘解析：提供自动解析同步任务和SQL代码，自动建立各个数据表的表级、字段级血缘关系，用户可直接在页面上看到每个指标的前世今生便于快速排查指标问题，检查指标统计逻辑，依赖链路是否正常等。三是数据质量。作为数据治理的内容，数据质量的保障与提升是大数据平台的必备功能。数据质量的管理工作大致可以按照事前、事中、事后的流程化体系来进行，即事前的监控规则定义、事中的数据生成监控、事后的数据质量分析。1）事前管理：接入需要管理的数据源，并结合对业务需求和数据的理解，对需要监控的数据配置监控规则。2）事中管理：通过对定义好的监控规则配置调度周期，系统自动执行，校验数据质量。3）事后管理：对校验不满足规则的数据，及时发出错误提醒。同时系统自动生成监控报告，帮助用户复盘总结数据问题。四是数据安全。1）数据权限控制：支持表级数据权限的管理，当用户需要跨项目访问表时（读/写）需先经项目管理员审批授权，审批通过后才可以对表进行跨项目访问。同时，授权审批具备有效期的概念，超出有效期后自动取消授权，提升数据访问的安全程度。支持数据资源服务的权限申请、审批，保障数据服务的安全性。2）生命周期管理：支持表的生命周期管理，用户可在建表时指定生命周期，系统定时检测每张表/分区的数据更新时间，超出时间后自动删除数据，降低临时数据造成的存储压力。3）数据影响解析：当用户配置了同步任务，并通过SQL任务进行多个步骤的清洗、转化处理之后最终会将结果数据输出，在整个处理链路中，数据的血缘关系就隐含在同步任务和SQL代码中，数据影响表示每个统计指标是如何从原始数据得到的过程。4）数据脱敏：支持自定义脱敏规则，可应用于不同的敏感数据防止数据预览时造成数据泄露。包括支持根据国标自定义安全等级，对人、表进行分级分类定级；支持自定义脚本函数、正则表达式，按需关联识别规则、识别函数及脱敏规则，自动动态识别敏感数据；支持内置多种敏感数据识别定期模板，即身份证、银行卡号、邮箱、手机号、IP、固定电话、车牌号、姓名、公司、地址的识别，同时提供用户自定义规则。3、汽车制造企业数据治理建设成果车企通过数据治理平台项目，完成了数据规范、标准、质量、服务体系、治理组织架构等内容建设，基本能满足企业2—3年数据发展的使用诉求。结合数据中台+数据治理方案，在该阶段取得了阶段性的成果，概括如下几个方向。一是构建强大数据开发与治理平台体系，通过数据中平台的建设，为车企实现数据基础处理平台、数据资产管理平台、数据服务平台。从而实现从标准化数据采集、数据质量管理、数据资产管理和数据应用的整套数据标准化处理流程，同时对接BI和报表工具，同时对元数据进行标准化的API管理能力。二是快速定位数据问题根本原因，有许多数据问题不一定是真正的数据问题，如果所有使用者一碰到难以理解的问题就找技术人员协助定位，技术人员则会花费过多时间在问题定位上的，最终导致数据问题会越堆积越多的。因此，本次项目为使用者提供自助排查的功能，协助用户找到问题原因，实在解决不了的再找到技术人员协助解决。另外将数据流中间结果的数据可视化呈现，便于在最终结果报表缺失或有误的情况下，能够快速定位出是数据出错环节。三是数据质量得到保障，数据价值高。数据质量可靠不仅提升了决策人员的决策效率以及成果，也可以降低发生风险的概率。当客户用可靠的数据时，客户可以更快、更一致地回答问题，做出决策。如果数据是高质量的，他们也能花更少的时间发现问题，而将更多的时间用于使用数据来获得洞察力、做决策、服务用户。打造繁荣有序产业生态（一）培育壮大企业主体发挥龙头企业研制主体、协同主体、使用主体和示范主体作用，持续提升自主创新、产品竞争和知识产权布局能力，利用资本市场做强做优。鼓励中小企业专精特新发展，不断提升创新能力和专业化水平。引导龙头企业为中小企业提供数据、算法、算力等资源，推动大中小企业融通发展和产业链上下游协同创新。支持有条件的垂直行业企业开展大数据业务剥离重组，提升专业化、规模化和市场化服务能力，加快企业发展。（二）优化大数据公共服务建设大数据协同研发平台，促进政产学研用联合攻关。建设大数据应用创新推广中心等载体，促进技术成果产业化。加强公共数据训练集建设，打造大数据测试认证平台、体验中心、实训基地等，提升评测咨询、供需对接、创业孵化、人才培训等服务水平。构建大数据产业运行监测体系，强化运行分析、趋势研判、科学决策等公共管理能力。（三）推动产业集群化发展推动大数据领域国家新型工业化产业示范基地高水平建设，引导各地区大数据产业特色化差异化发展，持续提升产业集群辐射带动能力。鼓励有条件的地方依托国家级新区、经济特区、自贸区等，围绕数据要素市场机制、国际交流合作等开展先行先试。发挥协会联盟桥梁纽带作用，支持举办产业论坛、行业大赛等活动，营造良好的产业发展氛围。数据治理发展形势从国际看，当今世界正经历百年未有之大变局，进入以数字化生产力为主要标志的数字时代，数字重新定义一切、云计算服务一切、网络连接一切、AI赋能一切，以互联网、大数据、人工智能、物联网等为代表的信息技术广泛渗透到经济社会各领域，世界各国都已将大数据作为重要战略任务。随着科技革命、产业变革纵深推进，抓住数据这一关键要素，充分释放数字化发展的放大、叠加、倍增效应，是抢占新一轮发展制高点的关键。从国内看，我国已成为全球数据量最大、数据类型最丰富的国家之一，数据日益对经济发展、社会治理、人民生活产生重要影响。近年来，印发了《促进大数据发展行动纲要》《数字经济发展战略纲要》等系列重要文件，对大数据发展管理作出全面部署。深入实施国家大数据战略，形成新发展格局中实现更大作为。筑牢数据安全保障防线（一）完善数据安全保障体系强化大数据安全顶层设计，落实网络安全和数据安全相关法律法规和政策标准。鼓励行业、地方和企业推进数据分类分级管理、数据安全共享使用，开展数据安全能力成熟度评估、数据安全管理认证等。加强数据安全保障能力建设，引导建设数据安全态势感知平台，提升对敏感数据泄露、违法跨境数据流动等安全隐患的监测、分析与处置能力。（二）推动数据安全产业发展支持重点行业开展数据安全技术手段建设，提升数据安全防护水平和应急处置能力。加强数据安全产品研发应用，推动大数据技术在数字基础设施安全防护中的应用。加强隐私计算、数据脱敏、密码等数据安全技术与产品的研发应用，提升数据安全产品供给能力，做大做强数据安全产业。大数据产业指导思想立足新发展阶段，完整、准确、全面贯彻新发展理念，构建新发展格局，以推动高质量发展为主题，以供给侧结构性改革为主线，以释放数据要素价值为导向，围绕夯实产业发展基础，着力推动数据资源高质量、技术创新高水平、基础设施高效能，围绕构建稳定高效产业链，着力提升产业供给能力和行业赋能效应，统筹发展和安全，培育自主可控和开放合作的产业生态，打造数字经济发展新优势，为建设制造强国、网络强国、数字中国提供有力支撑。一体化大数据资源中心工程（一）城市大数据资源中心完善数据目录管理、供需对接、交换等功能。升级公共数据开放系统，完善目录发布、指引发布、便捷检索、统计分析、应用展示等功能。建设数据中台，利用建模、映射、对标检查、同态加密、数据标签或水印等技术，开发数据元管理、数据模型、数据标准、数据质量、数据安全及审计等工具。（二）城市信息模型（CIM）以三维空间数据底座为核心，汇聚融合建筑、道路、轨道、隧道、桥梁、水体、地下空间等基础设施，以及资源调查、规划管控、公共专题、工程建设项目、物联感知等数据，统筹建设时空基础数据库、资源调查数据库、规划管控数据、工程建设项目数据库、公共专题数据库、物联感知数据库等主题数据库，形成融合共享、开放协同的GIS＋BIM＋IoT数据资源体系。数据治理发展目标数据共享开放质量显著提升，数据治理与利用能力持续增强，数据聚通用发展水平大幅提升，一体化数据协同治理与安全防护体系全面建成。加快培育数据要素市场，持续优化大数据应用发展生态，推动数字化高质量发展。以数据共享、数据开放、数据质量、数据安全、数据运营、数据交易、数据要素市场培育等政策法规、标准规范为补充，构建全方位、专业化的数字规则体系，数据治理体系建设的法治化、规范化再上新台阶。新型智慧城市运行管理中心全面建成，数据叠加、建模、分析等数据治理支撑能力显著增强，推动数字化应用全业务覆盖、全流程贯通、跨部门协同，实现一网统管、一网通办、一网调度、一网治理。在城市运行、基层治理、交通出行等领域，打造一批在全国有影响力的智慧应用新范例。基本构建权责清晰的数据要素市场化配置规则、组织架构和监管机制。数据要素市场规范有序发展，数据要素配置科学合理，数据要素市场主体持续活跃，数据治理服务相关产业集聚能力显著增强。数据安全法规制度更加健全，数据安全管理平台全面建成，数据共享开放、融合应用、跨境流通的数据安全风险管控能力显著增强，数据安全保障水平显著提高，形成规范有序、高效流通、安全可控的数据治理体系。发挥大数据特性优势（一）加快数据大体量汇聚支持企业通过升级信息系统、部署物联感知设备等方式，推动研发、生产、经营、服务等全环节数据的采集。开展国家数据资源调查，绘制国家数据资源图谱。建立多级联动的国家工业基础大数据库和原材料、装备、消费品、电子信息等行业数据库，推动工业数据全面汇聚。（二）强化数据多样性处