半导体企业数据治理实践分析

半导体企业数据治理实践

立足新发展阶段，完整、准确、全面贯彻新发展理念，构建新发展格局，以推动高质量发展为主题，以供给侧结构性改革为主线，以释放数据要素价值为导向，围绕夯实产业发展基础，着力推动数据资源高质量、技术创新高水平、基础设施高效能，围绕构建稳定高效产业链，着力提升产业供给能力和行业赋能效应，统筹发展和安全，培育自主可控和开放合作的产业生态，打造数字经济发展新优势，为建设制造强国、网络强国、数字中国提供有力支撑。立足新发展阶段，完整、准确、全面贯彻新发展理念，积极融入服务新发展格局，坚持加快数字化发展指引，健全数字规则，保障数据安全，以数据汇聚治理为核心，全力攻坚数据聚通用，充分挖掘大数据商用、政用、民用价值，加快培育数字经济，打造数字政府、数字营商环境，构建数字社会，让大数据智能化为经济赋能、为生活添彩。半导体企业数据治理实践1、半导体企业数据治理背景目前着力聚焦信息科技和制造业结合，提出实现从制造到智造的转变，通过在海量产线数据、供应链数据、营销销售数据中挖掘其中的关系，快速对供、研、产、销进行全链路分析及预测，助力企业实现生产方式和商业模式的创新，满足多场景需求，以科技赋能数字化、智能化升级客户在重庆、成都、武汉等多个省市地区建立有工厂。各个工厂包含ERP、MES、OA、HR等业务系统，同时厂区内通过DCS及PLC来实现各设备控制。建设初期各个工厂都已建设有CDH集群，工厂之间数据物理隔离。客户需要建立统一的开发平台，满足集团对数据的统一管理，并从集团统一建设企业的数据标准，最终实现集团数据资产化的目标。2、半导体企业数据治理解决方案针对半导体企业多厂区、多系统的问题，运用数据中台的技术及数据治理的方法论，以建设企业统一数据平台为目标。通过数据标准化数据质量化数据资产化数据服务化数据安全化来实现企业数字化转型。（1）半导体企业数据治理数据标准化数据标准是制定并推行统一的数据标准规范，实现数据全生命周期的规范化操作。半导体企业数据标准，主要通过资源盘点的方法，对多个工厂近百个业务系统及设备数据进行整理归类后，最终修订生成了数据标准。其中标准包含基础属性（数据项编号、数据项大类、数据项子类）、业务属性（数据项中文名称、数据项英文名称、数据项描述）、技术属性（数据类型、数据长度、数据精度）、管理属性（归口工厂及管理部门）、代码拓展（代码值、代码描述）。（2）半导体企业数据治理数据质量化通过事先、事中、事后三个环节解决了数据质量监控的问题，具体如下。1）事先预防控制。设置数据质量规则，即针对不同的数据对象，配置相应的数据质量指标。基于数据标准要求各个厂区、各个业务系统依照相应规范进行数据整理后进行数据传递。并对数据库是否授权连接、数据源表是否存在、数据源名称检查、数据格式是否正确、数据是否为空等进行事前的预防控制。2）事中过程控制。针对待管理的数据元素的新建、变更、采集、加工、装载、应用等各个环节进行跟踪，通过系统自动化校验和人工干预审核相结合的方式进行管理，保障数据在各个环节的质量进行有效控制。3）事后监督控制。基于元数据配置数据质量规则，即针对不同的数据对象，配置相应的数据质量指标，例如：数据唯一性、数据准确性、数据完整性、数据一致性、数据关联性、数据及时性等。同时设置成手动执行或定期自动执行的系统任务，通过执行检查任务对存量数据进行检查，形成数据质量报告及改进方案。最终根据整改优化结果，进行适当的绩效考核。（3）半导体企业数据治理数据资产化梳理数据资源，形成数据资产，丰富分析应用全面掌控数据来龙去脉，以获得更多的数据洞察力，进而挖掘出隐藏在资源中的价值。数据资产管理主要从以下几个方面进行。1）元数据管理。主要以业务元数据、技术元数据和个性元数据进行分类管理，通过盘点、集成和管理，按照科学、有效的机制对元数据进行管理，主要包含元模型创建、元数据同步、元数据管理、订阅元数据等。2）数据地图。数据资产地图是对整个数据中台内的数据进行统一查询、管理的地图，数据地图主要面向数据开发者，汇聚半导体企业所有数据信息，通过元数据信息收集、数据血缘链路分析等手段，帮助企业可以一目了然地看到有哪些数据，在哪里可以找到这些数据，能用这些数据干什么等，并且提升数据资产的利用率。3）数据血缘分析。通过元数据血缘分析，能够快速定位数据来源和加工处理过程，能够帮助数据分析人员快速定位数据问题。另外，通过元数据血缘关系分析，可以理解不同数据指标间的关系，分析产生指标的数据源头波动情况带来影响。（4）半导体企业数据治理数据服务化客户由于工厂与工厂、厂区与集团、部门与部门之间都存在数据共享使用的需求，针对此帮助企业构建了服务共享平台，集团、厂区、部门按需可自行获取相应的资产数据。1）创建数据服务。通过可视化配置数据源或自定义SQL两种模式生成API。并将企业多年来各个业务系统创建的接口统一纳管到平台上，实现数据服务接口统一管理的目的。2）数据服务市场。搭建API的汇聚中心，在数据服务市场可查看发布的所有API名称、描述、调用情况等基本信息，在线进行API测试根据反馈结果判断API是否符合需求，进行API申请，数据服务市场是企业API调用的入口。3）数据服务管理。平台可完成API创建、API注册、导入、创建服务编排、创建服务分组、API发布/禁用、API管理、跨项目发布API、版本一键切换等操作，并可查看API全局的调用情况、订购情况，掌握各API使用详情。4）数据服务告警。调用失败的场景，通过短信、邮件和钉钉和自定义通道三种方式将告警记录及时告知API管理员，记录内容包括告警触发时间、API名称、API中文名称、API创建人、告警规则、触发方式、告警方式、告警接收人。（5）半导体企业数据治理数据安全化半导体企业数据安全面临多厂区、多用户以及不同权限的问题。数据既要保障传输使用安全，又要做到灵活赋权。所以整体通过以下两个层面进行安全管控。1）数据平台的安全防护。用户实现认证访问和授权操作，所有操作记录都有审计日志；支持多租户的使用场景，同时满足多用户协同、数据共享、数据保密和安全的需要；平台支持ACL授权、policy授权、角色授权、跨projectapp授权多种权限管理方法。数据平台通过多租户、多项目空间、项目保护空间等数据隔离机制，可以把来自不同部门的数据隔离和保护起来，通过设置隔离区，把脱密数据管理起来。大数据云提供安全可靠的数据安全策略和访问权限体系，能够控制脱密后数据和非涉密数据的访问权限，能够控制各业务的数据访问权限，能够对数据访问进行多种颗粒度的权限访问。2）防止数据泄露。基于客户的数据体系，建立一整套数据安全分级机制，确保只有授权用户才能访问对应安全等级的数据。数据安全分级机制，针对每一张数据表，每一个数据字段进行安全等级定义。由数据安全团队，负责各个业务域的数据安全等级制定，并在数据安全管理平台进行管理维护。同时建立起一整套敏感数据访问审批流程，做到专人专权。3、半导体企业数据治理建设成果通过统一数据平台的建设，对人机料法环各个环节实现了真正意义上的数字化转型。为企业实现灯塔工厂奠定了坚实的基础。（1）企业数据资产统一管理在集团建立统一数据门户，将多个工厂间的数据进行了统一化存储。打通了集团内多个CDH集群的数据对接，并按不同类目进行了分类共享。实现了平台统一登录及管理，又做到了租户和用户逻辑隔离。（2）降本增效，数据治理提升企业良品率利用大数据分析和机器学习的技术能力，对生产线上数万个传感器进行工业数据（温度、压力、振动和噪声等）采集和存储，通过关键因子与产品质量合格数据之间的联动，识别跟踪关键因子的变化趋势。（3）生产设备状态实时感知，数据治理降低异常监控时间通过对PLC、DCS数据的实时接入，建立预警系统实现传感器数据流指标的实时监控，一旦偏离设定的阈值就会触发报警信号，快速地发现错误或者瓶颈。数据治理基本原则（一）坚持统筹规划强化总体设计、创新引领、共建共享、互联互通，构建一体化数据协同治理体系。（二）坚持依法治数持续深化数据资源体制机制改革，以大数据发展管理立法为契机，建立健全大数据法规制度和标准规范体系，全面提升数据治理体系建设的法治化、专业化水平。（三）坚持应用牵引以住业游乐购全场景集的应用需求为牵引，打造三融五跨智能化应用场景，促进数据共享开放、业务互联互通，切实提升数据治理能力，助力运行管理智能化。（四）坚持融合发展以数据为关键生产要素，促进新技术、新模式、新服务、新业态融合创新，驱动生产方式、生活方式和治理方式变革，深化数据要素市场配置体制机制改革，营造大数据应用发展良好生态。（五）坚持安全底线统筹发展与安全，按照合法正当必要、谁收集谁负责、谁持有谁负责、谁管理谁负责、谁使用谁负责原则，全面落实数据安全责任，开展数据分类分级管理，实行数据全生命周期安全保护。健全综合全面的数字规则（一）制定数据治理与管理制度规则建立健全数字规则，围绕数据聚通用、要素流通，推动数据管理、数据安全等规则建设。深入落实《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《关键信息基础设施安全保护条例》等法律法规，推动出台大数据发展管理地方性法规，实施数字规则意见，开展大数据发展管理领域立法先行先试，全面建立数据收集、汇聚、共享、开放、应用、交易、安全、执法监管等制度。（二）健全公共数据治理与管理规则推动与群众利益密切相关的医疗、教育、供水、供电、供气、通信、环境保护、公共交通等公共企事业单位数据采集、汇聚、共享、开放、利用等纳入公共数据管理体系。（三）建立行业数据治理与管理规则建立行业主管部门与大数据主管部门协调配合机制，推进行业数据联合治理、管理常态化。推进工业、交通、卫生健康、教育、金融等行业主管部门制定符合本行业特点的数据分类分级管理制度，依法依规加强行业数据全生命周期监管。发挥行业协会组织协调作用，推动行业数据相关自律规范、自律公约建立，规范会员行为。积极推动无人驾驶、数字金融、在线医疗、APP数据采集等领域的规则制定。（四）构建数据要素市场管理规则构建数据要素市场化配置制度规则，制定数据要素市场化配置改革行动方案，提高数据要素市场配置效率，促进数据要素健康有序流动。推动出台数据交易管理办法，加快数据交易中介服务、数据权属确认、数据价值评估、数据交易收益分配等配套制度建设，探索建立数据产品和服务进场交易机制。（五）优化完善数据标准规范加快推动数据开放、数据安全、数据治理、行业应用、质量评级等标准建设。聚焦基层治理、民生服务、城市治理、政府管理、产业融合、生态宜居等应用领域，推动制定一批地方、团体、企业标准和规范，鼓励相关标准规范试点示范和应用推广，持续推进大数据标准体系建设。贯彻国家大数据综合标准规范，推动《数据管理能力成熟度评估模型》（DCMM）贯标试点。积极参与制定大数据领域国际规则、国家标准、行业标准。大数据产业指导思想立足新发展阶段，完整、准确、全面贯彻新发展理念，构建新发展格局，以推动高质量发展为主题，以供给侧结构性改革为主线，以释放数据要素价值为导向，围绕夯实产业发展基础，着力推动数据资源高质量、技术创新高水平、基础设施高效能，围绕构建稳定高效产业链，着力提升产业供给能力和行业赋能效应，统筹发展和安全，培育自主可控和开放合作的产业生态，打造数字经济发展新优势，为建设制造强国、网络强国、数字中国提供有力支撑。数据治理发展目标数据共享开放质量显著提升，数据治理与利用能力持续增强，数据聚通用发展水平大幅提升，一体化数据协同治理与安全防护体系全面建成。加快培育数据要素市场，持续优化大数据应用发展生态，推动数字化高质量发展。以数据共享、数据开放、数据质量、数据安全、数据运营、数据交易、数据要素市场培育等政策法规、标准规范为补充，构建全方位、专业化的数字规则体系，数据治理体系建设的法治化、规范化再上新台阶。新型智慧城市运行管理中心全面建成，数据叠加、建模、分析等数据治理支撑能力显著增强，推动数字化应用全业务覆盖、全流程贯通、跨部门协同，实现一网统管、一网通办、一网调度、一网治理。在城市运行、基层治理、交通出行等领域，打造一批在全国有影响力的智慧应用新范例。基本构建权责清晰的数据要素市场化配置规则、组织架构和监管机制。数据要素市场规范有序发展，数据要素配置科学合理，数据要素市场主体持续活跃，数据治理服务相关产业集聚能力显著增强。数据安全法规制度更加健全，数据安全管理平台全面建成，数据共享开放、融合应用、跨境流通的数据安全风险管控能力显著增强，数据安全保障水平显著提高，形成规范有序、高效流通、安全可控的数据治理体系。数据治理指导思想立足新发展阶段，完整、准确、全面贯彻新发展理念，积极融入服务新发展格局，坚持加快数字化发展指引，健全数字规则，保障数据安全，以数据汇聚治理为核心，全力攻坚数据聚通用，充分挖掘大数据商用、政用、民用价值，加快培育数字经济，打造数字政府、数字营商环境，构建数字社会，让大数据智能化为经济赋能、为生活添彩。构建稳定高效产业链（一）打造高端产品链梳理数据生成、采集、存储、加工、分析、服务、安全等关键环节大数据产品，建立大数据产品图谱。在数据生成采集环节，着重提升产品的异构数据源兼容性、大规模数据集采集与加工效率。在数据存储加工环节，着重推动高性能存算系统和边缘计算系统研发，打造专用超融合硬件解决方案。在数据分析服务环节，着重推动多模数据管理、大数据分析与治理等系统的研发和应用。（二）创新优质服务链围绕数据清洗、数据标注、数据分析、数据可视化等需求，加快大数据服务向专业化、工程化、平台化发展。创新大数据服务模式和业态，发展智能服务、价值网络协作、开发运营一体化等新型服务模式。鼓励企业开放搜索、电商、社交等数据，发展第三方大数据服务产业。围绕诊断咨询、架构设计、系统集成、运行维护等综合服务需求，培育优质大数据服务供应商。（三）优化工业价值链以制造业数字化转型为引领，面向研发设计、生产制造、经营管理、销售服务等全流程，培育专业化、场景化大数据解决方案。构建多层次工业互联网平台体系，丰富平台数据库、算法库和知识库，培育发展一批面向细分场景的工业APP。推动工业大数据深度应用，培育数据驱动的平台化设计、网络化协同、个性化定制、智能化生产、服务化延伸、数字化管理等新模式，规范发展零工经济、共享制造、工业电子商务、供应链金融等新业态。（四）延伸行业价值链加快建设行业大数据平台，提升数据开发利用水平，推动行业数据资产化、产品化，实现数据的再创造和价值提升。打造服务政府、服务社会、服务企业的成熟应用场景，以数据创新带动管理创新和模式创新，促进金融科技、智慧医疗等蓬勃发展。持续开展大数据产业发展试点示范，推动大数据与各行业各领域融合应用，加大对优秀应用解决方案的推广力度。大数据产业面临形势抢抓新时代产业变革新机遇的战略选择。面对世界百年未有之大变局，各国普遍将大数据产业作为经济社会发展的重点，通过出台数字新政、强化机构设置、加大资金投入等方式，抢占大数据产业发展制高点。我国要抢抓数字经济发展新机遇，坚定不移实施国家大数据战略，充分发挥大数据产业的引擎作用，以大数据产业的先发优势带动千行百业整体提升，牢牢把握发展主动权。呈现集成创新和泛在赋能的新趋势。新一轮科技革命蓬勃发展，大数据与5G、云计算、人工智能、区块链等新技术加速融合，重塑技术架构、产品形态和服务模式，推动经济社会的全面创新。各行业各领域数字化进程不断加快，基于大数据的管理和决策模式日益成熟，为产业提质降本增效、政府治理体系和治理能力现代化广泛赋能。构建新发展格局的现实需要。发挥数据作为新生产要素的乘数效应，以数据流引领技术流、物质流、资金流、人才流，打通生产、分配、流通、消费各环节，促进资源要素优化配置。发挥大数据产业的动力变革作用，加速国内国际、生产生活、线上线下的全面贯通，驱动管理机制、组织形态、生产方式、商业模式的深刻变革，为构建新发展格局提供支撑。建设一体化大数据资源中心（一）深化基础平台建设深化基础数据库建设，推进法人、自然人、自然资源和空间地理、电子证照、信用、物联感知等数据归集。建设主题数据库，构建重点领域业务模型，建立跨领域自动化、语义一致化的主题数据库共建共享架构。推动建筑信息模型（BIM）技术与工程建造技术深度融合应用，构建高精度城市信息模型（CIM）平