DataOps 实践指南 2.0白皮书

CCSATC601大数据技术标准推进委员会2024年5月版权声明编制说明前言版权声明编制说明(一)敏捷数据开发取得稳健成效，先行企业特征各异(二)文化渗透促进数据深度应用，数据价值逐步释放(三)组织变革促进协同机制构建，业数合作更加紧密(四)数据研发治理流程初步搭建，质量管控初见成效(一)盲目跟风，没有“量体裁衣”(二)决策机制模糊，导致资源浪费或投入不足(三)过度依赖技术解决所有问题(四)追求短期收益22(一)DataOps能力模型04(一)数据流程可观测22(二)DataOps核心环节05(二)数据工程智能化22(三)DataOps实践保障09(三)数据价值精准量化23图目录图图1DataOps能力模型框架04图3DataOps保障措施框架09表目录表1DataOps数据组织vs.传统数据组织11表2传统数据治理团队vs.DataOps数据治理团队12表3DataOps典型协同模式举例131.形成敏捷数据产品开发流程 2.构建高效的跨域协同机制3.打造研发治理一体化流水线4.建立精细化的数据运营体系 2022年起，中国通信标准化协会大数据技术标准推进委员会牵头成立了DataOps工作“4+3”的能力框架，即4个核心环节和3项实践保障。如图1组织组织管理业务价值系统工具管控研发管理数据运维交付管理价值运营成本管理持成本管理持续优化变更管理监控管理部署与发布管理测试管理配置管理需求管理为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标，DataOps的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。数据研发管理数据交付管数据研发管理是指以研发治理一体化为目标，构建标准化的数据开发流程。企业在数据开发阶段，构建数据研发治理一体化流程，将数据治理工作前置，把数据治理工作与数据开发工作有机结合，能够加强数据治理与开发工作的协同配合，同时降低数据治理后置所产生的风险。此外，在数据研发阶段加强对数据需求的约束，并利用自助分析能力来提前探查或解决部分数据需求，大幅提升了数据需求的沟通效率，减少了部分研发工作压力。数据研发管理包括需求管理、设计管理、数据开发和自助分析四部分内容。■需求管理数据需求是指组织对业务运营、经营分析和战略决策过程中产生和使用数据的分类、含义、分布和流转的描述。数据需求管理是指与数据需求的采集、分析、确认、实施和变更相关的全流程管理活动。需求管理分为数据需求收集、数据需求分析、数据需求确认、数据需求变更四部分内容。在实践过程中，需求往往以碎片化的形式提出，如何从源头上对需求进行有效归集、分类、分析、追踪和评估是需求管理的核心环节。此外，除了形成跨部门的需求协作流程和制度外，还应注重需求与研发过程的紧密联动。需求管理应以需求背后的业务目标为导向，深入数据加工全链路，通过不断评估优化需求，形成促进业务目标的闭环。最后，需求管理的平台工具需要支持与现有数据开发平台、工作流管理工具的集成，支持需求与数据生命周期的关联。2.数据交付管理3.数据运维4.价值运营价值运营是指以精益运营数据为目标，打造量化驱动变革的能力。企业基于量化指标对数源的可评估性和可控性，在数据开发过程中，具体需求的资源投入应能够被准确评估和管控。在鼓励创新的前提下，数据驱动与跨部门的协作是持续变革的原动力，在全周期引入反馈复盘机制，可加深团队对过程的反思和理解。通过打破沟通壁垒、组建临时小组、加强团队间的分享协作等手段，能够促进组织内有益变革的产生。目前行业内基于DevOps理念已形成一套软件研发管理效能评价体系，而对数据研发全过程的效能评价标准仍处于缺失状态。精益的数据运营管理体系至少要从协同流程、人员绩效、数据开发各环节效能对企业的效能进行评估。第一，量化协同流程的效能评价标准。协同流程的效能评价包括协作效率、沟通频率和问题解决速度等。通过量化分析相关指标，企业可以深入了解团队协作的表现，并确定潜在的风险点和流程优化方向。第二，量化人员绩效评价标准。企业应当建立和协同流程、数据开发流程相匹配的团队和人员评价标准，包括但不限于对开发效率、开发质量，以及项目交付准时性等关键指标的评估。第三，量化数据开发各环节效能评价标准。通过监控和分析数据准备时间、质量标准达成率、交付效率等关键指标，企业可以发现数据开发中存在的低效环节，从而优化流程设计并合理配置资源。产业实践产业实践为了保证DataOps研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。安全测计安全测计风险管理安全风险策略协作协同岗位角色组织架构数据一体化运维数据自动化交付部署数推研发治理一体化数据需求管理1.系统工具系统工具是企业实践DataOps理念的抓手，通过搭建完整且成熟的DataOps工具链，能够为企业的一体化数据研发治理能力提供强有力的技术支撑。DataOps系统工具应具备强大的工具链集成能力，能够整合企业现有的数据治理工具(如数据质量管理工具、数据安全管控工具、元数据管理工具等)和数据开发工具(如ETL工具、数据仓库、数据科学平台等)。通过高度集成这些工具，企业内部可以形成一条完整、流畅的数据流水线，支持通过统一数据门户集中展现和管理，并为不同角色的用户提供便捷访问、使用、共享数据资源的能力，从而实现数据服务的自助化和标准化。数据需求管理指通过构建数据需求全生命周期的管理能力来支持流程的设计和共享，并进一步要求数据需求方主动通过自助分析平台进行数据探查，满足数据需求。数据需求管理分为数据需求生命周期管理、流程管理两部分。在构建数据需求的全生命周期管理过程中，系统工具的基本配置能力、需求分析与评估能力、需求分类分级能力、需求跟踪能力和需求变更管理能力是关键能力点。在工具管理能力之上，越来越多的企业逐渐意识到将工具能力与业务目标关联的重要性。需求管理工具通过提供互动式需求分析与沟通确认机制，提供需求影响分析能力，从而快速响应业务需求变更，并评估变更对整体数据生态的影响。然而，数据需求的管理在实际应用中仍面临诸多挑战，如弥合业务与开发之间的沟通壁垒、应对需求频繁变更、确保需求一致性与追溯性，以及加强工具间的集成与自动化水平等。 和追溯。一体化运维工具在DataOps流水线中2.组织管理异同点目标需求为主要目标，侧重于数速变化。内负责特定数据环节，受困含数据架构师、数据工程师、人员之间更加密切地合作。注重全局最优。治理团队、IT部门等。务能够充分感知企业数据资产、利用数据资产。不同部门之间的协同和数据和整合。据流畅，减少数据孤立和延迟。相对保守和稳定的文化，强调数据的可靠性和一致性，倾向和技术。鼓励数据驱动、全民用数的文化，鼓励创速变化的业务需求。 择在首席信息官的角色中增加数据职能。首席数据官的设立反映出企业越来越重视数据战差异点多采用较为静态的规则和流求适应度上不够灵活。团队集中管理，缺少更广泛的团队参与。强调自服务数据治理，即赋予数据开发团队和业务部门更多的权力来定义和维护数据治理规则。独立，协同性较弱。数据治理团队、数据开发团队、业务部门和IT部门共同完成，确保数据治理规则与实际开发流程相集成。问题。通过规章制度来进行约束。营造数据驱动的文化，并通过培训来提高表2传统数据治理团队vs.DataOps数据治理团队业务部门和治理规则(业务逻辑)收集用户反馈和数据质量报告和规划按照需求和规划收集用户反馈和数据质量报告设计数据架构和规划(数据质量和合规性)监控数据质量、收集用户反馈和数据质量报告IT部门设计数据架构收集用户反馈和数据质量报告表3DataOps典型协同模式举例3.安全管控研，具备最先进安全能力的组织在五年内的收入增长率要比其他组织高出43%。企业通过 (一)敏捷数据开发取得稳健成效，先行企业特征各异率提升50%,测试数据准备效率提升10倍以上，北京银行通过敏态数据研发模式将交付效能 (二)文化渗透促进数据深度应用，数据价值逐步释放(三)组织变革促进协同机制构建，业数合作更加紧密上，2022年同2020年增长14%。许多领头企业建设了跨职能DataOps实施典型误区解决思路：急用先行，把握节奏解决思路：急用先行，把握节奏解决思路：定权责、常沟通、重反馈、建流程、勤宣贯解决思路：定权责、常沟通、重反馈、建流程、勤宣贯 解决思路：业务导向，解决思路：业务