数据中台交付标准化白皮书

阿里云全球技术服务部ALIBABACLOUDGLOBALTECHNOLOGYSERVICES阿里云研究院ALIBABACLOUDRESEARCHINSTITUTE埃森哲阿里事业部ACCENTUREALIBUSINESSGROUP阿里云智能全球技术服务部(GlobalTechnologyServices，简称GTS)是一支面向云智能客户，提供完整生命周期服务的技术履约团队。旨在通过专业化的交付实施、系统化的中台支撑阿里云研究院是阿里云智能事业群数智化转型智库机构，汇集多名来自数字科技头部企业、国际知名咨询机构和国家高端研究平台的资深专家，以“定义行业、洞察态势、拓展赛道、引领心智”为愿景，以“引领数智化转型新思想”本白皮书由阿里云和/或关联公司依法拥有其知识产权。非经阿里云和/或其关联公司书面授权，任何人不得擅自使用、修改、复制、公开传播、散布、翻译、发行或公开发表本文档的任何内容。凡转载或引用本文的观点、数据，请注明“来源：数据中台交付建议和意见反馈，请通过邮箱:AlibabaCloud-GTS@与我们联系。前言前言纵观历史、世界，数据的重要性不言而喻，对于企业而言数据即洞察，意味着只有洞察数据才能真正理解客户和市场、优化产品和供应链。在当下市场产能过剩、劳动力成本上升、个性化定制化生产和服务需求高速发展的大环境下，中国企业以往的粗放式管理所能带来的增长已难以奏效。从以前基于经验的粗放式管理升级为现在基于数据的精细化运营是企业发展的必由之路，而企业进行数字化建设是实现精细化运营和数字化创新发展的关键所在。1在数字化建设当中数据是重要的生产要素，但企业要将数据转变为前瞻性洞见及差异化资产，需要展开“数据重构”行动，梳理数据资产，建立强有力的数据战略和行之有效的数据治理机制；优质精确的数据能够为企业提供多维决策信息，助力企业不断完善产品和改进服务，从而吸引更多客户，加深与现有客户的关系。反过来，这又会促进未来产品和服务的创新升级，有助于预测和塑造未来需求并发掘新商机，而要达到数据重构的目标则必须通过数据中台来实现。所以，数据中数据中台最早是阿里巴巴根据自身快速增长的数据处理与使用需求提出来的解决方案，并且早期在阿里巴巴内部进行了试验，孵化、应用，模式成熟之后再推向外部市场，不过不同于云计算服务，数据中台缺少严格的规范定义和成熟的应用经验对标，并且与数据平台、数据仓库的关系也经常被外界混为一谈，让数据中台这个数字化转型助推器缺少标准化的行业认知、可复制的交付操作流程。此外，数据中台火热的市场也催生了一些伪数据中台企业，混淆概念、基于传统IT思维建设的结果伤害了一些对数据中台抱有开放心态的企业信心，这种交付大概率难数据中台是业务与技术的结合点，其基于产品化的运营思路，跑通数据流转之后，服务于业务前台，企业基于对数据的洞察优化业务方向，并通过反馈回来的业务数据再次输入数据中台，阿里巴巴作为数据中台理念的提出者、倡导者和实践者，自2016年首次提出数据中台以来，在电商、零售、金融、物流、交通、政务等各个政企行业积累了非常丰富和宝贵的实战经验，也深入理解政企行业在数据标准、数据质量、数据安全、数据治理、数据交换共享、数据价值挖掘等方面存在的普遍问题，数据中台可解决数据从生产到消费使用过程中遇到的这些问题。政企行业要建设好数据中台有四个关键要素：第一是战略投入，以数据中台为核心的数字化转型必须是一号位工程，因为其带动企业升级转型的过程中必定会涉及组织和业务流程的变革，需要企业核心管理层的坚定支持；第二是组织上要有保障机制，需要搭建具备业务、技术和数据整合能力的运营团队，因为数据中台的价值贵在持续的强运营；第三是选择合适的服务商与合作伙伴，确保对方有足够的交付经验与标准流程，能够根据企业自身业务的实际情况统筹规以方便企业实现数据打通和共享。在数据中台建设与交付过程中，存在专业度要求高、交付过程管控难、交付协同难等挑战，为应对这些挑战并实现数据中台交付，需要有一套数据中台交付的方法论、交付标准、交付工具和数字化交付工作台来指导、帮助企业和数据中台服务商来消电、零售商、文旅、健康、能源、航空等行业数百个项目实践经验的分析总结，也是深入研究数据中台交付流程和价值创造方式的阶段性成果，更是数据中台交付的方法、工具、平台等CONTENTCONTENT123424概述30交付业务价值化56缩略语GTS，GlobalTechnologyServices，全球技术服务部oCBM，CloudBusinessManager，云商务经理SA，SolutionArchitect，解决方案架构师oCSM，CustomerSuccessManager，客户成功经理oBA，BusinessArchitect，业务架构师oTM，TechnicalManager，技术经理oPMO，ProjectManagementOffice，特指项目可交付性管理PD，ProductDesigner，产品经理oQA，QualityAssurance，质量保障oTAM，TechnicalAccountManager，客户技术经理oODS，OperationalDataStore，操作数据层oCDM，CommonDataModel，公共维度模型层ADS，ApplicationDataService，应用数据层数据中台交付标准化白皮书随着全球逐步进入数字经济和数据智能的新时代，数字化战略已经越来越多的被各大企业制定为优先级商业战略，数据中台作为企业数字化转型规划的重要组成部分，在实践中不断被赋予新的内涵与价值。而随着全行业数据中台市场的规模化，其对应的交付技术服务支撑显得尤为重要，在很大程度上为数字化创新发展提供了保障基石。但从数据中台实际建设来看，数据中台交付技术服务仍存在着一定程度的挑战，该类问题若未得到及时妥善处理，将会降低服务质量。因此，数据中台交付标准化建设需求非常迫切，本章节结合阿里巴巴内部数据中台建设经验以及客户数据中台交付实践，提出交付标准1.21.2交付技术服务的涵义“中台”是企业实现各业务板块之间联接和协同，持续提升业务创新效率，确保关键业务链路的稳定高效和经济性兼顾的思想体系。中台从工具、技术及方法论三个方面推进企业数字化创新，业务中台完成企业系统在线、服务在线，数据中台解决企业数据业务数据中台是阿里巴巴创造的数据资产化和价值化体系，是集方法论、组织和工具于一体11的，“快”、“准”、“全”、“统”、“通”的智能大数据体系，它在数据赋能业务中形成业务模式，在推进数字化转型中实现业务价值。它由基础技术平台、数据构建与管理平台、数据资产管理与运营平台、数据服务平台等组成，面向零售、金融、政务、数据中台交付是分析每个客户从数据生产到数据消费全链路的诉求，按照数据中台方法论和流程，在客户已有产品基础上进行定制化组装或定制化开发新的功能组件，从而帮助客户实现业务数据化和数据业务化。数据中台交付的技术服务内容包含数据咨询规划数据应用建设服务DataApplication数据咨询规划服务DataConsulting数据中台数据资产建设服务DataTechnology在客户数字化战略规划基础上，结合客户数字化转型顶层规划和数字化转型蓝图设计，在转型规划阶段，针对数据中台建设提供业务规划、中台建设、资产运营、价值评估全流程技术咨询服务，推进企业数字化转型，服务内容包含数据中台蓝图设计、数据中台建设方法、数据资产管理与运营咨询、数据应用设计咨询等。数据咨询规划服务主要面22数据中台交付标准化白皮书2）数据资产建设服务在客户数字化转型蓝图设计和数据中台数据咨询规划的基础上，通过搭建大数据平台、数据标准管理、数据质量管理、元数据管理、主数据管理、数据安全管理、数据服务管理等。数据资产建设服务主要面向正在建设数据中台，准备做落地实施的企业，可与数3）数据应用建设服务在数据中台数据资产建设的基础上，打造成熟行业数据应用场景，推动数据与业务的深度融合，充分发挥大数据的乘数效应和倍增作用，实现数据资产“最后一公里”的价值服务内容包含洞察分析、智能搜索、关系网络分析、智能推荐、智能风控等。数据应用1.31.3交付技术服务的挑战围棋比赛后，棋手会通过复演该盘棋的记录，以检查对局中着法的优劣与得失关键，哪步是好棋，哪步是臭棋，从而让棋手的技术得到进步。同样的，在数据中台交付行业从零售电商逐步扩展到工业制造、能源电力、金融证券、数字政府等行业过程中，交付技术服务也在不断复盘总结。通过客户360满意度调研、内部调研、项目总结复盘、产销服沟通会等形式，总结数据中台交付技术服务方面的挑战。总体而言，交付技术服务33在《数智驱动新增长》书中明确指出，企业家面临最大的确定性是如何应对巨变时代的不确定性，未来十年全球数字经济最重要的主题之一是数字基础设施的重构、切换与迁移以及基于新型数字基础设施的商业生态再造。今天越来越多的企业因管理失衡、市场失焦、营销失语、系统失灵、增长失速等方面的风险而进行数字化转型，进行数据中台然而，实践表明，数据中台建设经常遇到客户预期过高、低估困难、押注外力等情况；客户想要服务商以标准专业的交付体系，以专业能力指导项目高质量完成，甚至是从各个维度以最佳实践和未来驱动的思想引领客户进入数据智能的全新时代。实际上，数据中台技术服务提供商因行业经验、专业人员、方案成熟度等方面的不足，导致以客户价数据中台的建设是业务和技术双轮驱动的，基于业务价值需求导向，企业在进行数据中台建设时通常会以数据统一化、标准化、资产化等为手段，进而实现数据面向全业务开管理流程制度、数据运营及上下游业务协同等，这样以来其交付周期一般以数月为最小1）数据中台项目交付一般都要涉及咨询、业务、数据、技术、运营等，交付技术覆盖范围广、资源需求大；同时，客户服务需求的多样性及服务商专业人员储备不足，导致数据中台设计和落地实施存在诸多质量问题和不确定性；2）在交付过程中，从需求调研、方案设计、开发实施到试运行，基本都是在线下由不很难实现对项目全局掌控，各个环节都容易出现不同类型的问题与挑战；除项目前期需44数据中台交付标准化白皮书3）交付验收周期长，根据各行业数字化转型趋势分析和阿里巴巴数据中台交付实践经验发现，数据中台技术服务从需求调研、方案规划再到实施落地的整体交付周期以数月挑战3：数据中台交付生态协同难一般产品交付完成产品售卖和产品部署即可，而数据中台交付是集成交付，包罗万象，软件、硬件、基础设施、大数据平台、数据资产、数据服务、数据应用、定制化开发等指出，随着企业数字化转型驱动，市场需求将持续增加，数据中台行业增长势头明显，市场规模快速扩张，预计将在2023年达到183.2亿元，数据中台规模化交付就势在进行彼此资源整合应用，来应对日趋复杂的企业需求及规模化交付需求。但是，数据中台服务提供商之间在能力的匹配上有很大不确定性，而造成这种不确定性的原因往往集中在伙伴间能力成长差异性、伙伴内部对员工的不同组织架构带来的不稳定性以及员工本人对职业路径规划所产生的波动性、伙伴对行业领域知识的缺乏。这些因服务提供商的知识和能力上的参差不齐，使得数据中台交付生态协同难，进而导致企业对数据中台1.41.4交付标准化解决思路埃隆·马斯克（ElonMusk）曾在愚人节跟粉丝开起了“特斯拉破产”的玩笑，一定程度上是由于当时特拉斯Model3的交付能力与客户需求量之间的不平衡，标准化的生产流水线是工厂的核心能力，对汽车企业来讲至关重要。因此，针对数据中台交付技术服务面临的挑战，数字化时代的数据中台规模化交付需要生产力提升，而生产力提升提55升的基础是交付标准化，标准化是解决交付挑战的核心思路之一。结合软件工程理论和数据中台交付实践经验，数据中台交付标准化建设方法分为挑战分析、标准构建和实践检验三个部分，如图2所示。挑战分析，通过对多个项目交付实践总结及复盘，将交付技术服务挑战抽象为三类，即交付专业要求高、交付过程管控难、交付协同难。标准构建，基于交付挑战分析，从四个方面进行标准建设，包含交付流程标准化、交付内容模板化、设计方法规范化、交付工具自动化。实践检验，基于数字化项目质量优良率、交付工具覆盖率等方面进行测试评估。标准化过程通过PDCA进行实践检验标准构建交付工具自动化设计方法规范化交付内容模版化交付流程标准化交付工具覆盖率项目质量优良率交付方案复用率交付标准化率挑战分析实践检验标准构建交付工具自动化设计方法规范化交付内容模版化交付流程标准化交付工具覆盖率项目质量优良率交付方案复用率交付标准化率交付专业要求交付专业要求交付过程管控交付过程管控交付生态协同交付生态协同通过数据中台交付的标准化，把交付过程中的各个要素和环节有机组织起来，使交付动作规范化、科学化、程序化，建立数据中台交付的最佳秩序，提升数据中台交付效率与质量，支撑数据中台的规模化交付，提升企业客户对交付服务的满意度。从实践来看，标准化建设的收益至少包含四个方面：专业提升，交付是一门艺术，涉及大量人与人之间的沟通协作，交付过程沉淀的核心资产可提炼抽象为通用解决方案和行业解决方案，66数据中台交付标准化白皮书交付标准工具及数字化工作台，能提升交付效率与质量，降低项目建设门槛与过程管控复杂度，为规模化交付奠定基础；生态协同，交付团队是连接产研、销管、客户、伙伴等的枢纽，有了交付标准和数字化工作台，多个角色之间的衔接就会更加顺畅，彼此合772.12.1概述“不以规矩，不能成方圆”，基于对数据中台交付技术服务的挑战分析和解决思路，我导向，实现数据中台技术服务的标准化、在线化、规模化交付；3个内容，即数据中台即交付标准流程、交付文档集、交付工具集；1个平台，即数字化工作台，数据中台技数据中台交付数据中台交付标准化在线化规模化数据咨询规划服务数据咨询规划服务数据资产建设服务数据应用建设服务交付流程交付流程交付中阶段>1.交付前置2.需求调研3.方案设计4.开发实施5.试运行6.上线维保降低生态交付门槛交付工具集数字化工作台云原生技术、云原生产品、云原生架构数据中台政企客户数据中台服务团队沉淀交付技术资产交付文档集交付前阶段交付后阶段88数据中台交付标准化白皮书交付流程、交付文档集、交付工具集是三位一体的能力支撑体系。基于交付流程动作及产出，沉淀交付技术资产，包含交付物、过程产出物、项目评审意见、阶段性汇报总结等文档；通过对多个项目文档的提炼抽象脱敏等手段，形成通用解决方案和行业解决方另一方面为交付工具打造提供输入；交付工具集，基于通用解决方案和基础产品开放能力，围绕具体交付实施场景而构建，能有效降低数据中台交付门槛，为交付动作执行提供武器弹药支持，同时倒逼交付文档集的不断迭代更新。交付技术服务团队包含业务架构师、技术架构师、数据产品经理及实施人员等，与政企客户服务对象一起，基于数字化工作台进行数据中台项目在线化交付。下面小节将对交付流程、交付文档集、交付工2.22.2交付流程动作流程是做事的规范和顺序，是提升工作效率的重要保障。结合客户项目全生命周期及交付团队参与度，将数据中台交付分为交付前、交付中和交付后三个阶段和六个流程，如图4所示。其中，交付前阶段包括交付前置，交付中阶段包含需求调研、方案设计、开发实施、试运行，交付后阶段包含上线维保。通过标准化的交付流程，针对不同的客户交付前阶段交付中阶段交付后阶段1.交付前置2.需求调研3.5.试运行6.上线维保992.32.3交付文档集易用、易懂、易找的技术文档资料对降低成本、构筑交付生态体系、培训赋能、打造行业影响力，以及提升交付专业度和企业竞争力都有重要的价值。在交付技术服务的各个阶段，随着交付任务阶段性完成，技术资产也随之在数字化工作台上逐步沉淀下来，经过脱敏提炼抽象等，按照通用数据资源目录划分方法，结合文档打标签等，进而构建起交付技术知识库，形成标准化的数据中台交付文档集，为高质量完成各项交付任务提供2.需求调研2.需求调研3.方案设计4.开发实施5.试运行3.方案设计4.开发实施5.试运行2.42.4交付工具集“工欲善其事，必先利其器”，工匠在做工前打磨好工具，操作起来就能得心应手，达到事半功倍的效果。交付工具一方面辅助提升交付效率，另一方面降低数据中台交付门槛，让生态伙伴使用工具也能做交付。基于数据中台交付的各个阶段的交付质量要求，抽象交付文档中的共性内容，采用产品化思维进行更高维度的标准化构建，形成标准化的数据中台交付工具集，如数据盘点工具、数据集成工具、数据校验工具、代码扫描工具等。交付工具集支撑交付流程高效率高质量完成，同时有效降低数据中台生态交付门数据中台交付标准化白皮书槛，为规模化技术服务提供强大的自动化技术手段。数据中台交付各环节的交付工具如数据盘点工具对需要纳入到数据中台的数据进行盘点、分类，结合业务过程梳理，为数据架构设计及数据建模提供输入；可支持MySQL、Oracle、DB2、SqlServer、HANA、MongoDB、PostgreSQL等数据库，支持插件式扩展；配置数据源后，可2）数据集成工具提供面向批量数据采集场景、使用便捷的工具；提供可视化数据采集规则配置，如表命名规范、任务命名规范等，与数据盘点提供的智能数据采集建议无缝结合，自动化获取3）数据探查工具数据探查工具基于业务需求分析和数据应用设计，通过对数据及其质量进行初步探查，确保需求可落地性及实施效果；基于质量探查需求和自定义业务规则，进行数据核查和验证，判断数据质量与业务需求匹配度；可基于默认规则或自定义规则进行数据探查，4）数据建模工具数据建模工具基于行业级数据标准及标准数据模型进行标准化规范可视化的数据模型构建工作，提升数据模型设计的质量和效率；可将数据库元数据、DDL、数据模型文档等多种方式导入逆向建模从而快速引入建模素材，并且支持数据模型的DDL，文档方式导出及数据平台对接直接转化成业务系统物理模型生产力，保证了设计开发的一致性，5）数据校验工具通过数据量校验、指标校验等方式确保数据在采集、设计、建模、开发过程一致，保障6）数据回刷工具数据回刷工具由于数据模型设计方法的差异性，上游业务系统数据结构调整或数据口径变更时，需对数据表的历史分区数据进行回刷；ODS层回刷支持笛卡尔积、动态分区等方式，CDM层与ADS层支持多周期合并、行列级回刷等方式。数据中台交付标准化白皮书7）代码扫描工具代码扫描工具基于代码质量规则，对定制化开发的代码质量进行检查，发现代码编写不规范、效率低等质量问题，提升代码检查效率并提供优化建议；支持全量代码扫描、单条SQL调试、按任务编号扫描和按代码空间扫描等。基于上述的系列交付工具，交付过程变得更清晰和简单，交付前、交付中、交付后的流2.52.5交付服务团队一个好的工程项目必须有一套完整的组织保障机制。数据中台以业务价值为导向，其交付专业要求高、过程管控复杂、交付生态协同难，要高质量建设数据中台，除了交付流衔接顺畅、各司其职、各尽其责。站在数据中台建设全生命周期视角，除了客户和生2.需求调研交付前阶段2.需求调研交付中阶段>>3.方案设计4.开发实施5.试运行6.3.方案设计4.开发实施5.试运行6.上线维保交付后阶段1.交付前置1.交付前置需求方案风险识别交付评审启动规划业务调研技术调研数据调研蓝图设计产品设计架构设计数据建模测试方案数据集成数据研发应用研发集成测试试运行知识转移售后保障项目验收CCCCBMCCCIIIPMOCSMCCCCCCCIIIIIIIIICCCCCCCRIICCICCCCCITMCCCRICCCCCICCCIIIICCICCCCCIQACCCIIIICCCCCCCCCCCITAMCCI客户CIICCCCCCCCCCCCCCCCCCR伙伴IRRRRRRRRRRRRRRRRRIR：执行人A责任人C征求意见I被告知态伙伴之外，数据中台企业服务角色构成主要包括SA、CBM、PMO、CSM、BA、TM、PD、QA和TAM，项目不同阶段由不同的团队来负责，每个角色在各个不同阶其中，SA解决方案架构师负责售前客户需求调研与方案设计，CBM客户经理负责对售前商务风险等进行识别判断，PMO负责对项目可交付性进行评审，CSM对项目启动规划及最终项目验收负责，BA对业务需求及业务架构设计负责，TM对数据和技术架构及其落地方案负责，PD对数据应用及数据产品设计负责，QA对测试方案及落地负责，TAM对售后运维负责，各角色在CSM、BA、TM的统筹下进行协作，共同对RACIResponsibleAccountableConsulted谁负责，负责执行任务的角色，具体负责操控谁批准，对任务负全责的角色，只有经同意表1RACI责任分配矩阵说明每个交付阶段涉及客户、阿里云、生态伙伴等，要确保不同的角色之间分工明确、各司其职、衔接顺畅，就需要明确不同的角色职责边界和衔接关系，这也是交付过程管理中数据中台交付标准化白皮书2.62.6数字化工作台数字化转型过程中的大型项目，开发团队动辄数十人至几百人，来自各个不同的组织。沟通不畅、信息分散、严重依赖个人能力的情况时有发生，就好像盲人摸象，项目的透明度低下，严重阻碍项目走向成功。过去的项目管理以及协同的方式已经不再适合今天大型全要素的数字化转型的过程，急需要全新的数字化转型交付和服务的方法论以及与之配套的工具和平台。2021年10月19日，飞天技术服务云栖大会上正式亮相，整体提出了组织在线、成员在线、业务在线及项目在线的全量在线的企业服务模式，首次透明企业服务的全过程，为不同角色提供社会化的协作、数据化的管理、智能化的管理能力，实现项目在线、精益管理、优秀履约的目标。客户、数据中台技术服务服务团队在一体化的数字化工作台上完成服务履约；客户随时可查看了解项目过程，同时会基于在线IM工具完成服务及沟通互动；伙伴从人、财、事、物四数字化工作台风险预警知识搜索客户洞察人员画像智能决策业务层风险预警知识搜索客户洞察人员画像智能决策业务层主题库建设人员主题库项资客生主题库建设人员主题库项资客生目产户态主主主主题题题题库库库库数据层数据资产构建与管理权限管理账号管理产品管理策略管理平台管理交付技术应用服务应用层政企客户应用结算管理标准中心我的工单工单管理企业信息文档中心待办消息待办消息人员管理项目管理工具中心管理层数字化工作台功能结构示意图，如图8所示。管理层基于云原生架构设计、云原生的产品与技术实现，提供基础的账号管理、权限管理、产品管理等能力。应用层为技术服务标准中心为标准交付流程与动作、交付方案、交付过程产出等提供能力支撑；工具中心为交付工具提供上架、下架、与交付动作关联等提供能力支撑；文档中心承接标准中心的过程产出文档，并提供文档打标、查看、搜索、下载等能力。数据层，基于应用层产为交付标准化率、交付方案复用率、项目质量优良率、交付自动率等标准化指标提供数据支撑。业务层，提供风险预警、知识搜索、人员画像、客户洞察等应用。数字化工作台为标准化的数据中台交付流程、交付文档和交付工具提供长效平稳运转和持续迭代演数据中台交付标准化白皮书3.13.1概述标准，是在一定范围内获得最佳秩序，经协商一致，并经过人工机构批准，共同使用和重复使用的规范性文件”；数据中台交付标准化，为是为了在交付前、交付中、交付后获得最佳秩序，制定交付技术服务流程、业务动作、文档模板、设计规范、工具平台、服务角色、职责矩阵等的活动，以提升数据中台交付效率与质量提升，支撑标准化、在线化、规模化的服务履约，保障客户服务满意度。下面章节针对交付前、交付中、交付3.23.2交付前阶段交付前阶段包括交付前置环节，支持售前团队进行数据中台需求沟通及方案设计，提前识别交付风险，并提供规避建议，完成数据中台项目签约，保障项目交付履约。交付前置环节的交付任务包括需求方案、风险识别、交付评审和启动规划。交付前置环节各项12343.33.3交付中阶段3.3.1需求调研环节需求调研环节基于工作说明书中的业务目标和范围，从业务、数据、技术等方面对客户数据中台交付标准化白皮书1232）基于业务需求调研提纲模板、业务需求分析说明模板，结合数据盘点工具和数据探查工具进行业务调研，并提交业务需求调研、业务需求分析说明和业务需求调研会议纪3）基于技术需求调研提纲模板进行技术调研，并提交技术需求调研提纲和技术需求调4）基于数据资源目录模板、数据字典模板，结合数据盘点工具和数据探查工具进行数据调研，并提交数据需求调研提纲、数据需求调研会议纪要、数据资源目录表和数据字3.3.2方案设计环节为开发实施提供输入。方案设计环节的交付任务包括蓝图设计，产品设计、架构设计、12345数据中台交付标准化白皮书3.3.3开发实施环节开发实施环节基于数据中台详细设计方案，进行数据中台平台环境搭建、数据采集、代开发实施环节的交付任务包括数据集成、数据研发、应用研发、数据回刷和集成测试。123452）基于需求调研环节的业务需求分析说明文档和方案设计环节的技术架构设计方案文3）基于方案设计环节的技术架构设计方案文档和数据模型设计方案文档，结合数据建4）基于方案设计环节的产品需求设计方案文档和技术架构设计方案文档进行5）基于需求调研环节的业务需求分析说明文档和方案设计环节的技术架构设计方案文6）基于方案设计环节的数据中台测试方案文档，结合数据校验工具和代码扫描工具进3.3.4试运行环节试运行环节确定试运行目标与范围，制定试运行方案与运行保障机制，配置监控告警，完成知识转移，为转维和终验做准备。试运行环节的交付任务包括试运行和知识转移。12数据中台交付标准化白皮书3.43.4交付后阶段制定维保方案，完成项目转维和验收。上线维保环节的交付任务包括正式上线、售后保1234.14.1概述过去的20年，是国内乳制品行业跌宕起伏的20年。在2008年前，国内乳制品行业高速增长，涌现了诸多百亿、甚至千亿级企业。然而，2008年震惊全国的“三聚氰胺事件”，一下让国产乳制品行业陷入了长达10年的缓慢恢复期。外资“趁虚而入”，市场份额在2010年至2017年期间从48.5%提高到59.3%。不过，并非所有国产乳制品企业都在那场危机中倒下，有的企业在这20年里集聚势能、厚积薄发，成为了如今国产乳制品企业的龙头，某乳业集团就是其中之一。“乳制品行业，食品安全永远是第一位。我们能够对卖出去的每一个产品进行溯源，这与该集团近年来积极推动数字化升级密不可分。据悉，在数字化升级战略支撑下，该集团已经通过数智化技术建立起完备的数字业务逻辑，真正实现技术赋能产业，助推企业发展。由于范围原因，本章主要针对该乳业集团数据中台建设与实施落地涉及的交付标4.24.2数据中台交付内容大数据、云计算、人工智能等技术的不断发展，给乳制品行业带来了新的变革与机遇。如何用数据和技术，打通产销运的全产业链，更加高效地推动新零售业务改革，成了摆数据中台交付标准化白皮书在传统企业面前最迫切的一道必答题。对该乳业集团来讲，数智化转型升级的驱动因素主要有三个方面：一是，与其他传统企业一样，早期的信息系统基本根据业务部门需求进行建设，各个系统之间相对孤立，系统烟囱、数据孤岛问题随着系统建设的增多而越发明显；二是，对消费者的精准洞察能力不足，消费者是谁、在哪里、偏好是什么等企业并不知道，无法实现精准营销触达；三是，供应链端过去基本都是采用人工沟通和计今天企业面临最大的确定性是如何应对巨变时代的不确定性，在这场波澜壮阔又充满风险的数字新大陆航海中，该集团结合自身现状和转型需求，适时提出数字化转型战略及规划，通过数字化体系的搭建赋能智慧销售和智慧供应链两大业务，促进企业高质量、可持续发展。数据中台是数字化转型规划的核心内容之一，2018年该集团和阿里巴巴达成合作，分两期进行消费者端数据中台和供应链端数据中台建设，两期数据中台全景一期数据中台二期数据中台数据中台工具平台数据应用智能大数据平台商品数据体系消费者数据体系 供应链业务数据数据来源其中，一期数据中台覆盖CRM系统、电商平台、C端埋点日志、网络舆情等消费者相关的业务数据，设计会员、营销、渠道、交易、产品、日志、公共、财务等数据域，建设会员洞察分析、商品洞察分析渠道洞察分析、营促销洞察分析等数据应色标识；依托一期建设基础，新增ERP系统、WMS系统、采购系统等供应链相关的设质量板块、生产板块、物流板块等数据洞察分析场景，以及智能应用和溯源系统，如图9橙色标识；通过两期数据中台建设，打通生产端、供应链到需求侧的数据，推动全那么，数据中台交付是如何一步步展开的？如何通过交付标准化手段，围绕交付标准流程、交付工具及数字化工作台，确保数据中台高质量高效率履约，帮助客户进行数智化4.34.3交付流程标准化二期供应链数据中台的总体设计及价值目标是，基于供应链应用场景的数据赋能，实现供应体系规范化、精益化、智能化；主要包含业务场景赋能、全链路溯源系统建设、智能调补货应用建设三大功能。项目建设历时一年多，数据调研覆盖10余个供应链业务系统，业务调研涉及100余人，范围包含各业务部门、工厂人员等，采集业务系统表800余张，落地供应链业务分析指标500余个。2020.042020.092020-122021-04需求调研项目交付完成需求调研项目交付完成二阶段上线试运行项目启动业务蓝图与MRD设计一阶段上线试运行场景完成建设2020-102020.062021-022020-102020.062021-02数据中台交付标准化白皮书项目组采用标准流程交付，项目启动后快速构建起由客户、阿里云和伙伴组成的项目交付阵型，明确职责矩阵、分工界面及衔接方式，结合工作需求说明书及标准流程动作，形成项目交付的里程碑节点，如图10所示。在CSM、BA、TM等角色的统筹下，基于项目交付里程碑节点要求、项目执行计划及项目管理章程，高质量高效率推进项目交付，具体标准流程动作如图11所示。下面以需求调研和方案设计两个关键动作说明各需求调研，整体由业务架构师负责，技术架构师、客户和伙伴协助配合；业务架构师负责业务流程调研、业务需求分析、指标梳理并组织对产出物进行评审；技术架构师结合业务流程及指标清单，进行数据盘点，梳理业务过程和数据流向，并参与客户的全局业务架构调研及核心业务流程调研，参与业务架构师组织的评审；客户负责整理业务调研和数据盘点所需资料，组织业务调研和数据调研，参与调研或接受调研，并对业务和数据调研的问题进行解答，参与产出物评审及确认；伙伴配合业务架构师和技术架构师进技术架构师、客户和伙伴协助配合；业务架构师负责指标范围和优先级梳理，指标业务逻辑（业务口径、所属业务流程、数据来源、业务规则等）和分析链路确认，并组织指标落地可行性评审；技术架构师结合数据盘点和指标业务逻辑进行数据探查，确认数据来源及数据质量，参与指标落地可行性评审；客户负责进行指标口径确认，参与评审并确认指标可落地性。方案设计，整体由技术架构师负责，业务架构师、客户和伙伴协助业务架构师协助确认指标清单及其业务口径，参与方案设计评审；客户协助确认指标计算逻辑及取数来源，参与评审并确认方案设计，并对业务与技术问题解析解答；伙伴配1.交付前置2.需求调研3.方案设计4.开发实施5.试运行6.上线维保需求方案••系统建设情况调研•••数据情况摸底调研•••需求方案与SOW编写•可交付性评审•确认SOW内容••可交付性评审•••风险与规避建议••项目启动规划••确定生态伙伴•锁定框架伙伴核心人员•启动项目交付准备工作•项目启动会业务调研供应链等高管访谈总部各部门调研区域销售与经销商调研代表工厂现场调研技术调研IT组织架构调研业务与应用系统现状调研技术体系调研基础设施调研管理规范调研数据调研供应链业务流程调研数据架构调研系统数据调研数据资产管理调研数据集成调研业务日志数据调研业务蓝图与MRD设计••15个分析场景设计•••指标数据探查确认•••溯源系统MRD设计••智能应用MRD设计•场景与应用PRD设计•••15个分析场景PRD设计•••溯源系统PRD设计••••••••••••智能应用PRD设计•••••••••••••••技术架构设计数据模型设计ODS/CDM/ADS模型设计溯源系统与智能应用数据库设计测试方案设计数据准确性测试方案集成测试与UAT测试方案溯源系统与智能应用测试方案数据上云实施上云任务开发ODS层数据清洗数据一致性校验数据模型开发CDM/ADS层模型研发调度任务开发数据开发溯源系统与智能应用数据库研发数据应用研发分析场景页面开发UI设计美化溯源系统与智能应用前后端研发数据回刷ODS层数据回刷CDM层数据回刷ADS层数据回刷集成测试数据质量测试报表集成测试溯源系统集成测试智能应用系统集成测试试运行•试运行方案•上线策略与支持•试运行报告知识转移•文档转移•账号权限转移•定制化开发转移•平台资源转移正式上线•上线方案•上线报告•运营管理制度售后保障•交付转维•问题反馈机制项目验收•项目验收报告•遗留问题解决通过标准交付流程与质量管控，无论是客户满意度还是交付效率与质量均有显著提升。该客户某负责人曾讲，“阿里云通过标准专业的交付体系，以专业能力指导消费者端和供应链端的数据中台项目高质量的完成，有了这个基础，双方将在新零售、泛电商、智慧物流等领域的进一步展开深入合作，助力公司数字化战略，共同打造引领未来商业模式的新零售行业标杆“。阿里云GTS内部对该项目的也给予高度认可，”项目各角色分工明确、各司其职、相互配合、高效协同，项目推进节奏顺畅，效率与质量较之前提4.44.4交付内容工具化该数据中台项目建设过程中，除了流程标准化外，交付工具集也成为效率大幅提升的重要生产力工具。项目执行计划交付中阶段包含业务调研、数据调研、技术调研等15个交付标准动作，其中数据盘点、数据集成、数据探查、代码扫描、数据校验等7个动作由工具配合完成，标准动作工具覆盖率达到47%，随着工具功能不断增强，工具覆盖率还会进一步提升。数据盘点工具、数据集成工具、数据探查工具、代码扫描工具是典数据中台交付标准化白皮书型代表，4个工具在项目交付不同阶段发挥重要作用，使得纯人工交付工作不断减少，其节省工作量占比如图12所示。以需求调研阶段的数据调研为例，需对某Oracle数据源中的3300多张表进行盘点，要求输出数据资源目录表及数据字典表，之前人工盘点至少需要9800分钟，使用工具一键盘点90分钟以内完成，标准动作工具覆盖率47%47%人工完成标准动作工具完成标准动作工具节省工作量占比980026%980026%u数据盘点u数据集成u数据探查u代码扫描工具盘点与人工盘点对比人工盘点工具盘点另外，工具本身融合了设计规范和交付产出模板，其产出内容严格按照设计要求，避免不需要强依赖经验丰富的专业人员，有效降低了数据中台的交付门槛。客户对工具价值给予充分肯定，“众所周知，数据中台的建设不是一蹴而就的，工具不仅仅帮助项目组高效率高质量完成交付服务履约，同时还降低了数据中台的建设门槛，让我们的团队也能基于工具体系持续运营迭代数据中台，持续发挥其业务价值，对客户和服务商来讲是4.54.5交付过程在线化如果不能衡量，就无法管理；如果不在线，就很难衡量；结合交付数字化工作台，将交付标准流程、交付标准方案和交付工具体系统一纳管起来，实现交付在线化和数字化，数据中台交付技术服务团队可在线进行任务分配、进度跟踪、需求提交、风险反馈等，在项目启动阶段，完成项目交付方案导入，项目交付方案中包含交付标准流程和任务动作，每个标准动作默认内置了标准文档模板，交付标准动作与交付工具对应关系工作台可配置。交付过程中，根据项目进度迭代更新任务状态和产出物，产出物会统一沉淀到知识库，提供打标、搜索、预览和下载等。同时，数字化工作台的数据中心，会自动计算产出标准化相关的检查指标，如交付标准化解决思路小节中提到的交付方案复用率、交付过程在线率、交付质量优良率及交付工具覆盖率等。以数字化工作台的能力作为支4.64.6交付业务价值化该乳业集团经过两期的数据中台建设，做到了从经验主义到数据主义的转变，其业务价行层,各业务部门使用同一分析工具,统一逻辑,避免沟通误会；双向，拉通全产业链数据,打破供应链上下游壁垒,有效协同,提升业务运转效率；敏捷，免除手工从各业数据中台交付标准化白皮书务系统收集数据合并分析工作,利用阿里云算力,对大数据进行多维度分析,有效利用资源于决策及改善,提升对供应链的晌应能力及决策能力；倒推，通过建设数据中台,识别数据的问题及缺失,反推业务流程及系统的改造；预知，通过预警逻辑,智能预警同源同源双向数据中台倒推预知敏捷数据中台建设使得数字化赋能业务，一期数字化营销覆盖消费者、经销商、门店，二期形成闭环，进而加速数字化转型，与阿里巴巴数字化转型五部曲“基础设施云化、触点4.74.7交付要素全面化纵观其建设历程，除了交付技术标准外，“一号位、分阶段、练内功”是其取得如今成是一个漫长而痛苦的过程，考验的是耐心和决心。两期数据中台建设均由集团董事长、业务一号位、信息技术一号位等亲自领导，组建数字化转型工作委员会，通过委员会推数据中台建设不是一蹴而就的，实施周期比较长，以数月甚至年为单位，需合理控制预期，速赢优先，分阶段建设。结合企业分析价值链，该集团一期围绕销售与服务，建设冷静对待转型方案，找到适合自己的数据中台建设路径，并且按照路径坚定不移的进行企业分析价值链企业分析价值链市场和计划制造、采购及仓配销售与服务地区分析品类分析库存诊断供应链诊断导购分析营销分析门店洞察积分洞察预算管理研发分析消费者洞察促销跟踪促销跟踪多渠道洞察 市场洞察计划分析定价分析资源优化供应商洞察品种优化订单满足分析二期数据中台一期数据中台业务管理及支持业务管理及支持员工洞察财务分析风险分析项目及组合分析税务分析成本分析成本分析总帐分析总帐分析应收应付应收应付资金分析资金分析税务分析税务分析资产分析资产分析设备分析设备分析故障