数据中台搭建方法论集合

1、数据中台搭建方法论集合步骤：数据集中化存储在上篇文章中我们谈及了在数据中台建设前，必须要进行数据集中化 存储，从而通过数据中台的建设，完成各业务线的改造。而具体来说，数据集中化存储就是在进行企业级维度的数据管理，在 这其中会涉及如下三个子任务：各个业务产生的数据汇总；数据加工：统一采集、清洗、管理方法；（将各个业务线的数据清洗方法以模板形式配置在企业数据引擎中）；全局数据模型生成；（某数据清洗引擎运作原理）完成这三个任务，对应的我们也建立起了一个企业内部的数据自流转体系。步骤：数据集中加工在完成了数据集中化管理后，下一步要做的就是建立数据口径管理， 实现统一集中计算，具体来说在数据中台中为了实

2、现集中计算，要进 行口径管理的一共包含如下4个维度：举个例子来说，在上篇文章（中台实战19）我们将数据集中化到了 数据中台进行存储，但是此时来自各个业务线的数据并不能直接使 用，因为不可避免的会出现各个数据名称不统一的情况。A业务线中会员数据名称:字段会员ID会员名称会员机上次访向时间11小王L8710385XXX2020 年 10 月 8 日 14:59:50B业务线中会员数据名称:字段会员ID会员族系方式上-次咖叫间小例11小王2D2Q 年 10 J 8 : I 14:59:50此时就需要将各个业务线的数据名称进行统一，这里我们通常会用软 映射的方法将不同的业务线数据进行统一起来，也就是建

3、立一张数据 表进行字段映射管理，如下图所示。但是刚才说到的是对现有数据进行管理，对于新产生的数据我们需要进行归一化管理，以便能让数据进入数据中台时就能统一，此时我们 就需要使用一套公司级数据载体进行管理: （1）建立唯一指标体系树 （2）建立统一数据事件 我们来一个个看。步骤：数据指标体系这一步我们就开始去建设我们的指标体系，但是在以往的指标体系管 理工具中，我们经常会面临到的一个问题是，不同人对数据指标体系 有不同的需求。例如老板更关注的是顶层结果指标，如毛利，成本，盈亏平衡等，但 是具体到运营同学身上，可能更关注的是昨日某事件的点击率，转化 率这些过程指标。所以在建设数据中台时，我们要在公

4、司内部建立起一套自上而下的指 标体系，以此满足各层级不同需要。此处也相当于是我们把整个公司 内部的指标进行了一个梳理。这里也就是我们数据中台中经常能见到的三级指标体系概念。I倒一级指标：公司战略层面指标.叵二级指标：业务策略层面指标回三级指标：业务执行层面指标我们大体上将指标按使用角色分为三类：一级指标：解决管理层的需求，如交易额，净利润，毛利等；二级指标：解决执行层路线评价需求，如渠道A收益，链路转 化路径长度等；三级指标：解决执行层具体执行效果，如步骤转化率，广告位 点击率等；需要注意的是，第三级指标一定要聚焦到用户的动作监控上，例如搜 索框场景下，搜索成功率，注册填写页各步骤点击率/转化

5、率，购物 车加购时间，购物车等待时间，收藏次数等各个维度的用户行为。在数据中台中集成这三类数据将帮助我们快速搭建起一个完整的指 标框架。步骤：数据指标管理当我们建立起了不同层级的数据指标体系后，接下来会遇到的一个问 题，在我们指标越来越多后，经常会出现各个指标之间冲突以及难以 理解和管理。例如A业务线存在指标7日渠道转化率，B业务线也存在7日渠道转 化率，但是A，B两个业务线对于渠道转化率的定义是不同的。具体来看这两个业务线中的转化定义：.A业务线的渠道转化：指的是用户在网页端完成注册既称为该用户作为活跃用户；.B业务线的渠道转化：B业务线因为拥有APP客户端，所以运营定义当用户下载客户端并登

6、录后再计算用户转化。此时我们可以学习并借用阿里带来的数据解决方案：OneData方法。OneData方法从本质上来说就是将指标定义进一步细化为两类：（1）原子指标：不可拆分的最小颗粒度指标，如活跃数/点击率等；（2）派生指标：在原子指标上增加若干维度修饰词组成派生指标。因此我们在公司内部定义唯一指标时，就可以按照这样的公式来产出 指标（派生指标）：原子指标+修饰词=派生指标这里的修饰词可以分为两类:面向主题域管理：按照具体的业务线、主题域、业务过程进行 定义修饰词，如A业务线留存率，8业务线留存率；以时间周期，行为类型定义修饰词，如7日/14日等这里传统的留存率指标可以被详细拆解为：留存率+事

7、业线+某模块+7 日五步骤：数据事件集中管理在工作中，很多时候我们都是在处理各个业务线的突发业务问题分 析，例如下述几个场景：A：订单量下降了，帮我看看原因是什么？B：用户注册量下降了，帮我看看原因是什么？而如果我们用产品的语言进行分析一下后上述场景实际就是这两个 需求：PM：下单事件分析-购买路径的流程分析PM：注册事件分析-用户从下载到注册的流程分析在很多地方这样的需求也被称之为数据事件分析，而实际上所谓的数 据事件就是一组连续的数据指标集合，这其中每一个数据指标都是按 照对应用户的每一步行为操作逻辑关系进行排列的。例如一个设计导流的功能主流程是这样的：对应的数据事件就应该是这样组成:序匕

8、惟件名称构政指掠1枸成指标Z构成指掠3构成指掠401新用户任务 转化率事件新用尸触达页 点击次数新用户目标页 跳转转化率新用尸目标页 任务完成吹数新用尸目标页 任务完转化率上述表格也是我在整理公司内部数据事件时的统一模版，这样能让我 清楚的知道都有哪些事件以及这些事件对于不同的指标的依赖是什 么？因此我们在进行数据中台建设时就应该将整个数据事件在此汇总，以 便集中管理。六步骤：设计数据事件除了集中管理数据事件，更重要的部分是要能进行数据事件定义，这 里就需要用到通用事件设计模型。通用事件设计模型可以分为三个部分:结果辅助参考知晅问蕙不是是虫姜的，虽圭要是瞬决方案T定义各描述层级权重找到最致命的那个元泰拆分问题，精准定义我们荽能准确描述手物是什么CD拆分问题找到具体衡量各元素组成指标eg：如复购率事件监控二A渠道复购率+B渠道复购率+召回渠道复购率；(2)定义各描述项的具体权重eg：在上述拆分出的三个构成因素中定位影响最大的元素，如召回渠道复购率是重要影响项；结果辅助参考 eg：定义出各指标后，如何根据具体指标变化的得出结果，如复购率 根据长时间检测，发现下降3%以内属于正常波动，而超过3%属于复 购异常，需要定位原因。七步骤：企业级数据应用基于数据中台的