跬智信息（Kyligence）：2023指标平台建设方法与实践白皮书

指标平台建设背景5指标平台发展史5早期的数据建模(1996-2010年)5⾃助式BI的出现(2010年初)6数据平台的进步(2015-2020年)6数据分析平⺠化孕育了新的数据应⽤(2017年⾄今)7指标平台概念介绍8指标建设的现状88痛点2：指标⼝径、标准不统⼀9101010101111理解业务12发现问题12定位原因1212挖掘价值12台建设框架13基本概念1313指标分类1313141421414派⽣(衍⽣)指标1414指标计算15论16OSM161718指标数据标准20指标标准要求202121指标平台功能规划22指标定义22指标看板2223指标⾎缘23指标分享23指标推荐23异动预测24指标洞察2424Kylin24Spark25Druid25ClickHouse25KyligenceZen⼀站式指标平台介绍26KyligenceZen263KyligenceZen26KyligenceZen29指标平台建设案例30平安银⾏：潘多拉指标平台3035UberuMetric41总结42关于Kyligence43参考引⽤444指标平台的话题在数据界越来越热⻔，往往热⻔的东西总是新出来的。但实际上，和商业智能(BI)的概念⼀样，对其进⾏分析，需要有⼀个集中的地⽅来进⾏指标的定义和管理，因为只有在⼈们信任数据，且每个⼈使⽤的数据都保持⼀致时，项⽬洞察和商业分析才有价值。然⽽现实情况是，混乱的数据孤岛、增⻓的数据量、复杂的计算，才是每个数据故事的开头。分散的指标给数据分析师带来了诸多困扰，在多样的前端需求(CRM，BI，早期的数据建模(1996-2010年)5⾃助式BI的出现(2010年初)2010年后，交互式仪表盘在业界掀起了⼀场⻛暴，为数据团队和业务团队之间更多的合作开辟了道路。随着交互数据平台的进步(2015-2020年)平台旨在摄取、处理、分析和展⽰，将不同的源数据统⼀到数据仓库进⾏处理。随着越来越多的公司投资数据平6数据分析平⺠化孕育了新的数据应⽤(2017年⾄今)近年来，数据分析的流⾏使得这种专业化更进⼀步，孕育了新的⼯具，实现了新的应⽤平台对接。这引发了对治⾜数百LBI家的共识是将对指标的统⼀管理作为这层中7OLAP指标平台的概念开始介绍。绍指标平台是供组织集中管理、存储关键指标的平台，提供统⼀业务模型、指标管理、指标加⼯、数据服务于⼀体为⼀个⼀可信源，开始受到重视，有了指标平台，您可以：。在分析数据时看到⼀致的结果。状指标能够直接反映企业的⽣产运营状况，从⽽为企业决策提供数据⽀撑。⼀⽅⾯随着国家⼤数据战略实施与企业数字化转型的驱动，指标的重要作⽤⽇益凸显；另⼀⽅⾯指标管理上的诸多痛点使得全企业实施统⼀的指标管理想把指标管理好并不容易，不仅需要科学合理的⽅法论，还需要有效的技术⽀撑。指标作为⼀种业务元数据，与企业元数据有着千丝万缕的联系，所以可以把指标管理当做元数据管理的⼀个应⽤。那么，如何管理指标？如何通过分解业务实现指标的管理？为了解决这些问题，我们先从企业⽬前指标管理的痛同8⼀数据⼝径是指统计数据所采⽤的标准，即进⾏数据的相关⼯作所依照的指标体系。数据⼝径包括采集⽅式、统计等指标。在企业内各部⻔、各渠道的业务员，会根据⾃⼰业务范围内的指标进⾏命名，这样就会造成⼝径不⼀致的情况。指标⼝径不统⼀就会导致⼀个简单的业务问题在不同团队那⾥会得到不同的汇报数字。更糟糕的是，9建⽴完整的指标体系在企业中尤为重要。如果没有指标，我们能够知道的信息就会变得很少，亦或是获取信息的成本会变得很⾼。如果只有指标，⽽没有体系，我们能够知道的信息就会变得很窄，亦或是获取的信息就会变得离⼀线业务较远；公司的业务虚拟属性越强，指标体系越为重要，因为公司与客⼾的距离较远。简⽽⾔之，建⽴组织⽬标，追溯连环出错，还是说数据在录⼊的时候就出错了？是谁的责任？”指标⼤多都是经过多种计算得到的，有些指标需要经过很⻓的加⼯过程才能得出。如果⽆法追溯指标的加⼯过程就难以知晓指标所⽤的数据来⾃哪⾥，且⽆法快速找出指标出错的原因和对应的责任部⻔，使得指标的⼀致性、保证。企业不仅需要管理数据的系统，更需要⼀个完整的规则系统以及规章流程。数据治理基本上涵盖了企业所有与数保证数据的可⽤性、⼀致性、完整性、合规性、和安全性，确保在整个数据⽣命周期中，都具有较⾼的数据质量。⼀旦数据的质量难以保证，那么多少⾼⼤上的分析算法都成了空中楼阁。底层的基座决定上层建筑。如果给数据重复，分析效率低指标平台旨在管理企业的海量指标，以及指标的各类衍⽣和复杂计算，这就涉及到指标成倍的存储和计算。随着数据量产⽣速度越来越快，传统平台存储与计算能⼒遇到瓶颈，查询耗时较⻓，⽆法快速响应。虽然指标平台前期建设也需要⼀些指标的计算设计，但是后期指标平台可以通过派⽣、复合，减少⼆次创造指标的重复劳动问题将指标物化在数据仓库层是⽬前来说常⽤的⼀个解法，数据仓库⽀持将指标定义在视图(Vi部w)中，然后让其他⼯具去查询视图。不少企业⽬前就是在使⽤视图来解决分析指标的计算和查询问题。使⽤视图的问题是仅能针对⼀些查询需求进⾏物化，在各类查询需求繁多的时候，数据⼯程团队需要准备⼤量的视图，开发成本极⾼，数据出错。当上游的数据出现问题的时候，下游系统很难知道，就⽆法及时同步修复，这会导致数据的消费者如数据科学家，b在⾃助式分析逐渐普及的趋势下，传统数据平台不能够⽀持灵活的⾼并发的分析⽅式，⾃助式体验不好。⽐如有时候决策者想要下钻分析到局部，但是系统却不能响应即席分析。此外，数据查询以后进⾏的聚合计算会导致数分的需求。价值动因在不久以前，如果组织想要⼀个集中的指标平台，他们必须⾃⼰建⽴。这需要⼤量的基础设施投资，有时还需要⼊后，价值，我们接下来介绍。体理解业务的真实状况，贴合业务的价值和⽬的。业务⽤⼾也可以通过指标所描述的对象和场景来理解业务，⽐通过对历史数据的对⽐分析，指标的不同特点可以反映业务问题。例如指标在各个维度的特点，指标有没有随着时间产⽣周期性变化，还可以分为在不同的业务⽣命周期和⽤⼾⽣命周期。在同样的指标下，不同业务场景表现判断业务好坏也可以通过设置指标参照的基准，这个基准除了⽤于判断业务表现以外，还可以衡量业务成⻓。⽐指标的变化只是描述了历史变化，其中变化的原因才能说明业务的问题。同样的⼀个指标变化，背后的原因在不同场景下可能不⼀样。客单价降低，如果是因为扩充了低单价品类商品或者新⽤⼾⽐例增加引起的，那就不⽤太紧张，但如果是因为缺货、⽼客客单价下降等，那可能就有⽐较⼤的问题。指标的关联因素实际上会影响指标的变化，指标的关联因素主要考虑的是，该指标发⽣波动是哪些因素造成的，指标和另外的哪些指标会共同变化，运营管理效率是⼀家企业执⾏⼒的体现，是将战略⽬标在组织层⾯进⾏分解，然后逐步落实并实现的过程。在⼤，企业必须要建⽴⼀套数据感知响应系统，通过即时的数据采集、数据分析及决策，实现即时响应，并外部环境的最佳策略。企业需要采集数据并建⽴指标体系，对运营的各个环节进⾏数据化和指标化，让所有运营活动都⽤数据表征，这运营管理的各个环节，提升过程管控的⼒度和粒度，提⾼管理的精细化程度。业务发展的过程中会产⽣⼤量的数据，企业需要对数据背后映射的价值进⾏洞察。只有把数据和业务结合起来，通过处理和分析才能体现数据的价值。通过指标体系来监测业务数据，分析业务的发展情况，能帮助企业更好的业沉念化，才能够被解决。就好⽐家⾥有了⼀台秤，才能衡量减肥的效果。那么如何量化管理企业呢，这个统⼀的标准维度是度量的环境，⽤来反映业务的⼀类属性，这类属性的集合构成⼀个维度，也可以称为实体对象。维度属于如地理维度(其中包括国家、地区、省市等)、时间维度(其中包括年、季、⽉、周、⽇等级别内。维度是帮助度量值使⽤者理解度量值含义的上下⽂。根据部⻔管理职能和业务覆盖范围，将指标数据项进⾏结构化归类，划分⼀⼆三级主题，并以此作为后续指标应原⼦指标和度量含义相同，也叫基础指标，是基于某⼀业务事件⾏为下的度量，是业务定义中不可再拆分的指标，称，如⽀付⾦额。派⽣(衍⽣)指标标：⾦额年累计维度维度属性指标主题原⼦指标/度量派⽣指标复合指标标计算类型⼤致做⼀个分类如下。Ÿ带有标准函数的聚合指标：类似于上⾯的简单聚合，但带有额外的数学运算符。例如，利润可以定义为在变化，并且您有另⼀个表，Ÿ具有窗⼝函数的指标：诸如移动平均值、年累计总和、百分位或任何类型的数据聚合，代表您需要在当Ÿ具有多个聚合级别的指标：这是⼀类特殊的指标，通常表⽰⽐率。例如，如果您想定义产品在其类别中组的收⼊，然后您想在产品类别级别总结收⼊，组合结果然 LoD函数。Ÿ多事实指标：有时指标跨越多个事实表，这些事实表之间可能有直接关系，也可能没有直接关系。例采购事实，银⾏对账单、信⽤卡交易记录，可以找出违约⻛论⾸先需要对公司的、业务的、产品的阶段性⽬标进⾏确定。所选取的业务⽬标是否真正的可以反映公司的经营战略。制定业务⽬标是最为重要的，是公司的战略⽅向。指标设计要贴合业务的核⼼价值⽬的，可以衡量业务的真案例核⼼价值北极星指标案例核⼼价值北极星指标Ÿ第⼆步：细分业务策略(Strategy)接下来是细分业务的策略。为了实现总的业务⽬标，需要各个下属部⻔对于总的⽬标的拆分⼦⽬标的实现进⾏计例如为了⼦⽬标提升⽤⼾数，可以进⾏培育/拓展⾼质量渠道。通过线下导流线上公众号、社群推⼴引流以及其他⾼转化率，可以进⾏提升⾸⻚分发效率、优化搜索体验。也可以优化⽤⼾下单购买环节的流程体验。为了提升客单价，可以进⾏运营促销活动，也可以定向商品运营、采⽤商品组合销售增加单次购买⾦额Ÿ第三步：确定衡量指标(Measurement)确定了细分业务策略以后，就可以设计指标来量化评估。例如提⾼渠道拓展的质量，就可以⽤下单转化率、新⽤⼾登录数、下单转化率来评估。通过这些衡量指标来反映整体业务⽬标的完成情况，如果不能够真实反映，需要需求，形成闭环。于天空的北极星⼀样，指引整个公司和产品的前进⽅向。Ÿ指引未来：能够清晰地表明产品要传达的功能点与产品未来阶段需要优化的⽅向。组的同事知道当前产品组内的实时进展，便于跨组的资源协同。商业模式的商品和有趣互动购物体验与⽣活流程结合集团战略和岗位职责，设定全⾯的衡量指标，并分解到具体业务过程。可按照作⽤层⾯分为企业级、业务级、o需要确定业务领域o识别业务环节o定义业务分析主题o确定指标范围o整理指标维度框架o基本指标与维度映射o数据指标体系分析标体系。包括：提供参考依据。•明晰指标的数据来源，统⼀指标取数规则。经过指标梳理后，形成的材料为指标元数据字典。指标元数据字典是对业务指标成体系化的汇总，⽤来明确指标的⼝径、维度、指标取数逻辑等信息，并能快速获取到指标的相关信息。简单点说是为业务数据标准化提供的基础，⽅便对指标进⾏统⼀管理(包括统⼀修改，共享和维护)。值。 Ÿ管指标：建⽴常态化管理机制。过推动数据治理体系建设，制定主数据、业务数据、常态化数据管控团队可以由数据管理领导⼩组、信息管理部⻔、业务部⻔、数据专项管理组、信息化项⽬组共同企业仅仅制定指标体系，并不能起到规范数据的作⽤，只有将指标体系落实在实际应⽤中，才能发挥其管理作⽤，因此构建指标体系往往和应⽤系统建设同步进⾏。通过指标数据体系的应⽤，我们将规范企业内指标使⽤的规范下⼀章展开指标体系的应⽤。指标数据标准是为满⾜内部分析管理需要和外部监管要求，对基础类数据加⼯⽽产⽣的指标数据标准化规范。指标数据标准通过基础属性、业务属性、技术属性和管理属性来描述指标数据规范化要求。例如，在基础属性中需要定义标准名称，明确指标分类；在业务属性中需要明确指标的业务含义、业务⼝径和指标维度等；在技术属性中需明确指标取数范围、指标取数⽅式、指标条件、指标数据类型、⻓度和精度等。为确保指标数据标准定义的我们总结形成了⼀整套指标数据标准的信息项属性架构：标数据定义规范注重反映集团战略⽬标和业务发展过程的全局性，充分考虑各类国际标准、国家标准、⾏业标息应避免缺项，保证内容完整。须准确体现业务需求，能够科学地反映评价对象的某⼀⽅⾯信息。20类似基础数据标准的管理，在指标数据标准管理⼯作中，同样需要数据治理归⼝管理部⻔来牵头指标数据标准的数据治理归⼝管理部⻔：对于指标数据标准管理⼯作⽽⾔，数据治理归⼝管理部⻔是作为牵头者的⻆⾊，需要做到组织数据治理⼩组会议，将技术管理与业务管理的相关⼈员协同起来，完成指标数据标准制定⼯作，并提供资便利。指标标准业务归⼝部⻔：指标标准业务归⼝部⻔作为指标所属领域的业务主管部⻔对指标数据标准进⾏归⼝管理。⾏归⼝管理。其职责主要包括，确定指标数据的使⽤部⻔、基础属性、业务含义和业务⼝径等标准，并对指标的统计结果进⾏测试和确认。技术主管部⻔：技术主管部⻔作为指标标准管理的技术⽀撑，对指标的取数⽅式和指标条件进⾏确认，并统筹指此类⼈员占指标平台⽤⼾的⼤部分，主要是领导和⼤部分业务⼈员。这些⽤⼾不需要了解最底层的相关技术，底⽤技术部⻔提供上来的指标即可。•开发运维⼯程师•数据分析师、数据科学家此类⼈员是指标平台使⽤的⾼级⽤⼾，他们知道如何做数据建模和复杂的分析。从指标平台中他们也可以借助增流程通过指标平台新增指标需求，区别于原有的指标需求建设周期，需求对接的流程⼤⼤缩短。业务⽤⼾提出指标需求后，会有评审⼈来判断是否可以通过已有的指标进⾏衍⽣或者复⽤，这样就可以⼤⼤地减少指标建设的重复性划指标平台能够为企业梳理出⼀套完整的指标体系，并建⽴统⼀的指标管理中⼼，提供指标管理、标准定义管理、的全过程，为经营决策、监管报送、⻛险管理、财务管理等各类指标数据提供数据共享、规范管理以及⼝径统⼀通⽤的指标平台应当具备哪些功能呢？指标看板需要绑定⼀个维度和⾄少⼀个指标，其中绑定的第⼀个指标为主指标，其余为次要指标。同核⼼指标类似，指标看板也可以展⽰多个指标卡⽚。不同的是，指标看板的不同卡⽚之间展⽰的是同指标在不同维度下的值，不同指标的值会在同⼀个卡⽚中显⽰。指标看板可以⼀⽬了然地展⽰数据或销售业绩状况，以⽅便您及时掌握现解决问题的有效地⽅法之⼀。数据⾎缘关系，即数据的全⽣命周期中，数据与数据之间会形成多种多样的关系，这些关系与⼈类的⾎缘关系类TLbab数据⾎缘关系还具有⼀些个性化的特征。例如：有⼀天，⼀个业务员发现他上个⽉的绩效数据不对的，那么这个问题提交到数仓开发的时候，数仓开发会另外，⾎缘关系也是指标的派⽣关系、指标数据的影响因⼦，通过这个关系，对于指标数据异常的智能发现提供了最直接的溯源依据。⽐如平台经纪⼈的活跃指标突然下降，程序可以通过这个指标的上游关系⾃动的回溯，快表的字段。这样对数据异常的排查难度会⼤⼤降低。3擎都可以⽀撑指标平台的应⽤，但是很难有⼀个引擎满⾜指标平台中对于明细查询、聚合查询、⾼并发访问、查询来的是指标平台底层的计算引擎需要具备的常⻅特性：Ÿ缓存可以按时间规则更新，保持数据结果集⼀致性Ÿ引擎⽀持多种连接器，数据源的SQL查询语法以及灵活的查询⽅式Ÿ引擎集群实现⾼可⽤和负载均衡Apach