2024大数据指标梳理流程规范

大数据指标梳理流程规范大数据指标梳理流程规范目录1111132.适用范围3.指标定义6.指标梳理的业务关注点目录1111132.适用范围3.指标定义6.指标梳理的业务关注点7.指标梳理技术关注点 48.业务指标梳理常用方法19.指标需求开发流程 510.指标设计评分等级66711.指标设计评分卡12.指标设计常见问题大数据指标梳理流程规范1.目的为了让业务目标可描述、可拆解、可度量，从而进行业务情况的监控、找到当前业务问题、是为了将零散单点的具有相互联系的指标，系统化的组织起来，通过单点看全局，通过全局解决单点的问题。2.适用范围3.指标定义预期中打算达到的指数、规格、标准，是衡量业务目标的方法，是用来描述现有业务或预测未来业务的工具，是反映某种事物或现象，描述在一定时间和条件下的规模、程度、比例、结构等概念，通常由指标名称和指标数值组成。指标是量化效果的重要依据，一般通过对某个数据的某种计算（如求和，均值等）得到。4（GB/GBT相关术语规范），若国家或行业标准术语较为宽泛，不符合公司业务需求，则使用自定义术语。自大数据指标梳理流程规范1.目的为了让业务目标可描述、可拆解、可度量，从而进行业务情况的监控、找到当前业务问题、是为了将零散单点的具有相互联系的指标，系统化的组织起来，通过单点看全局，通过全局解决单点的问题。2.适用范围3.指标定义预期中打算达到的指数、规格、标准，是衡量业务目标的方法，是用来描述现有业务或预测未来业务的工具，是反映某种事物或现象，描述在一定时间和条件下的规模、程度、比例、结构等概念，通常由指标名称和指标数值组成。指标是量化效果的重要依据，一般通过对某个数据的某种计算（如求和，均值等）得到。4（GB/GBT相关术语规范），若国家或行业标准术语较为宽泛，不符合公司业务需求，则使用自定义术语。自语在指标设计时应具备一致性，同义词应归一化，指标文档中所用术语必须在术语字典里。5.业务指标设计原则1) 原则1：数据指标应符合业务目标，有助于业务的发展数据指标是为了让公司，业务，或者项目的成员围绕着一个可量化的目标展开一系列的工作的，数据指标需要符合业务的价值观的和贴合业务核心目标。12)原则2：数据指标应能全方位反映业务真实情况数据指标体系是需要全方位反映业务真实的情况的，而不仅只看到业务上面某一个方面，具体的讲，不仅看最后的一个结果指标，还需把这个结果指标拆分到中间指标上。3)原则3：数据指标应可衡量，可分析如能从时间纵向对比、或从其他维度如地域、组织架构等不同角度进行横向比较，可以更好地观察业务的发展趋势，定位问题，找到原因，以及改善业务中需要改善的环节，如常见衡量方法：KPI达标率：如果核心指标是KPI指标，那就直接根据KPI达标率来判断即可。环比对比：查看环比数据，如果业务走势呈明显周期性，选择一个历史数据较为不错的数据进行对比。同比对比：查看同比数据，预估每个周期增长多少个百分点，与上一周期数据进行对比，看是否达标。4)原则4：数据指标的设定应能改变业务行为根据指标数据反馈结果，应可以对业务活动进行调整，做事先改善。6.指标梳理的业务关注点2名称定义指标指标是衡量目标总体特征的统计数值，是能表征企业某一业务活动中业务状况的数值指示器。指标一般由指标名称和指标数值两部分组成，指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。指标按颗粒度分原子、派生、复合指标。原子指标用于明确业务的统计口径及计算逻辑。不能再进一步拆解的指标，可以直接计算出来的指标派生指标在原子指标的基础上，通过某个特殊维度计算出的指标派生指标由原子指标、修饰词、时间周期三大要素构成，用于统计目标指标在具体时间、维度、业务条件下的数值表现，反映企业某一业务活动的业务状况。复合指标通过若干个原子或派生指标计算得来的指标维度用于观察和分析业务数据的视角，支撑对数据汇聚、钻取、切片分析，如：地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年度、季度、月度等级别的内容)。度量度量是用于衡量业务状况的可量化的数值表现，通常为数字，度量词根如：金额、数量、周期、次数、重量、比例、比率、平均、累计、总量、标准差度量单位数据使用单位如：“kg”、“吨”、“元”、“万元”等。修饰词修饰词是一种业务修饰，用来圈定或者聚焦统计数据的业务范围和限定，如：有效的合同。口径/计算逻辑2)原则2：数据指标应能全方位反映业务真实情况数据指标体系是需要全方位反映业务真实的情况的，而不仅只看到业务上面某一个方面，具体的讲，不仅看最后的一个结果指标，还需把这个结果指标拆分到中间指标上。3)原则3：数据指标应可衡量，可分析如能从时间纵向对比、或从其他维度如地域、组织架构等不同角度进行横向比较，可以更好地观察业务的发展趋势，定位问题，找到原因，以及改善业务中需要改善的环节，如常见衡量方法：KPI达标率：如果核心指标是KPI指标，那就直接根据KPI达标率来判断即可。环比对比：查看环比数据，如果业务走势呈明显周期性，选择一个历史数据较为不错的数据进行对比。同比对比：查看同比数据，预估每个周期增长多少个百分点，与上一周期数据进行对比，看是否达标。4)原则4：数据指标的设定应能改变业务行为根据指标数据反馈结果，应可以对业务活动进行调整，做事先改善。6.指标梳理的业务关注点2名称定义指标指标是衡量目标总体特征的统计数值，是能表征企业某一业务活动中业务状况的数值指示器。指标一般由指标名称和指标数值两部分组成，指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。指标按颗粒度分原子、派生、复合指标。原子指标用于明确业务的统计口径及计算逻辑。不能再进一步拆解的指标，可以直接计算出来的指标派生指标在原子指标的基础上，通过某个特殊维度计算出的指标派生指标由原子指标、修饰词、时间周期三大要素构成，用于统计目标指标在具体时间、维度、业务条件下的数值表现，反映企业某一业务活动的业务状况。复合指标通过若干个原子或派生指标计算得来的指标维度用于观察和分析业务数据的视角，支撑对数据汇聚、钻取、切片分析，如：地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年度、季度、月度等级别的内容)。度量度量是用于衡量业务状况的可量化的数值表现，通常为数字，度量词根如：金额、数量、周期、次数、重量、比例、比率、平均、累计、总量、标准差度量单位数据使用单位如：“kg”、“吨”、“元”、“万元”等。修饰词修饰词是一种业务修饰，用来圈定或者聚焦统计数据的业务范围和限定，如：有效的合同。口径/计算逻辑口径：指对指标理解统一的标准，指标逻辑：数据取数标准+计算逻辑属性属性是描述所属业务对象的性质和特征，反映信息管理最小粒度，如：客户编码、合同名称等。在指标7.指标梳理技术关注点8.业务指标梳理常用方法1)OSM方法论业务目标（Objective）：公司/业务/产品存在的阶段目标，目的是什么业务策略（Strategy）：为达成业务目标，所需采取的策略，业务活动内容和抓手。业务度量（Measurement）：用来衡量策略的有效性，策略实施的数据反馈，通过适合的量3名称定义L1：主题域分组公司顶层信息分类，通过数据视角体现公司最高层面关注的业务领域L2：主题域不重叠数据的高层面分类，用于管理其下一级的业务对象L3：业务对象业务对象是指业务领域中重要的人、事、物对象，有唯一身份标识。相互独立，唯一，不可重叠。相对稳定，且与组织和流程解耦例：法人客户，合同，子公司，产品L4：逻辑数据实体有一定逻辑关系的数据属性集合L5：属性所属业务对象的性质和特征，反映信息管理最小粒度数据标准定义公司层面需共同遵守的属性层数据含义和业务规则，是公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。数据模型（对象）之间的关联关系。数据分布数据产生的源头及在各流程和IT系统间的流动情况。数据分布组件的核心是数据源，指业务上首次正式发布某项数据的应用系统，并经过数据管理专业组织认证，作为企业范围内唯一数据源头被周边系统调用数据特性分类按数据特性进行分类：基础数据、主数据、事务数据、报告数据、观测数据、规则数据。数据工程师和IT工程师关注数据中属性是所有相关性质和特征的全集，并作为维度、口径/修饰词的引用。时间周期时间周期是用来明确数据统计的时间范围或者时间窗口，例如近1天，近1自然周。用于在统计派生指标时，限定业务统计的时间范围指标值域指标数据的合理取值范围指标精度指标统计数值精确是整数，还是到小数精度几位。重要性分级根据企业的战略目标、决策和业务执行过程进行自上而下的指标分级。主要分为三级：一级指标：公司级的战略层面指标。如：经营分析会的指标二级指标：业务决策层面指标，部门级。三级指标：业务执行层面指标，员工级数据owner7.指标梳理技术关注点8.业务指标梳理常用方法1)OSM方法论业务目标（Objective）：公司/业务/产品存在的阶段目标，目的是什么业务策略（Strategy）：为达成业务目标，所需采取的策略，业务活动内容和抓手。业务度量（Measurement）：用来衡量策略的有效性，策略实施的数据反馈，通过适合的量3名称定义L1：主题域分组公司顶层信息分类，通过数据视角体现公司最高层面关注的业务领域L2：主题域不重叠数据的高层面分类，用于管理其下一级的业务对象L3：业务对象业务对象是指业务领域中重要的人、事、物对象，有唯一身份标识。相互独立，唯一，不可重叠。相对稳定，且与组织和流程解耦例：法人客户，合同，子公司，产品L4：逻辑数据实体有一定逻辑关系的数据属性集合L5：属性所属业务对象的性质和特征，反映信息管理最小粒度数据标准定义公司层面需共同遵守的属性层数据含义和业务规则，是公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。数据模型（对象）之间的关联关系。数据分布数据产生的源头及在各流程和IT系统间的流动情况。数据分布组件的核心是数据源，指业务上首次正式发布某项数据的应用系统，并经过数据管理专业组织认证，作为企业范围内唯一数据源头被周边系统调用数据特性分类按数据特性进行分类：基础数据、主数据、事务数据、报告数据、观测数据、规则数据。数据工程师和IT工程师关注数据中属性是所有相关性质和特征的全集，并作为维度、口径/修饰词的引用。时间周期时间周期是用来明确数据统计的时间范围或者时间窗口，例如近1天，近1自然周。用于在统计派生指标时，限定业务统计的时间范围指标值域指标数据的合理取值范围指标精度指标统计数值精确是整数，还是到小数精度几位。重要性分级根据企业的战略目标、决策和业务执行过程进行自上而下的指标分级。主要分为三级：一级指标：公司级的战略层面指标。如：经营分析会的指标二级指标：业务决策层面指标，部门级。三级指标：业务执行层面指标，员工级数据owner数据Owner（Owner分层分级，分别对指标负责数据密级参照行业数据安全与共享管理制度。业务人员与数据工程师关注化的数值针对策略的有效性进行评估。反应目标达成情况,OSM方法论通常用来梳理一级，二级指标2) UML行为建模方法论UML行为建模方法，可辅助梳理三级指标。活动图：描述一个过程或操作的工作步骤，用于展现参与行为的类的活动或动作，活动图的构成：初始状态、活动状态、分叉和汇合、分支、泳道、终止状态。9.指标需求开发流程流程说明：4编号角色流程说明化的数值针对策略的有效性进行评估。反应目标达成情况,OSM方法论通常用来梳理一级，二级指标2) UML行为建模方法论UML行为建模方法，可辅助梳理三级指标。活动图：描述一个过程或操作的工作步骤，用于展现参与行为的类的活动或动作，活动图的构成：初始状态、活动状态、分叉和汇合、分支、泳道、终止状态。9.指标需求开发流程流程说明：4编号角色流程说明10.指标梳理、设计，按百分制评分标准进行，对设计质量高的优秀部门和个人给于奖励。总分由整体设计得分（40）+各指标设计平均得分（60）组成，由指标评审委员会(SAG+业务专家)来评分。5评分标准定级评价（5等级）80-100A等（满意）60-80B等（基本满意）p1-p2业务人员业务人员在日常工作中有新增指标需求后，明确指标需求，先在现有指标库中查询。补充：指标更新按新增流程p4处理。指标删除需求，由数据owner确认后直接删除p3业务人员确保口径及逻辑统一。p4业务人员确定现有指标不能满足需求，需要新增指标时进行：梳理业务目标及业务路径图，术语字典整理，识别关键路径指标，指标命名、定义、计算规则、度量等信息的准备。IT工程师将业务流与信息流对应，明确系统功能模块，录入表单，数据落盘表，数据来源、流向等信息。大数据工程师指标源数据与数据资产L1-L5进行对应、数据模型设计、指标涉及数据的数据标准应用、数据分布数据源认证等工作p5评审专家对指标设计进行业务设计，技术设计打分。根据评审结果，对于c等及以下的进行打回重设，c等以上评审通过后交由数据owner进行签字确认p6数据owner数据owner对标准的指标文档进行签字确认p7数据管理办10.指标梳理、设计，按百分制评分标准进行，对设计质量高的优秀部门和个人给于奖励。总分由整体设计得分（40）+各指标设计平均得分（60）组成，由指标评审委员会(SAG+业务专家)来评分。5评分标准定级评价（5等级）80-100A等（满意）60-80B等（基本满意）p1-p2业务人员业务人员在日常工作中有新增指标需求后，明确指标需求，先在现有指标库中查询。补充：指标更新按新增流程p4处理。指标删除需求，由数据owner确认后直接删除p3业务人员确保口径及逻辑统一。p4业务人员确定现有指标不能满足需求，需要新增指标时进行：梳理业务目标及业务路径图，术语字典整理，识别关键路径指标，指标命名、定义、计算规则、度量等信息的准备。IT工程师将业务流与信息流对应，明确系统功能模块，录入表单，数据落盘表，数据来源、流向等信息。大数据工程师指标源数据与数据资产L1-L5进行对应、数据模型设计、指标涉及数据的数据标准应用、数据分布数据源认证等工作p5评审专家对指标设计进行业务设计，技术设计打分。根据评审结果，对于c等及以下的进行打回重设，c等以上评审通过后交由数据owner进行签字确认p6数据owner数据owner对标准的指标文档进行签字确认p7数据管理办公室输出更新后的指标标准，对发布的指标标准进行统一管理以便查询，发布后的指标才能被查询到，之后才能使用p8-p9大数据工程师进行数据集成、模型设计、数据开发相关工作，完成后提供api、报表、或jdbc接口，交付给业务人员进行验收p10业务人员进行需求验收、数据较对，若有数据问题，与开发人员沟通解决，直至指标数据满足需求为止。11.a)整体设计评分卡（40）b)各指标设计评分卡（60分）6评分项评分标准满分指标命名规范指标名中含度量词，命名清晰、规范、易懂、统一。无同义不同名，同名不同义的情况8口径/计算逻辑无歧义无同义、多义词，描述准确无歧义数据取数标准，计算逻辑清晰明了，各方理解一致、无偏差8度量单位准确业务与IT，数据使用单位统一，如：“kg”、“吨”、“元”、“万元”等1原子/派生/复合定位准确能拆解到原子指标模型支持生成与该原子相关的派生与复合指标2维度合理能满足业务分析的需要3指标值域已定义1指标精度已定义1评分项评分标准满分完备性能完整描述业务能力、目标路径、业务活动，解释业务现状，不重复、不遗漏9系统性能够准确反映业务问题，帮助问题定位与目标制定7价值性指标值的高低能够改进业务过程，提升业务目标7业务术语字典业务术语字典全面、概念不混淆、用词准确、唯一、易理解。7业务流与数据流有对应指标有明确的业务路径/环节归属，业务流与数据流相吻合，能够清晰描述业务活动下的数据落脚点与流向1040-60C等（略不满意）11.a)整体设计评分卡（40）b)各指标设计评分卡（60分）6评分项评分标准满分指标命名规范指标名中含度量词，命名清晰、规范、易懂、统一。无同义不同名，同名不同义的情况8口径/计算逻辑无歧义无同义、多义词，描述准确无歧义数据取数标准，计算逻辑清晰明了，各方理解一致、无偏差8度量单位准确业务与IT，数据使用单位统一，如：“kg”、“吨”、“元”、“万元”等1原子/派生/复合定位准确能拆解到原子指标模型支持生成与该原子相关的派生与复合指标2维度合理能满足业务分析的需要3指标值域已定义1指标精度已定义1评分项评分标准满分完备性能完整描述业务能力、目标路径、业务活动，解释业务现状，不重复、不遗漏9系统性能够准确反映业务问题，帮助问题定位与目标制定7价值性指标值的高低能够改进业务过程，提升业务目标7业务术语字典业务术语字典全面、概念不混淆、用词准确、唯一、易理解。7业务流与数据流有对应指标有明确的业务路径/环节归属，业务流与数据流相吻合，能够清晰描述业务活动下的数据落脚点与流向1040-60C等（略不满意）20-40D等（不满意）0-20E等（很不满意）12.7常见问题问题描述案例/解决方案命名难理解表意不清、模棱两可，仅指标创建人可以懂解决方案：术语统一，命名使用业务术语+指标度量词根命名不规范无度量词根，指标命名中没有度量词用、车辆效率、亏吨运费损失、生产性能排名解决方案：时长，金额，质量等级，费用金额……同名不同义指标名称相同，统计口径不一致，缺少命名规范限制及全局指标管控体系。如：不同业务仅从自己部门出发，缺少全局视角如：财务口径的营收要严格按照严谨的逻/端则从转化效果角度考虑，但在各自的报表中，都把指标命名为营收。解决方案：指标名全局唯一同义不同名术语不统一，指标统一逻辑一致，但不同产品命名不一致，不同阶段、或不同业务方对指标命名不同，导致在不同数据产品页面，同一指标不同名。货”，计算逻辑描述使用“过磅”解决方案：使用全局术语字典中定义术语口径不清晰圈定或者聚焦统计数据的业务范围和限定不如：合同签定重量，合同法律效力状态分指标owner已定义2数据密级12.7常见问题问题描述案例/解决方案命名难理解表意不清、模棱两可，仅指标创建人可以懂解决方案：术语统一，命名使用业务术语+指标度量词根命名不规范无度量词根，指标命名中没有度量词用、车辆效率、亏吨运费损失、生产性能排名解决方案：时长，金额，质量等级，费用金额……同名不同义指标名称相同，统计口径不一致，缺少命名规范限制及全局指标管控体系。如：不同业务仅从自己部门出发，缺少全局视角如：财务口径的营收要严格按照严谨的逻/端则从转化效果角度考虑，但在各自的报表中，都把指标命名为营收。解决方案：指标名全局唯一同义不同名术语不统一，指标统一逻辑一致，但不同产品命名不一致，不同阶段、或不同业务方对指标命名不同，导致在不同数据产品页面，同一指标不同名。货”，计算逻辑描述使用“过磅”解决方案：使用全局术语字典中定义术语口径不清晰圈定或者聚焦统计数据的业务范围和限定不如：合同签定重量，合同法律效力状态分指标owner已定义2数据密级已定义2L1-L5信息资产定义主题域分组、主题域、业务对象、逻辑数据实体、属性的定义准确8数据标准已定