抖音数据治理思路解析：全链路治理与多团队治理

抖音数据治理思路解析：全链路治理与多团队治理抖音集团数据BP专家王玮前世今生01挑战与机遇并存02未来展望04全链路解决方案03目录抖音数据BP治理演进历程下一阶段

数据治理突破在哪萌芽期成长期成熟期BP团队自身治理挑战业务成熟带来治理挑战公司数据环境带来的治理挑战三驾马车策略组织工具业务趋向成熟，要求挑战更高应对新的挑战，解决方案是什么前世今生数据治理BP内重视内功修炼、也将能⼒和影响⼒向业务团队输出业务飞速发展时期，以快速响应支持业务为主。治理工作更多以突击、被动、运动式为主萌芽期成长期BP团队开始将数据治理能力和方案向业务赋能。向解决方案式数据治理迈进成熟期excel式治理运动式治理业务开始关注数据中心成本，数据质量、数据安全等命题。数据治理工作向体系化发展数据中心成本治理数据安全治理数据质量治理业务用数体验向业务团队赋能泛治理概念面临的挑战和机遇a2mT.HmA

sNuKpS.coFmO

R.cnYOU

RSUPPOR

Tz团队挑战业务挑战挑战数据团队自身挑战EB级数据体量数据团队多样性数十万core计算任务业务规模/玩法多样数据安全、可靠降本增效分布式治理全链路灵活性数据链路组件众多业务团队更高的要求公司多样性带来挑战上下游数十团队公司挑战数据治理三驾马车数据治理组织工具策略数据治理委员会分布式治理产品工具能力数据治理策略治理组织保障多团队联合虚拟小组战略层愿景降本增效成本经营管理/资源管理/存储治理/计算治理业务用数体验提升数据及时性/数据准确性/查询效率高安全放心数据资产密级管理/审批合规/二次分发策略框架成本治理-由大到小预算管理 成本分摊 成本库管理 队列管理 组件管理表治理 任务优化 OLAP治理质量治理

-

一切从分级开始事前管控 数据分级 研发规范 变更检查事中运维 预警巡检 影响评估 运维止损事后治理 劣化监控 高风险治理 归因分析安全和合规-一切从分级开始数据分类管理数据申请、审批管理数据流转、分发治理数据接入加密管理网络安全法规数据的保密性用户隐私数据保护全面诊断目标管理问题分发问题处置进展运营效果复盘元数据能力应用和场景血缘研发和治理规范数据收集和存储基础层数据治理策略框架全链路治理动线框架诊断定目标事后治理动线治理发动机处置治理任务处置定期检查任务和进度按照优先级执行任务问题分发进展运营效果复盘治理任务下发高效推动治理目标落地协作取长补短以数据与治理能力赋能数据BP团队研发团队分析师团队专业数据生产、运维、管理专业数据治理能力以及配套产品特点降本增效多团队，追求效率与标准目标与挑战重度依赖离线数据分析缺乏治理经验、手段特点关注分析效率资源有限目标与挑战轻度依赖离线数据专业在线数据中心成本治理能力，但离线侧数据治理能力薄弱特点降本增效多团队，追求效率与标准目标与挑战全链路治理动线目标管理与动机-多团队协作目标标准化0 业务单位成本102 数据中心成本03 优化目标04

优化目标诊断全链路治理动线目标管理与动机-数据BP篇上图⾮真实数据，仅demo演示全链路治理动线目标管理-数据BP篇成本治理标准体系业务视角兼容多业务形态财务视角数据团队视角业务单位成本=成本/业务核心CD数据中心成本占比结果指标过程指标策略季度/月/天成本无效/错挂账单账单治理：无效、错挂、低效账单治理存储成本目标存储策略覆盖率无效、低效存储占比存储格式策略：压缩格式转zstd用进废退策略：无效、低效存储治理存储Quota目标模型存储策略：类拉链数据计算成本目标队列利用率、占用率任务失败率任务资源浪费率低优资源引擎优化：Spark

Native算子优化/HDFS并发读/基于PBO自动调参计算Quota目标队列调度优化：基于数据场景标签、分级调度策略、削峰填谷策略优化目标=自然增长-quota目标优化预估目标≈优化目标数据模型优化：公共层沉淀、减少重复计算数据架构优化：批流一体、数据bucket化上图⾮真实数据，仅demo演示全链路治理动线目标管理-数据BP篇优化预估目标诊断近xx天无热度分区、表数据无更新数据TTL设置不合理低热数据未导入温存CPU利用率提升内存利用率提升廉价资源占比提升规则引擎式诊断无效存储低效存储标杆式诊断资源利用率低优资源占比上图⾮真实数据，仅demo演示治理和数据能力结合线下购买投转放化-、吸分引享目线标上受传众播发酵数据能力查询SQL

Insight技术优化数据能力治理能力BP拆解治理目标定规范、防劣化解决方案常态化治理BP定目标 BP定规范赋能业务

提升自身数据工具、产品能力全链路治理动线目标管理

-

业务分析师篇诊断能力自动化、批量治理能力业务研发结合业务特性判断方案适配性BP提供成本诊断、运营、处置解决方案对齐成本收益目标全链路治理动线目标管理

-

业务研发篇动因优先级1423优先级与DDL分级治理：P0:

收益大、风险高、公司级P1：收益中、风险、团队级P2：收益低、个人自驱式23治理动线信息判断一键处置个人收益治理收益团队贡献4治理动因治理动因：业务目标团队目标自驱式目标1收益 动线全链路治理动线问题分发篇-个人治理工作台上图⾮真实数据，仅demo演示全链路治理动线问题分发篇-个人治理工作台01 触发时机02 触发对象03 触发内容时间进度>目标进度高风险预警触发一线执行一线leader团队leader风险收益要求目标跟踪运营关键全链路治理动线进展运营-做好跟踪和运营全链路治理动线问题处置篇工作流式面向一线执行用户前置式面向管理员无效数据治理模型治理任务批量优化冷数据自动清理测试数据定期清理核心数据防删保护SLA基线监控存储格式批量调整任务上线规范明确规范、融入研发环节问题扫描收益统计判断处置设置规范收益复盘问题扫描自动处置设置规范收益统计阻断整改无需人为判断、无风险需人为判断、有一定风险批式&自动式面向管理员推送个人问题扫描低效数据治理任务优化治理元信息维护治理安全审计治理表上线规范数据变更规范数据运维规范一键处置设置TTL⾃动处置数据温存格式转化小文件合并集成集处成置处置自动处置最旧1号2号3号4号...28号29号30号最新31号TTL缩减数据冷备暂不做处置无热度30%无热度百分70%(40%做冷备，30%加白)低热分区

查询占比20%高热分区

查询占比80%无热度分区

PV=0有热度分区

PV>0现有数据分区定义分层策略和规范处置前确认按风险分级处置高风险:删审批周知回收站中低风险:冷备周知数据范围+治理策略仓库管理员数据BP表分析设置分层和动作例行化处置通过分层方式和动作估算治理收益数据BP全链路治理动线问题处置-智能分层全链路治理动线数据分级核心业务团队核心业务场景user

demand数据消费场景数据产品看板、图表在线服务消费场景X用户驱动影响定级时效性分级质量影响分级模块场景频次事中事前研发规范模型规范参数规范测试规范变更规范分级保障准入准出资源设置调度设置事后全链路治理动线问题处置-事前与事中治理全面巡检资源监控变更风险链路巡检状态播报运维能力告警触达快速诊断影响分析归因复盘放劣化报警登记事故复盘归因分析报警配置止血能力收益业务视角技术视角计算收益稳定性提升安全提升直接/间接存储治理收益、成本节约无效存储占比高热存储占比头部数据治理措施覆盖率直接/间接治理收益，成本节约CPU/MEM申请率CPU/MEM利用率异常任务占比(暴力扫描/倾斜/浪费)SLA破线/事故天数报警及时响应率/问题登记率SLA高风险数(资源/监控/链路风险数)安全高危风险数高危风险行为数(授权、审批异常)存储收益高热字段密级处置率高密数据二次分发占比高热数据元信息完备率/准确率数据ONCALL自主解决率/解决时长数据先于核心业务团队用户查询就绪率核心业务团队数据内容质量平均查询时长查询失败率业务核心人员审批效率业务方向核心数据占比、风险业务数据中心成本降低业务方向数据中心成本降低找数用数成本效率安全全链路治理动线效果回收与复盘规划数据事故天数0天技术稳定性分析师查询覆盖率80%数据模型完善度用户满意度70%用户满意度需求吞吐量需求满足率90%BP服务评价体系0数据