腾讯视频指标中台驱动湖仓一体建设实践

Tencent腾讯DataFunSummitTencent腾讯CONTENTTencent腾讯DataFunSummitTencent腾讯视频业务流程用户行为关键指标启动活跃用户数搜索浏览搜索曝光人数点击人数搜索次数曝光人数点击人数播放播放UV播放VV评论互动用户数互动渗透率链路复杂:涉及组件多，跨BG业务广实验类外显类为运营团队提供实时数据决策能力热度值视频技术背景链路复杂:涉及组件多，跨BG业务广实验类外显类为运营团队提供实时数据决策能力热度值体量大:来源丰富，峰值S000+万/s体量大:来源丰富，峰值S000+万/s报表分析类报表分析类灰度实验：及时止损、加速扩量Tencent腾讯DataFunSummitTencent腾讯成本成本指标问题指标中台业界调研ü指标只需要定义一次，可以在仪表盘和分析工具中灵活使用2、MetricStoreü指标统一计算并存储，提供一致性的指标服务ü用较少的代码，较快的速度去交付应用程序Airbnb的度量平台Minerva商业化指标中台产品KyligenceZen报表工具数据产品敏捷分析实验平台开发应用…资产工场治理引擎数据发现组织保障数据委员会指标中台整体架构报表工具数据产品敏捷分析实验平台开发应用…资产工场治理引擎数据发现组织保障数据委员会指标服务SLA保障指标消费指标服务SLA保障指标消费数据地图数据血缘指标分类指标认证指标管理指标分类指标认证维度标准化指标流程资产运营数据资产分指标生产流批一体湖仓一体多维分析数据接入任务调度数据接入任务调度数据存储统计分析实时计算…定制产品实验平台指标一致性-指标服务定制产品实验平台StarRocks…数据集配置数据看板数据产品数据产品指标一致性-指标认证欧拉指标认证欧拉指标认证指标名称指标分类指标责任人指标口径指标数据源报表工具指标检索质量报表运行监控应用层应用血缘SLA分级SLA报警管理SLA分组管理管理层任务血缘信息任务定义信息元数据层指标时效性-SLA保障质量报表运行监控应用层应用血缘SLA分级SLA报警管理SLA分组管理管理层任务血缘信息任务定义信息元数据层报警通知值班运维SLA配置管理任务运行信息SLA监控看板分类查找关键词检索指标易用性-数据地图分类查找关键词检索基本信息：名称、口径、责任人、主题…指标血缘信息：数据源、数据应用、下游指标分类查找指标关键词检索指标指标详情简单指标易用性-自助分析简单拖拽式使用方式,开支持不同指标不同维度下的关联分析涵盖全业务场景制定治理目标定义治理规则推送相关责任人责任人处理资产分监控制定治理目标定义治理规则推送相关责任人责任人处理资产分监控治理项成本分1.无用任务下线2.数据生命周期控制规范分1.业务库和主题域2.表字段命名、注释3.反向依赖、原始层依赖安全分1.敏感字段加密2.表和任务Owner不一致质量分1.SLA任务延时应用分Tencent腾讯DataFunSummitTencent腾讯湖仓一体建设背景数据掉0数据掉0负反馈负反馈人效问题人效问题频繁人力、脚本统一Lamda架构湖仓一体1.0建设方案人力、脚本统一Lamda架构数据处理任务，支持UpsertPresto，Hive相同的存储模型配置化、标准化：全面SQL化痛点刀耕火种式研发，实时离线两套API，人效低io，广播join等）保障性能。引入FlinkBatch引擎，将流批一体研发框架湖仓一体1.0的问题开发效率湖仓一体主流趋势4、云原生湖仓4、云原生湖仓湖仓一体2.0的优化开发效率湖仓2.0引入StarRocks优势支持多引擎查询加速,IO合并存算分离生产提速多种数据写入方式简化数仓分层构建实时数据接入支持事务提升数据可见性流处理冷热隔离COLUMNS(event_time,channel,user,is_anonymous,is_minor),WHEREevent_time>"2022-01-0100:00:00"("desired_concurrent_number"="10","max_error_number"="1000")("iceberg_catalog_type"="EXTERNAL_CAT"iceberg_catalog_name"="iceberg","iceberg_table"="iceberg_table","iceberg_where_expr"="event_time>'2022-01-0100:00:00'",…).("external_table"="iceberg.db1.tb1_ext1","add_target_table_as_cold_table"="true",)"max_file_size"="1G","max_file_row"="10000000","load_mem_limit"="2147483648","timeout"="3600",性能对比>对比StarRocks内表和使用Presto、StarRocks查询Iceberg效率Tencent腾讯DataFunSummitTencent腾讯指标中台总结&规划