数据资产管理在腾讯游戏的实践课件

数据资产管理在腾讯游戏的实践∧技术创新,变革未来数据资产管理在腾讯游戏的实践1腾讯游戏大数据运菅概况15W+表离线计算:220+万/端游100+款4000亿乙+数据100P+流式计算量:2000+万秒露,表页游90+款600亿+数据多维分析肉今w象秘翻婴30W+表TDW手游300+款13000亿乙+数据每日传输量:17000亿条,约260TB,总存储量为100PB+,公司占比为20%腾讯游戏大数据运菅概况2问题与痛点在游戏大数据管控中,面临着众多问题与痛点1.数据多样化,缺少統标准2.计算逻辑理解一不致,导致统计结果有偏差03数据全链路质≡问题,层次复杂、不能快速定位问题04数据质量偏低给数据应用带来的各种挑战游戏数据管控的问题与难点数据标准缺乏结构化管理,集成困难6.数据分散,没有形成完整的成本管理7.数据价值的评估较为困难8.数据安全与合规保障的问题问题与痛点3发展历程勾建游戏大数据资产管理体系历经6年在各阶段解决的关键问题数据集成数据治理数据孤岛形成殳有统数据平台资产运营数据流转架构混乱数据标准往缺失数据传输时延高质参差不齐数据成本剧增数据驱动数据集成效率低指标概念不一平台组件不够稳定数据合规存在风险数据价值难评估·数据获取效率低数据生命周明不合理区营效率有待提升2019年2019年2018年游戏大数据资产管理:通过组织、流程、制度、技术等组合手段,确保数据交付的质量、效率、成本和安全,助力业务数据价值提升发展历程4能力模型三好用好”数据资产管好”数据资产“看好”数据资产数据管理人员平台指「数群价值成本结算致据谁」知识图线下培训数紫应用[数据血缘「血练跟踪「异分析产品开发数据映时产品运维数据理理密源度「数据变更]「数据质量「评估彩响「数据近量权哦流程安全规落「数拼检索数提接入成本性理](元数把理「安全策路制世世理用楼块能力模型5体系架构数据增值服务可视化胺表效分析月推送渠遍管理战绩直询资产管理平台资产总览资产治理产服务产安全数据理资产运营被据动数据平数抹花准成本优化敔据清洗充程制度生命期回理热度分析数据传辖数据质量安全管理广分析数据整台影响评估据存惴数据血DevElOps数书开放元数据皆理「元元数指标准技术元数务元数园激数据存情元数据开放游戏大数据资产管理体系体系架构6元数据管理元数据(Metadata)—描述数据的数据按服务对象划分业务元数据技术元数据时fot_noreItaMin+元数据管理7元数据管理元数据应用[元放据检索数据体化质监控」「资源管理其他应用元据能力点|元数摇管理新管理[版本管进用户管理〖日志管理」『可视化同步管理其他管埋权限管理|[备份恢复〖接口管理>业务指标,开放共享技术元数据DataMoreiData[休化口>自动构建血缘关系链业务元款据//元数据存储[磁实时规则图灵更多>扩展能力,辅助运营元数据采集转换层模型桥接器数据映射桥接器异构数据源元数据管理体系技术架构元数据管理8数据资产目录某业务视图≌262242口2数据资产目录某业务视图9数据集成-数据采集架构服务发现Consul/L5Web管理端服务特性KCP:9w:TCP:10w游戏客户端TGlog_SvT单机吞吐量:180Mb布式高可用,双方扩容互PBTDRSlogSvr扃可用,高可靠:扩容游戏服务端TGlog_5传输体系失数据;WAL双备数据RPC-Pralo完整率:9999~99.9999%·多协议支持;多数据格式范结构·专业数据管理、数据运维周边系统完善支持布道元数据管理专业运维m[在数据集成-数据采集架构10数据资产管理在腾讯游戏的实践课件11数据资产管理在腾讯游戏的实践课件12数据资产管理在腾讯游戏的实践课件13数据资产管理在腾讯游戏的实践课件14数据资产管理在腾讯游戏的实践课件15数据资产管理在腾讯游戏的实践课件16数据资产管理在腾讯游戏的实践课件17数据资产管理在腾讯游戏的实践课件18数据资产管理在腾讯游戏的实践课件19数据资产管理在腾讯游戏的实践课件20数据资产管理在腾讯游戏的实践课件21数据资产管理在腾讯游戏的实践课件22数据资产管理在腾讯游戏的实践课件23数据资产管理在腾讯游戏的实践课件24数据资产管理在腾讯游戏的实践课件25数据资产管理在腾讯游戏的实践课件26数据资产管理在腾讯游戏的实践课件27数据资产管理在腾讯游戏的实践课件28数据资产管理在腾讯游戏的实践课件29数据资产管理在腾讯游戏的实践课件30数据资产管理在腾讯游戏的实践课件31数据资产管理在腾讯游戏的实践课件32数据资产管理在腾讯游戏的实践课件33数据资产管理在腾讯游戏的实践课件34数据资产管理在腾讯游戏的实践课件35数据资产管理在腾讯游戏的实践课件36数据资产管理在腾讯游戏的实践课件37数据资产管理在腾讯游戏的实践∧技术创新,变革未来数据资产管理在腾讯游戏的实践38腾讯游戏大数据运菅概况15W+表离线计算:220+万/端游100+款4000亿乙+数据100P+流式计算量:2000+万秒露,表页游90+款600亿+数据多维分析肉今w象秘翻婴30W+表TDW手游300+款13000亿乙+数据每日传输量:17000亿条,约260TB,总存储量为100PB+,公司占比为20%腾讯游戏大数据运菅概况39问题与痛点在游戏大数据管控中,面临着众多问题与痛点1.数据多样化,缺少統标准2.计算逻辑理解一不致,导致统计结果有偏差03数据全链路质≡问题,层次复杂、不能快速定位问题04数据质量偏低给数据应用带来的各种挑战游戏数据管控的问题与难点数据标准缺乏结构化管理,集成困难6.数据分散,没有形成完整的成本管理7.数据价值的评估较为困难8.数据安全与合规保障的问题问题与痛点40发展历程勾建游戏大数据资产管理体系历经6年在各阶段解决的关键问题数据集成数据治理数据孤岛形成殳有统数据平台资产运营数据流转架构混乱数据标准往缺失数据传输时延高质参差不齐数据成本剧增数据驱动数据集成效率低指标概念不一平台组件不够稳定数据合规存在风险数据价值难评估·数据获取效率低数据生命周明不合理区营效率有待提升2019年2019年2018年游戏大数据资产管理:通过组织、流程、制度、技术等组合手段,确保数据交付的质量、效率、成本和安全,助力业务数据价值提升发展历程41能力模型三好用好”数据资产管好”数据资产“看好”数据资产数据管理人员平台指「数群价值成本结算致据谁」知识图线下培训数紫应用[数据血缘「血练跟踪「异分析产品开发数据映时产品运维数据理理密源度「数据变更]「数据质量「评估彩响「数据近量权哦流程安全规落「数拼检索数提接入成本性理](元数把理「安全策路制世世理用楼块能力模型42体系架构数据增值服务可视化胺表效分析月推送渠遍管理战绩直询资产管理平台资产总览资产治理产服务产安全数据理资产运营被据动数据平数抹花准成本优化敔据清洗充程制度生命期回理热度分析数据传辖数据质量安全管理广分析数据整台影响评估据存惴数据血DevElOps数书开放元数据皆理「元元数指标准技术元数务元数园激数据存情元数据开放游戏大数据资产管理体系体系架构43元数据管理元数据(Metadata)—描述数据的数据按服务对象划分业务元数据技术元数据时fot_noreItaMin+元数据管理44元数据管理元数据应用[元放据检索数据体化质监控」「资源管理其他应用元据能力点|元数摇管理新管理[版本管进用户管理〖日志管理」『可视化同步管理其他管埋权限管理|[备份恢复〖接口管理>业务指标,开放共享技术元数据DataMoreiData[休化口>自动构建血缘关系链业务元款据//元数据存储[磁实时规则图灵更多>扩展能力,辅助运营元数据采集转换层模型桥接器数据映射桥接器异构数据源元数据管理体系技术架构元数据管理45数据资产目录某业务视图≌262242口2数据资产目录某业务视图46数据集成-数据采集架构服务发现Consul/L5Web管理端服务特性KCP:9w:TCP:10w游戏客户端TGlog_SvT单机吞吐量:180Mb布式高可用,双方扩容互PBTDRSlogSvr扃可用,高可靠:扩容游戏服务端TGlog_5传输体系失数据;WAL双备数据RPC-Pralo完整率:9999~99.9999%·多协议支持;多数据格式范结构·专业数据管理、数据运维周边系统完善支持布道元数据管理专业运维m[在数据集成-数据采集架构47数据资产管理在腾讯游戏的实践课件48数据资产管理在腾讯游戏的实践课件49数据资产管理在腾讯游戏的实践课件50数据资产管理在腾讯游戏的实践课件51数据资产管理在腾讯游戏的实践课件52数据资产管理在腾讯游戏的实践课件53数据资产管理在腾讯游戏的实践课件54数据资产管理在腾讯游戏的实践课件55数据资产管理在腾讯游戏的实践课件56数据资产管理在腾讯游戏的实践课件57数据资产管理在腾讯游戏的实践课件58数据资产管理在腾讯游戏的实践课件59数据资产管理在腾讯游戏的实践课件60数据资产管理在腾讯游戏的实践课件61数据资产管理在腾讯游戏的实践课件62数据资产管理在腾讯游戏的实践课件