互联网数据分析@腾讯

互联网数据分析@腾讯提纲数据架构互联网特点构建高性能数据分析架构数据仓库（养数据）数据应用（用数据）指标搭建业务分析模型用户挖掘模型辅助决策特点：增长快、体量大、业务多、敏捷业务形态增长快体量大业务多敏捷分析能力TB级增量数据PB级计算实时计算需求小时级报表实施天级挖掘应用数据分析–工作内容业务分析指标体系计算模型提取业务数据解读、分析报表输出数据提取流程建设数据应用横向数据报表分析报告外挂、安全打击推荐考核指标数据仓库身份体系Profile用户行为机能库工具平台计算平台展示平台数据提取工具高性能数据分析架构细节一：SDK部分技术架构SDK策略server上报接收server策略配置探测资源池LB中间层展示库终端移动网络APN管道实时入库基础服务移动IP库身份库机能库数据存储计算云展示平台TDW集群HQL计算聚类模型应用展现kafka消息serverstorm流式计算实时计算数据共享分发Hive集群细节二：零代码开发，自动化运维可视化拖拽+逻辑SQL=零代码细节三，以数据流为中心数据任务=规范+配置项数据仓库—养数据MIG身份库机能库数平QQ画像IP库LBS库QQ画像内容丰富；公司内都可用；业务群也会有自己的一些数据；数据质量非常重要，用和养互相推动；……今天的纲要数据架构互联网特点分析构建高性能数据分析架构数据仓库（养数据）数据应用（用数据）指标体系业务分析模型用户挖掘模型辅助决策从干系人角度来看指标体系产品经理的疑惑哪些是我们的潜在用户？用户流失原因是功能问题吗？如何挽留？广告需要精细化，避免用户骚扰用户只能按arpu分类？用户对分类推荐不感兴趣，点击率低用户产品分析目标业务分析模型和用户挖掘模型在线模型流动模型漏斗模型路径模型拉新模型流失模型关联模型病毒模型业务分析模型概览模型分析目标在线模型业务活跃曲线及用户形态流动模型业务健康度漏斗模型营销类路径模型用户行为分析在线模型，平台类业务的关键流动模型，体现业务整体健康度历史用户（1年内开通过，上月末非开通）回流率5.12%A业务用户（上月末用户数）留存率76.34%版本流失率23.66%流失用户本月B业务新注册用户A业务用户（本月）新注册拉新占0.47%本月B业务活跃用户拉新占17.31%非B业务用户非B业务新开占1.15%漏斗模型，渠道分析的利器曝光点击下载激活路径模型，功能行为分析数据挖掘的例子年龄在20~23之间、最近一个月通过PC侧A平台大于5次并且最近一个月关闭了B业务C功能的白领用户，属于高流失概率用户，流失概率27%年龄在14~17之间、最近一个月在A平台B频道访问超过3次的男性用户，喜欢C类游戏的概率较高，对其推荐成功概率为33%年龄在17~20之间、流失前未使用任何F功能、存活周期小于30天并且最近一个月使用B业务超过3天的女性用户，通过C功能提醒关怀，回流概率较高，回流概率25%用户挖掘模型概览模型分析目标常用算法拉新模型寻找对产品有兴趣的潜在用户进行推广拉新分类：决策树、Logistic回归、神经网络流失模型提前预测用户流失概率，做好挽留关联模型内容推送（音乐、商品、书籍等）关联规则、协同过滤病毒模型关系链推荐传播关联规则、协同过滤拉新模型，用于潜在渠道挖掘流失模型，目的在于挽留数据模型策略基础属性兴趣属性行为属性渠道属性预测：流失概率预测：挽留成功概率挽留价值=客户价值×流失概率×挽留成功概率优先对挽留价值大的客户实施挽留挽留分析-算法建模1智能标签特征识别3用户分群细化运营2关怀营销减少骚扰挽留分析-模型命中优化四倍提升挽留实施效果2011.2月1、关怀通知2、老用户分级特权挽留关联模型在推荐上的广泛应用算法复杂度音乐推荐Lift值越高，相关性越强，推荐效果高基于关系链的病毒模型又称雪崩模型，口碑模型来源于社交网络关系链几何级蔓延