数据驱动经验分享_从方法到实践

1、目录1 .数据驱动价值：驱动决策、驱动产品智能2 .数据驱动闭环：数据采集一数据建模一数据分析一数据反馈3 .数据驱动各环节方法与实践一、数据驱动价值：驱动决策、驱动产品智能数据驱动能做什么？西控raais甘葩牙折鬻决策我们认为主要包含驱动决策、驱动产品智能两方面的价值。由尸位*七赭门用黑广晶注近得世掘鹤田廿监，里营环化纪杷ftOlJJff薯修弁却图1数据驱动价值驱动决策包括运营监控、产品迭代、营销分析、商业决策。其中涉及的每一个场景在今年数据驱动大会都会有专门的讲师来介绍。驱动产品智能，现在基本上已成为所有的电商类、资讯类产品的标配，如“产品推荐”、“猜你喜欢”等。企业要么组建团队实现智能化

2、的应用场景，要么应用外部工具来解决问题，因为在流量红利逐渐消失的今天，千篇一律的容会让你的“留存”数字非常难看。我们曾为某一家很知名资讯类企业做Feed流的改版，神策来提供具体的推荐策略。通常，个性化推荐的评价指标是 CTR数一展现了一千种容，有多少人点击？在2018年，我们认为再评价一个算法的好坏，用CTR非常不合适。神策从关注指标CTR转为衡量“命中了策略的人”跟“命中热门随机容”的两大用户群体，观察他们在平均访问深度、 7日留存、停留时长等更深层指标上的差异。、数据驱动闭环数据采集一一数据建模一一数据分析一一数据反馈，这是一个完整的数据驱动闭环。我们 在很多场合提到此，这里不再赘述。PP

3、T下载|神策数据举：数据驱动从方法到实践第三方其据采集目标采集歌据库福建模涉及内容k据蹬悍反馈类型反馈数据流r携计分析分析类型弱析胆提占卿乘班肥图2数据驱动闭环有很多企业来找我做关于数据采集方面的分享，我用这图描述了典型的数据分析平台, 个为数据驱动而构建的数据分析平台，各位可以参考。PPT下载|神策数据举：数据驱动从方法到实践叠虏业男决试夏有产品智能应用反慢摩嗯*化”相产品K理凶许Tumi#!闻M优常拜曲率H折鼻黄白黑凝瓦作詈幡事优化到粮代脑封折用户H奇虎拒的椰16金平白岬分析E礴皿3步用户分W畅整现自M化标盘客尸忡*AKfMHUI用户*师工后选中在牝性开敷f AniivtEimm 教*质

4、佳帮M理闻K文季处理樗式阵挥甘据事送策合逢程善声APPWEB,HIM史3A融霸聚集CFUERPPOS网明田算於5神宗BS1B图3 一图全面展示数据分析平台架构三、数据采集：一切数据应用的根基1 .采集容：数据类型、数据所有者、数据来源数据采集是一切应用的根基，“大、全、细、时”由桑文锋提出（详情可戳此查看桑文锋 谈大数据分析的四个重要环节），是神策一贯坚持数据采集理念，具体到采集容上， 包括数据类型、数据所有者、数据来源。数据类型包括用户行为数据、用户数据、业务运行数据、容数据：用户行为数据，可以描述用户在什么时候、什么地点、以什么方式、用什么样的手机、通 过哪种浏览器做了一件什么事情；用户数

5、据，描述用户本身的属性，比如某顺风车给乘客打上各种各样的标签，这些标签肯 定会用于后续产品迭代；业务运行数据，在线下业务比较重的场景同样很多；容数据，包含用户浏览的具体容，也包括与用户发生交互的对象。从数据所有者上来讲，我们采集第一方数据一一也就是“我们自己的产品，我们自己的用 户，自己用户在自己产品上发生了什么。”这是第一方数据。第一方数据采集在完全可控环节下发生，不仅比较便捷。在隐私策略方面，我们完全符合最严格的GDPR标准目前我们采集第一方数据为主；而第三方数据，市面上一些免费的SaaS工具可以做采集和统计，并做一些处理、脱敏；用这些数据作为第三方数据，提供给客户。这是有悖我们价值观 的

6、，我们绝不涉及。从数据来源上来讲：新零售的火热，线下数据采集还是非常火的，不管是摄像头、蓝牙探 针等，是线下场景很好的补充。不过从目前实践经验来看：摄像头、ID识别的准确度非常低，基本不太可用。对这一部分，我们保持持续关注，一些客户会将通过二维码、店员主动拿Pad做展现等方式，将用户从线下行为引到线上，从而保证用户数据的可采集、可衡量。2 .根据需求采取合适的采集方案我们一贯的观点，是数据采集没有万能灵药，要根据需求选择合适的采集方案，这一点我 在不同场合讲很多次，这里不再展开。PPT下载|神策数据举：数据驱动从方法到实践图4根据需求采取合适的采集方案3 .数据采集的接入这是宏观上对于不同容，

7、不同来源数据的采集统一架构。PPT下载|神策数据举：数据驱动从方法到实践客户端服务器日志JavaScript iOS. Android 技包点击，下拉椎速俾NginK UL Serwef 浏览、枸素.理材产品CRM,告率，中台等©暂无宴肝察制.标索申SWEJffl图5 一个典型的用户行为相关数据采集这是一种典型的用户行为采集方案。客户端采集轻交互的容；服务器日志采集 Nginx、UI、Server浏览、检索、理财产品等容。而对于一些业务操作，例如客户跟客服之间的交互，或者部的客户运营，主要是在业务采 集上搞定的。4 .客户端采集我来介绍下目前被提及最多的客户端采集。客户端是直接跟用户

8、发生交互关系的一端，可 以是APP、小程序、网页、H5、公众号等，客户端采集数据操作，包括点击按钮、浏览页面、下 拉框选择、提交表单、上传照片、切换导航条等。这些操作是轻交互的，它的采集在通常意义上被称为埋点，我个人觉得埋点更多指客户端 采集。(1)客户端采集的基本原理客户端采集的基本原理有三点：第一：提供SDK与使用者的应用“编译”到一起客户端采集有各种各样的模式，但本质上都是提供SDK和使用者的应用编译在一起。抛开埋点方式，完成这样的事情，很多容易被忽视的，基础属性要覆盖我们能想到的所有容，包括简单的用户行为相关、操作系统版本、物理分辨率等，还有很多客户通过SDK提供部分风控数据的采集。比

9、如说 iphone 手机有没有越狱，浏览的时候是横屏还是竖屏，以及电量等等。（之所以要用 SDK 采集当前的电量，是因为如果用户用模拟器访问，那么它的电量变化跟真正的手机有 非常大的不同。）所以基础属性虽然看起来比较简单，但是很多时候可以发挥很大的作用。第二： SDK 完成匿名ID 生成、基础属性采集、数据打包压缩加密、本地缓存、网络传输等工作数据打包和加密，不仅可以在本地打包，还可以在必要的时候删掉，神策现在服务很多银行证券客户，对加密要求的非常高，比如给某一个字段要用什么加密等，这些都是SDK 要完成的。本地缓存在IOS 与安卓中特别重要，因为为避免影响用户体验，当发生一次点击，对应的数据

10、不会立刻传到后端，所以都是缓存到本地等待最佳网络时机。本地缓存、网络缓存这些都是SDK 来做的。第三：一般使用HTTP（S） 协议通过公网传输数据有人问， 所谓的代码埋点、全埋点、 可视化埋点有什么不一样？我们可以这样理解：SDK 完成基础数据的采集、数据储存打包、传输等，同时向上埋点应用层提供API ， 所谓的代码埋点就是直接利用API ，告诉采集了什么数据。全埋点则是在用户完成某个操作的时候，自动的调用SDK。 所以说 SDK 完成一些基础工作，代码埋点开发者直接调用API ；而全埋点开发者不用直接调用，可以比较自动的完成。说到这里会打一个广告，我们会马上出版一本书，专门讲安卓8 种全埋点

11、，到时候有兴趣的话可以看看。（白皮书| Android 全埋点技术白皮书重磅推出！开源所有项目源码！）（ 2 ） ID-Mapping 构建多设备用户管理体系多设备下的用户关联是今年新的进展，新的趋势。ID-Mapping 解决的是不同用户多设备的使用情况。PPT 下载 | 神策数据犟：数据驱动从方法到实践SrpartphoFw2图6构建多设备用户管理体系大家可以看下如图的例子。我们做了一些工作，后台架构有很大改进，可以实现将第二个设备，跟同一个用户绑定，只要用户登录，神策就可以把不同情况下登录的数据完全打通，这是非常典型的ID-Mapping 的场景。同样非常典型的场景是用户行为多端关联机制

12、用户产品本身可以多端使用，可以在网页上使用，例如说发了营销H5,用户在微信置浏览器H5完成注册，跳到Appstore 完成激活。如果不能将营销 H5的用户行为，与登录激活之前 的行为贯通，那么也没有办法详细分析 H5的营销效果。再如，小程序突然火起来了，客户有需求，为此我们专门做了小程序采集，包括预置采集 的事件，以及小程序相关的属性，同时一样带动了代码与自动化采集两种方式，小程序可以充分得到微信里面的社交信息，对小程序分享传播的属性采集是非常重要的。PPT下载|神策数据举：数据驱动从方法到实践Mp'ihD# Ui,耳屏启就Mpl.ilinch (d 印印.电活 单潸返酢公式属性Suu

13、njam广告系如SDK采集MpshDTJ d小程序分手jtulrn ccntenl 叫客揩生化件军需三帙事集 年=T件X性才总分享代懵尾犍i=.Mrr.亨.小图7小程序的采集小程序最复杂的事情，它有不同的匿名ID 或者设备ID o一个人在设备上，又使用小程序，又使用一个APP,又换了一个小程序，但是两个小程序之间登录打通，最终我们实现可以把两个LoginlD 与OpenlD设备贯通起来。5 .服务器日志采集PPT下载|神策数据举：数据驱动从方法到实践日志文档Flume_Ag&nt日志文档Flume_.AgentFlume_Colleclor Ftume_CollectorHDFSKaf

14、ka客户机中心服务器 存储服务器图8服务器日志采集我现在画了很简单服务器日志采集架构图，看似技术上没什么问题。没法搞从实际经验上来说：想高质量搭建日志采集非常难，设置日志用哪些容，一次性工作很难。 更难的还体现在产品迭代上， 比如产品两周发一个版本， 程序员会说产品功能都测不完， 日志。要搭建一个高质量的日志采集，要贯穿在整个开发流程，从最早期一直到运维上线，到复 盘整个迭代项的时候， 每一步都要有意识。 这也是为什么很多 SaaS产品都没有采集日志的能力PPT下载|神策数据举：数据驱动从方法到实践图9用户行为数据应用案例这是我们在中国银联典型的案例，包括设备指纹采集、加密传输等，当然这个图画

15、出来体现对用户行为数据不同的应用，除了做日常行为之外，还有一些其他的应用。最后是业务数据的采集，包括CRM系统等。四、数据建模数据建模最重要的是数据模型的选择，以及对应的储存。数据模型选择为什么重要？因为数据模型抽象好了， 后面的分析模型可以做的更好。如果数据模型抽象的太复杂，整体过程非常我们现在的数据模型是 Item 实体、Event事件、User用户，我们不会把模型搞得太复杂, 现在模型下面，数据采集到建模所要做的工作是比较少的，基本可以通用化、产品化。我们已经有了标准的数据模型，同时通过不同的采集方案采到了很多数据，所要做的工作 主要是把采集到的数据映射，这里面非常多的工作不再具体展开。

16、不同的数据模型选不同的储存方案，储存方案的选择主要根据数据本身的特点，例如是否可追加、可修改、访问是以什么样的访问为主，是否会需要删除等。五、数据分析有了标准模型，有非常合适的储存结构，后面是对数据怎么分析。1 .数据统计与分析的两种方法论数据统计与分析有两种方法论，通常情况下是图片左边方法论，PM给RD提，老板要看这些报表，给RD提要求，RD写一些东西并发出来，改程序后又有新的需求。老板可能问你PV为什么是这么多？你可能要把整个计算过程完整讲一遍在这种情况下，RD为了不想太频繁操作和改变，总是会给PM设置各种限制。PPT下载|神策数据举：数据驱动从方法到实践数据统计与分析的两种方法论写神策散

17、磨图10数据统计与分析的两种方法论右边的方法论，抽象的模型覆盖指标体系以及大部分分析需求，通过友好的交互让需要数据的人自主获取数据。这种方法论是神策产品提供的，我们不需要问你看什么指标，因为你看的指标可能在整个行业都有通用性，我们会把需求抽象下来，接下来就是模型抽象。如此，你的工作就变成你自己用分析模型，通过拖拖拽拽，把你要的条件选出来，就能完成一次分析。这两种方法论区别是，是否让需要数据的人直接使用数据，造成的工作效率相差非常大，这就是为什么现在神策产品能够卖出去，并不是我们造了一个这样的需求，而是真正有这样的需求。接下来这个图是神策实现的自助式分析：PPT下载|神策数据举：数据驱动从方法到

18、实践用户行为序列App点.击分析时闽地域里道机型直也产品任意自定义字段用户看群*盘£护分布分析可视化片所用面S口L厦I专业API I变堡用户用尸路曜网瓦挡力分拓图11自助式数据分析2 .针对不同角色的数据分析：决策者、营销、产品、运营通过不同角色分析四个不同的场景。(1)决策者老板关心的是第一关键指标是什么。第一关键指标该如何选择？不同阶段关键指标不相同，每个发展阶段都有最关注的数据，集中注意力，提升第一指标有了第一关键指标，如何构建指标体系？有了第一关键指标，我们要绘制整个用户旅程。以电商产品为例，我们关心总营收额，如何得到？先绘制用户旅程：用户首先要访问，之后要注册账号，实现首购

19、之后会重复性购买，只有 这样的用户旅程最终会带来总销售额的增长。接下来就要根据用户旅程来组建增长模型。PPT下载|神策数据举：数据驱动从方法到实践指标体系绘制用户旅程图12绘制用户旅程拆解的好处，不同团队提不同的项目，你可以调整项目的优先级PPT下载|神策数据举：数据驱动从方法到实践图13组装增长模型(2)营销市场营销希望实现流量拉新，渠道投放评估。市场营销团队，他们最关心两个事，一是老板给了多少预算，二是怎样花出去最有用。如何衡量？像电视广告、楼宇广告，一定程度上是不可追踪的，但是像抖音、头条都是可以追踪。同一个用户在媒体上点广告，跟进入到产品之后，只要把这个行为打通起来，整个投放效果就是可

20、追踪的。现在我们可支持二三十种大大小小的渠道。我们把用户在点击广告前后的行为串通起来，剩下的工作就是分析，比如我们在头条花了 10000块钱买了 1000个点击，其中50个用户使用产品，我们可以设置从哪些角度来衡量这些 人的效果，来衡量用户的转化率、留存、复购等。也可以对比不同的渠道，对比不同渠道下不同的投放关键词带来效果等，来对比与衡量用 户真正的价值。PPT下载|神策数据举：数据驱动从方法到实践JU请柱）集AoAJt斗纤杆首而分析留寿廿桁V ： aV 38人8Frk ,k /丁制eltb *T -户虹看且融 完Jtmat 后Md1里将成日 的30人拜号景日不'小 事就广 卡HAIL

21、 r 震辱nr美 善善善 ” H*A八凸A M71Tre3AM -热LMS4»iAMWUBSJJBU.Ma绰达型人'dimii wit <*it 的 的 HbIB SBHF I4HMIAtLjk麻丹狙乂ALA.ildiJLTUHiOjMN卿 AMIAWAiQlMbMltMlUJnM怛甫.Hfl J MK， K_&1XWLAiftALAU"上好咻殍1maluUlfl Aft A(AAAOffl1口乜SA6At A'中入电aif汽411Sssa图14数据驱动市场营销案例PPT下载|神策数据举：数据驱动从方法到实践这个是很典型的数据驱动市场营销的例子

22、，某家理财产品投放广告，刚开始假设关注P2P理财产品都是资质相对较好的白领，因此在核心商圈的写字楼电梯间投放广告。但是经过转化分析后，发现进件转化率很低，因此对借款人画像分析，确定目标人群特征：24-30岁，工作时间短，收入一般，身处非核心高档区域。得到这种结论后，将投放渠道放到了 抖音和快手这类短视频平台，转化率得到明显提升。(3)产品PPT下载|神策数据举：数据驱动从方法到实践图16数据驱动产品优化这个是我之前一个产品同事发给我的，他说这些是产品关心的指标。因为我是工程师出身，我根本不懂这些东西，但是我知道怎么改进产品：我们把这些指标 全部算出来，进行监控，一旦发现某一个指标异常，立刻分析

23、原因，并解决这些原因。如果指标没有异常，可以和别人家进行对比，你的转化率是多少，我的转化率是多少，看 我们有多少提升空间，来提升指标。所以，整个逻辑很简单，先设置关心的问题，实际算出来，并关注是否异常，找到异常原 因，分析解决异常，看数据有没有真正得到上升。场景1 :容产品的“Aha Moment”通过用户行为将用户群体划分成四类：路人、打酱油、参与(点赞、转发)、深度参与， 如何提升这四类人的用户留存？很简单，首先我观察四类人的留存率，很明显，行为深度越深，用户留存肯定越高。那该怎么操作？扩大“参与行为”使用者面积，门槛太高，落地性较差；扩大“围观行为”使用者面积？ 这个方法更可行，在产品信

24、息流页露出“热评”，可以提升留存，来验证新增“热评”之后效果 如何。场景2 :电商，收藏按钮位置改版某电商的首页存在两个“收藏”，一开始设置有点问题，一个点击率极高，一个点击率极低。显而易见，浪费了非常重要的位置。后来将点击率低的收藏按钮位置换成了“服务”的按钮,经过验证，点击进入量没有明显下降，同时“服务”点击量提升。经过SA中的数据对比发现，BEST分类的点击流量并没有预想中高，甚至跟 MEN分类的访问量差不多。猜想可能用户不习惯往左滑动页面，习惯往右滑动界面。同时，该电商还进行了首页BEST分类按钮位置调整，将 BEST类目放到FUN类目右边。效果：经过调整后，50%以上的首页用户会进入

25、 BEST类目，比原来调整之前相对提高了78%场景3 :小程序的产品迭代案例这是一个纯女性短视频社区案例，他们一直致力将数据分析融入到运营乃至产品迭代的最 细节处。这是他们的工作方式。PPT下载|神策数据举：数据驱动从方法到实践裂变指标看板报箔 W版本元型设计排£1锁定对软具Hf附件为美BtWr ft.学电n a奖随茹晌*君艮辨曰.厨国活球类的标累第版卷上线后.豆也白marw点.击次数细分 I，闻*洋烹ME裁lii5呻藁数循图17把数据分析融入到运营至产品迭代的最细节处该企业的小程序更新发版很快。用户分享之后裂变，有一个完整的看板让大家来评估的自己的影响。日裂变作为关键指标， 某版本上线后发现裂变指数（uv数x部调整因子）迅速下跌。PPT下载|神策数据举：数据驱动从方法到实践小一用出餐*JI峭解瞬点看l.nJJI - <ffi '-图18某版本上线后发现裂变指数迅速下跌“下载”按钮的通过回溯过去7日的分析看到：“分享”按钮的点击数据出现连续下滑, 数据在出现大幅度提升。