面向行为分析的数据治理和应用

2022-08-27v的优劣势v面向行为分析的分析方法-概念v面向行为分析的分析方法-整体架构v面向行为分析的分析方法-分析举例行为数据行为数据常见的数据分析场景业务数据结果如何-指用户行为之后，实际产生的结果业务数据会落库业务数据表。分析业务数据的意义，可以衡量客单价、退款率等库等做了什么-指用户使用产品上的各种行为击行为等工程实现-面向行为分析的数据加工和分析Cohort分析、用户会话分析、用户行为路径分析等用户ID登陆时间登陆方式点击请求报表建设特征挖掘机器学习用户ID登陆时间登陆方式点击请求报表建设特征挖掘机器学习数仓建模方法ODSDWD维度表广告主题宽表用户登陆主题宽表注册时间用户ID注册时间用户ID会员注册主题宽表增长团队存量经营团队产品团队……数仓建模方法的优劣势Warehouse能造成理解的偏差。面向行为分析的分析方法–概念间列活跃用户群新增用户群活跃用户群新增用户群满足X条件用户群……一个例子-7日Andoird用户的留存率传统数仓的解决方案1.使用数据的底表和表的字段2.定义中间表的创建逻辑(过滤条件，分组条件，指标计算)3.最终结果的业务逻辑行为分析的解决方案1.加载Android用户人群_A;加载T的活跃用户人群_B;加载T-7新增用户人群_C2.(A,B,C)用户群求交=用户人群_D3.(A,C)用户群求交=用户人群_E4.(D,E)用户群计算覆盖率v查询接入层：v查询接入层：负责将一个复杂查询语句拆解成原子的子查询语句。v查询结果聚合层：负责将用户数据访问层的结果聚合返回v查询缓存层：每个子查询语句因为其不变形，都可以保存在缓存中v实时层：处理实时数据一个例子-7日Andoird用户的留存率(1)(7)(2)(6)(3)(4)(5)将查询拆解成计算以下几个子任务：2.T-7:的android活跃用户3.T日的活跃用户汇总子查询的返回结果和Mapping对，最返回需要参与计算的数据。列存储MetadataHeaderBloomFilter过滤User_IDDeltaencoding时间戳列Dictionary–encodeduser_id列其他Dictionary-encoded属性列v字典：{0:Beijing,1:Shanghai,2:Shenzhen}v编码后的维度值：通过编码的方式，统一存储大小，提高访问效率。减少存储体积。v倒排索引：通过属性值快速定位行索引，更高效的支持过滤条件和And/OR等逻辑条件。selectcity,sum(click_cnt)fromtable_twherecategory=0orcategory=1groupbycityDictionary-encoded元数据文件元数据v文件保持相对固定的大小,并按照时间动态分区。•时间久远，稀疏的文件按照高时间密度做聚合。•时间近，但稠密的文件按照低时间密度聚合。v单个文件内部按照用户ID和时间排序。列元数据v行元素按照v减少从存储层到计算层之间加载的数据量OneIDv追踪用户的设备变化，还原用户事件的最真实状态•一个用户在多个设备上使用同一个应用，需要对该用户的唯一性进行标识，进而把用户的行为归属到同一个用户上。•多个用户在同一台设备上操作同一个应用。APP的行为进行关联。•不同App之间，用户行为进行关联。vIDMapping：d•Device_id:Deivce_id:用来追踪同一步设备或者同一个用户的多部设备。ridUseridIDvIDEncoding缓存层v查询的时间范围：【启始时间、结束时间)用来表识查询的时间范用户数据访问层求元数据：确定需要访问文件的位置和列的偏移量盘。可以采用LRU的方式进行淘汰。行为分析的应用–用户留存分析Day(行时间+偏移量)的活跃用户群Day(行时间+偏移量)的活跃用户群Jul29–Aug08新增用户群计算T-1的每日新增用户群和活跃用户群，那么就可以做任意一段时间新增用户的任意一个时间点的留存分析行为分析的应用–漏斗分析v时序严格的转化漏斗(水平切)•同一个session内(播放->收藏->购买->下载)用户群•同一个session内(播放->收藏->购买)用户群•同一个session内(播放->收藏)用户群•同一个session内(播放)用户群v非时序严格的转化漏斗(垂直切)•播放歌曲用户群•收藏歌曲用户群•购买歌曲用户群•下载歌曲用户群播放歌曲收藏歌曲购买歌曲下载歌曲行为分析的应用–路径分析1.计算某一个事件的人群4.对于出度人群和入度人群，分别进行N次迭代计算，最终得到N层深的路径分析，v分析了行