《大数据挖掘与统计机器学习（第3版）》 课件7-智能手机用户监测数据案例分析

第7章智能手机用户监测数据案例分析

本章应用前面所学内容对一个实际大数据进行案例分析:智能手机用户监测数据,数据量在10G左右。我们给出案例分析的两个版本:一是单机操作,读者可以在自己的个人机或者单台服务器上完成数据分析任务。我们给出Python代码。读者可以尝试写出R

代码。

对于10G左右的数据量,目前主流的台式机、笔记本或者服务器是可以接受的。如果数据量继续增大,这就不是好的解决方案了。因此,我们提供的第二个数据分析的版本是在分布式集群Hadoop

和Spark

上实现的,使用的计算机语言以及软件包和工具包括HDFS文件存储系统、Map-Reduce

技术、Python、Hive、Spark的MLlib等。17.1数据简介

该数据来自某公司某年连续30

天的4万多智能手机用户的监测数据。每天的数据为1

个txt

文件,共10列,记录了每个用户(以uid为唯一标识)每天使用各款APP(以appid为唯一标识)的起始时间、使用时长、上下行流量等。此外,有一个辅助表格,app_class.csv,共两列.第一列是appid,第二列给出4000

多个常用APP所属类别(app_class),比如视频类、游戏类、社交类等,用英文字母a-t

表示。其余APP不常用,所属类别未知。数据可从中国人民大学出版社()下载。交类等,用英文字母a-t表示。其余APP不常用,所属类别未知。23表7.1用户和产品的数据7.2单机实现

7.2.1描述统计分析 1.用户记录的有效情况

如果一个用户在一天中没有任何APP

的使用记录,则该用户在该天记录缺失，据此统计每位用户在30天中的有效记录天数。 2.各类APP

的使用强度和相关性 (1)对每天的每条数据记录计算使用时长 (2)对每一天的数据进行分类汇总,得到每人每天使用每

种类别

APP的总时长。 (3)汇总30天的数据,得到每人使用每种类别APP

的总

时长(有效观测天数内的总时长)。

45图7.1用户缺失天数频数分布直方图6表7.2各类APP使用强度(对数变换)单位:秒7图7.2各类APP间的相关系数7.2.2APP使用情况预测分析

本节对用户使用APP

的情况进行预测。我们要研究的问题是通过用户的APP

使用记录预测用户未来是否使用APP(分类问题)及使用时长(回归问题)。分类。根据用户第1-23天的某类APP

的使用情况,来预测用户在第24∼30天是否会使用该类APP。处理后的数据随机选取80%作为训练集,20%作为测试集,模型选用随机森林。回归。与上一部分分类不同的是,这里要预测的是第24∼30天用户使用某类APP的有效日均使用时长,24∼30天是否会使用该类APP。案例的预测模型选取的是随机森林。89表7.3因变量和自变量说明10图7.3随机森林变量重要性(分类)11图7.4随机森林变量重要性(回归)7.2.3用户行为聚类分析(1)用户APP

使用差异情况聚类

对于在描述统计分析中得到的用户对20类APP有效使用天数的日均使用强度数据(对数变换之后),我们选用K均值聚类。(2)RFM

聚类

基于原始数据,借鉴度量消费者行为的三个重要指标RFM——最近一次消费(Recency)、消费频率(Frequency)和消费金额(Monetary),针对APP

数据构造最近一次使用(最近一次使用距离最后一天的天数)、使用频率(使用天数除以有效观测天数)和有效使用时长(使用总时长除以使用天数)三个指标,以标准化后的这三个变量作为特征对人群进行聚类分析。121314图7.5RFM聚类各类中心7.3分布式实现7.3.1数据预处理与描述分析

由于原始数据是结构化的记录数据,因此可以利用Hive

进行数据预处理。7.3.2基于Spark

的模型分析

数据准备完毕之后,可以利用Spark

中的MLlib

对数据进行模型分析。在此我们进行7.2.2中单机版的i类