大数据开发项目实战-基于TipDM大数据挖掘建模平台实现广电大数据用户画像

基于TipDM大数据挖掘建模平台实现广电大数据

用户画像1广电大数据用户画像开发目录平台简介2TipDM数据挖掘建模平台是由广东泰迪智能科技股份有限公司自主研发、基于Python引擎、用于数据分析的开源平台。平台提供数量丰富的数据分析组件，用户可在没有编程基础的情况下，通过拖曳的方式进行操作，将数据输入输出、数据预处理、挖掘建模、模型评估等环节通过流程化的方式进行连接，帮助用户快速建立数据分析工程，提升数据处理的效能。TipDM数据挖掘建模平台平台的界面平台的界面如下图所示。组件：将建模过程涉及的输入/输出、数据探索及预处理、建模、模型评估等算法分别进行封装，每一个封装好的算法模块称为组件。工程：为实现某一数据分析目标，将各组件通过流程化的方式进行连接，整个数据分析流程称为一个工程。模板：分享建好的数据分析工程，其他用户可以直接创建并运行，这样的工程称之为模板。概念平台算法基于Python引擎，用于数据分析。Python是目前最为流行的用于数据分析的语言之一，高度契合行业需求。平台已对所有用户实现开源，用户可在本地部署平台，或对平台进行二次开发，满足个人使用需求。用户可在没有Python编程基础的情况下，使用直观的拖曳式图形界面构建数据分析流程，无须编程。特点提供公开可用的数据分析示例工程，一键创建，快速运行。支持挖掘流程每个节点的结果在线预览。提供十大类数十种算法组件，包括数据预处理、统计分析、分类、聚类、关联、推荐等常用数据分析算法，支持查看算法组件源代码（需本地化部署）。同时提供Python脚本与SQL脚本，快速粘贴代码即可运行。提供算法组件自定义功能（需本地化部署），用户可将个人本地编写的代码配置到平台中，成为算法组件。特点下面将对平台【模板】【数据空间】【我的项目】【系统组件】和【个人组件】5个模块进行介绍，并对平台的本地化部署方式进行介绍。平台简介登录平台后，用户即可看到【模板】模块系统提供的示例工程（模板）。模板【模板】模块主要用于常用数据分析与建模案例的快速创建和展示。通过【模板】模块，用户可以创建一个无须导入数据及配置参数就能够快速运行的工程。同时，用户可以将自己搭建的数据分析工程生成为模板，显示在【首页】模块，供其他用户一键创建。首页【数据空间】模块主要用于数据分析工程的数据导入与管理，根据情况用户可选择【CSV文件】或者【SQL数据库】。【CSV文件】支持从本地导入CSV类型的数据。数据空间【SQL数据库】支持从DB2、SQLServer、MySQL、Oracle、PostgreSQL等关系型数据库导入数据。数据空间数据上传成功后，用户可以使用数据分享功能，将搭建工程涉及到的数据分享给其他用户。数据源其他用户可在【共享数据源】选项卡内查看到分享给自己的数据，并使用该数据进行数据分析。数据空间【我的项目】模块主要用于数据分析流程化的创建与管理，通过【我的项目】模块，用户可以创建空白工程，进行数据分析工程的配置，将数据输入输出、数据预处理、挖掘建模、模型评估等环节通过流程化的方式进行连接，达到数据分析的目的。我的项目【系统组件】模块主要用于数据分析常用算法组件的管理，提供Python、R、Spark算法包。系统组件Python算法包提供11类算法，具体如下。【统计分析】类包括因子分析、全表统计、正态性检验、相关性分析、卡方检验、主成分分析、纯随机性检验和平稳性检验等。【数据预处理】类包括数据标准化、缺失值处理、表堆叠、数据筛选、类型转换、修改列名、特征构造、数据集划分、主键合并、数据离散化、排序、频数统计、记录去重和分组聚合等。【脚本】类包括Python脚本和SQL脚本等。【分类】类包括朴素贝叶斯、支持向量机、CART分类树、逻辑回归、多层感知神经网络和最近邻分类等。系统组件【聚类】类包括层次聚类、DBSCAN密度聚类和K均值聚类等。【回归】类包括CART回归树、线性回归、支持向量回归和最近邻回归等。【时间序列】类包括ARIMA模型等。【关联规则】类包括Apriori关联规则和FP-Growth关联规则等。【文本挖掘】类包括去除字符、分词与词性标注、TF-IDF（词向量化）、HashTrick、word2vec（词向量化）、doc2vec（词向量化）、TF-IDF（关键词提取）、word2vec（关键词提取）、doc2vec（关键词提取）和主成分分析等。系统组件【深度学习】类包括LeNet-5、AlexNet、VGG-16、LSTM和GRU等。【画图】类包括柱状图、折线图、散点图、饼图和词云图等。系统组件Spark算法包提供7类算法，具体如下。【数据预处理】类包括记录去重、记录选择、数据映射、数据反映射、数据划分、SQL脚本、缺失值处理、数据标准化、特征构造、表连接、表堆叠、独热编码和数据离散化等。【统计分析】类包括行列数目统计、频数统计、全表统计、相关性分析、卡方检验和主成分分析等。【分类】类包括逻辑回归、决策树分类、梯度提升树分类、朴素贝叶斯分类、随机森林分类、线性支持向量机和多层感知神经网络等。系统组件【深度学习】类包括LeNet-5、AlexNet、VGG-16、LSTM和GRU等。【画图】类包括柱状图、折线图、散点图、饼图和词云图等。系统组件R语言算法包提供8类算法，具体如下。【统计分析】类包括卡方检验、因子分析、主成分分析、相关分析、正态性检验、全表统计、平稳性检验和纯随机性检验等。【数据预处理】类包括缺失值处理、异常值处理、表堆叠、主键合并、数据标准化、记录去重、数据离散化、排序、数据集划分、频数统计、新增序列、字符串拆分、字符串拼接、分组、修改类型、修改列名、特征构造、SQL脚本和R脚本等。【分类】类包括朴素贝叶斯、CART分类树、C4.5分类树、反向传播（BackPropagation，BP）BP神经网络、最近邻分类、支持向量机和逻辑回归等。系统组件【聚类】类包括K均值聚类、DBSCAN密度聚类和系统聚类等。【回归】类包括CART回归树、C4.5回归树、线性回归、岭回归和最近邻回归等。【时间序列】类包括ARIMA模型、GM(1,1)灰度预测和指数平滑等。【关联规则】类包括Apriori关联规则等。【文本挖掘】类包括Jieba分词、去除停用词、余弦相似度、情感词定位、情感方向修正和LDA主题模型等。系统组件【个人组件】模块主要为了满足用户的个性化需求而设置。用户在使用过程中，可根据自己的需求定制算法，以便使用。目前，【个人组件】支持通过Python和R语言进行定制，如下图。个人组件微信搜索公众号“泰迪学社”或“TipDataMining”关注公众号。关注公众号后，回复“建模平台”，获取TipDM大数据挖掘建模平台的访问方式。访问TipDM大数据挖掘建模平台的方式1广电大数据用户画像开发目录平台简介2在TipDM大数据挖掘建模平台上配置广电大数据用户画像项目，主要包括以下4个步骤。将广电公司的数据导入TipDM大数据挖掘建模平台。考虑到广电数据的数据量占用的计算资源较多且计算时间长，因此平台所使用的数据是实验数据，即从广电公司提供的5份业务数据表中分别抽取出部分数据。对数据进行探索性分析。对数据进行数据去重和数据筛选等操作。利用SVM算法建立分类模型，预测用户是否值得挽留，并实现用户挽留标签计算。广电大数据用户画像开发数据探索总流程如下图。广电大数据用户画像开发数据处理总流程如下图。广电大数据用户画像开发用户画像总流程如下图。广电大数据用户画像开发以账单信息表mmconsume_billevents.csv为例，使用TipDM大数据挖掘建模平台演示导入CSV文件，具体步骤如下。单击【数据空间】模块，在【我的数据集】选项卡中单击【新增数据集】按钮，如下图。数据源配置设置新增数据集的参数，如下图。等待合并成功后，单击【确定】按钮，即可上传文件。数据源配置数据上传完成后，新建一个名称为【广电大数据用户数据探索】的空白工程，配置【输入源】组件，具体步骤如下。在【工程】中【组件】栏中找到【系统组件】→【内置组件】→【输入/输出】类。拖曳【输入/输出】→【输入源】组件到工程画布中。单击画布中的【输入源】组件，在工程画布右侧【参数配置】栏的【数据集】文本框中输入“mmconsume_billevents”，在弹出的下拉列表中选择【mmconsume_billevents】选项，如下图。数据源配置右键单击【输入源】组件，选择【重命名】选项，输入“账单信息表”，如下图。数据源配置单击画布中的【账单信息表】组件，在工程画布右侧的【参数配置】栏中，单击【文件列表】选项组中的眼睛图标，查看数据集明细，如下图。数据源配置对账单信息表进行基本的探索分析，查看数据中的记录数、字段数、缺失值个数以及重复值个数，具体步骤如下。拖曳【大数据组件】→【行列统计】组件到工程画布中，并与【账单信息表】组件相连接。数据探索1．数据总体探索单击画布中的【行列统计】组件，在画布右侧的【字段设置】栏中，单击【特征】选项组中的循环图标，选中全部字段，如下图。数据探索右键单击【行列统计】组件，选择【运行该节点】选项。运行完成后，右键单击【行列统计】组件，选择【查看数据】选项，查看【行列统计】组件数据，如下图。数据探索由于广电用户主要来自家庭用户，需要探索账单信息表中是否存在政企用户及其存在的数量，具体步骤如下。拖曳【大数据组件】→【预处理】→【分组聚合】组件到工程画布中，并与【账单信息表】组件相连接。单击【特征】选项组中的图标，选中全部字段。单击【分组主键】选项组中的循环图标，选中“owner_name”字段。数据探索2．异常数据探索右键单击【分组聚合】组件，选择【重命名】选项，输入“政企用户数据探索”。单击画布中的【政企用户数据探索】组件，在工程画布右侧的【字段设置】栏中，在【聚合函数】下拉列表框中选择【count】选项，如下图。数据探索右键单击【政企用户数据探索】组件，选择【运行该节点】选项。运行完成后，右键单击【政企用户数据探索】组件，选择【查看数据】选项，查看【政企用户数据探索】组件数据，如下图。数据探索通过数据总体探索发现，账单信息表中存在重复记录数，需要对数据进行去重操作，具体步骤如下。拖曳【大数据组件】→【预处理】→【数据去重】组件到工程画布中，并与【账单信息表】组件相连接。数据处理1．数据去重在画布右侧的【字段设置】栏中，单击【特征】选项组中的图标，选中全部字段；单击【去重主键】选项组中的图标，选中全部字段，如下图。右键单击【数据去重】组件，选择【运行该节点】选项，以运行该组件。数据处理通过异常数据探索发现，数据中存在异常数据，需要删除owner_name为EA级、EB级、EC级、ED级、EE级的数据，删除owner_code为02、09、10的数据，并保留sm_name为珠江宽频、数字电视、互动电视、甜果电视的数据，具体步骤如下。拖曳【大数据组件】→【预处理】→【数据过滤】组件到工程画布中，并与【数据去重】组件相连接。单击【特征】选项组中的循环图标，选中全部字段。数据处理2．数据筛选右键单击【数据过滤】组件，选择【重命名】选项，输入“账单信息清洗表”。单击【账单信息清洗表】组件，在画布右侧的【过滤条件1】栏中，单击【设置过滤条件列】选项组中的循环图标，选择【owner_name】选项，在【比较运算符】下拉列表框中选择【notin】选项，在【具体比较值】文本框中输入“EA级,EB级,EC级,ED级,EE级”，如下图。数据处理单击画布右侧的【过滤条件2】栏，在【逻辑运算符】下拉列表框中选择【and】选项，单击【设置过滤条件列】选项组中的循环图标，选择【owner_code】选项，在【比较运算符】下拉列表框中选择【notin】选项，在【具体比较值】文本框中输入“02,09,10”。单击画布右侧的【过滤条件3】栏，在【逻辑运算符】下拉列表框中选择【and】选项，单击【设置过滤条件列】选项组中的循环图标，选择【sm_name】选项，在【比较运算符】下拉列表框中选择【notin】选项，在【具体比较值】文本框中输入“珠江宽频,数字电视,互动电视,甜果电视”。运行【数据过滤】组件。数据处理（1）用户电视消费水平数据用户电视消费水平用于计算用户平均每个月花费多少钱购买电视产品，这个特征值可根据mmconsume_billevents统计用户总的消费金额并除以3得到，之所以除以3，是因为每次计算都是取mmconsume_billevents数据当前时间的前3个月的数据，具体步骤如下。拖曳【大数据组件】→【预处理】→【SQL语句】组件到工程画布中，并与【账单信息清洗表】组件相连接。用户画像1．预测用户是否挽留右键单击【SQL语句】组件，选择【重命名】选项，输入“用户电视消费水平”。单击【用户电视消费水平】组件，在画布右侧【参数设置】栏的【sql语句】文本框中输入“selectphone_no,sum(should_pay)/3consumefromdatawheresm_namenotlike'%珠江宽频%'groupbyphone_no”，如下图。用户画像（1）用户电视消费水平数据右键单击【用户电视消费水平】组件，选择【运行该节点】选项。运行完成后，右键单击【用户电视消费水平】组件，选择【查看数据】选项，查看【用户电视消费水平】组件数据，如下图。用户画像将用户的电视入网时长数据与用户电视消费水平数据进行表连接，以获得每个用户的电视入网时长与电视消费水平数据，具体步骤如下。拖曳【大数据组件】→【预处理】→【表连接】组件到工程画布中，并分别与【用户电视入网时长】【用户电视消费水平】组件相连接。其中，【用户电视入网时长】组件的数据来源如下：在用户状态信息变更表中，计算当前时间与每个用户的run_time字段最大值的差值，将该差值作为每个用户的电视入网时长数据，该流程的详细配置过程可通过平台进行查看。用户画像（2）用户电视入网时长与用户电视消费水平数据右键单击【表连接】组件，选择【重命名】选项，输入“用户_时长_消费_表连接”。单击【用户_时长_消费_表连接】组件，界面右侧将出现工程画布，在工程画布的【字段设置】栏中单击【左表特征】选项组中的循环图标，选中全部字段；单击【右表特征】选项组中的循环图标，选中全部字段；单击【左表主键】选项组中的循环图标，选中“phone_no”字段；单击【右表主键】选项组中的循环图标，选中“phone_no”字段。用户画像在工程画布右侧的【参数设置】的【选择连接方式】下拉列表框中选择【inner】选项，如下图。用户画像右键单击【用户_时长_消费_表连接】组件，选择【运行该节点】选项。运行完成后，右键单击【用户_时长_消费_表连接】组件，选择【查看数据】选项，查看【用户_时长_消费_表连接】组件数据，如下图。用户画像将用户的电视依赖度数据与用户的电视入网时长、电视消费水平数据进行表连接，获得每个用户的电视依赖度、电视入网时长与电视消费水平这3个特征，并将其作为判断用户是否挽留的特征，具体步骤如下。拖曳【大数据组件】→【预处理】→【表连接】组件到工程画布中，并与【用户的电视依赖度】【用户_时长_消费_表连接】组件相连接。其中，【用户的电视依赖度】组件的数据来源为用户收视行为信息表中每个用户平均每天的电视观看时长，该流程的详细配置过程可通过平台进行查看。用户画像（3）用户是否挽留特征数据右键单击【表连接】组件，选择【重命名】选项，输入“用户是否挽留特征”。单击【用户是否挽留特征】组件，界面右侧将出现工程画布，在工程画布的【字段设置】栏中单击【左表特征】选项组中的循环图标，选中全部字段；单击【右表特征】选项组中的循环图标，选中全部字段；单击【左表主键】选项组中的循环图标，选中“phone_no”字段；单击【右表主键】选项组中的循环图标，选中“phone_no”字段。用户画像在工程画布右侧的【参数设置】的【选择连接方式】下拉列表框中选择【inner】选项，如下图。用户画像右键单击【用户是否挽留特征】组件，选择【运行该节点】选项。运行完成后，右键单击【用户是否挽留特征】组件，选择【查看数据】选项，查看【用户是否挽留特征】组件数据，如下图。用户画像将挽留用户与用户是否挽留特征数据进行表连接，获得挽留用户的特征数据，具体步骤如下。拖曳【大数据组件】→【预处理】→【表连接】组件到工程画布中，并与【挽留用户】【用户是否挽留特征】组件相连接。其中，【挽留用户】组件中的挽留用户数据来源如下：在用户收视行为信息表中，如果用户的观看时长大于5.26h，且订单信息表和用户基本信息表中有该用户的记录，那么将这类用户数据归为挽留用户数据，该流程的详细配置过程可通过平台进行查看。用户画像（4）挽留用户特征数据右键单击【表连接】组件，选择【重命名】选项，输入“挽留用户特征数据”。单击【挽留用户特征数据】组件，界面右侧将出现工程画布，在工程画布的【字段设置】栏中单击【左表特征】选项组中的循环图标，选中全部字段；单击【右表特征】选项组中的循环图标，选中全部字段；单击【左表主键】选项组中的循环图标，选中“phone_no”字段；单击【右表主键】选项组中的循环图标，选中“phone_no”字段。用户画像在工程画布右侧的【参数设置】的【选择连接方式】下拉列表框中选择【inner】选项，如下图。用户画像

右键单击【挽留用户特征数据】组件，选择【运行该节点】选项。运行完成后，右键单击【挽留用户特征数据】组件，选择【查看数据】选项，查看【挽留用户特征数据】组件数据，如下图。用户画像将不挽留用户特征数据与用户挽留特征数据进行表堆叠，得到一份适用于预测用户是否挽留的数据集，具体步骤如下。拖曳【大数据组件】→【预处理】→【表堆叠】组件到工程画布中，并与【不挽留用户特征】【挽留用户特征数据】组件相连接。其中，【不挽留用户特征】组件的数据来源如下：在用户基本信息表中提取“run_name”字段等于“主动销户”和“暂停”的不挽留用户，并统计不挽留用户的每月平均消费金额、电视入网时长和每天平均观看电视时长这3个特征，由不挽留客户的3个特征数据构成不挽留用户特征数据，该流程的详细配置过程可通过平台进行查看。用户画像（5）表堆叠在右侧工程画布的【字段设置】栏中单击【表一特征】选项组中的循环图标，选中全部字段。单击【表二特征】选项组中的循环图标，选中全部字段。在工程画布右侧的【参数设置】的【合并方法】下拉列表框中选择【纵向连接】选项，如下图。用户画像右键单击【表堆叠】组件，选择【运行该节点】选项。运行完成后，右键单击【表堆叠】组件，选择【查看数据】选项，查看【表堆叠】组件数据，如下图。用户画像特征列和标签列数据构建完成后，使用SVM算法预测用户是否挽留，具体步骤如下。拖曳【大数据组件】→【分类】→【线性支持向量机】组件到工程画布中，并与【表堆叠】组件相连接。单击【线性支持向量机】组件，在右侧工程画布的【