大数据治理（高级） 课件 西财 实训项目10、11：美团美食店铺数据分析实训、交通大数据分析实训

实训10美团美食店铺数据分析实训项目背景美团网是一个以“吃”为核心，为用户提供美食、酒店、电影、购物等类型的团购网站。用户在网站浏览美食信息的同时希望找到一家服务质量高且价格实惠的商家，并且能从其他消费者的评价中找到参考价值。本项目以美团网美食店铺为例，首先对美食商家数据进行描述统计，分析成都市各区域店铺数量、评分、人均消费等基本情况，然后运用聚类算法对商家进行分类研究，针对不同类别的商家给出相应的经营决策建议；最后，针对某热门店铺的评论数据进行中文情感分析，帮助商家了解用户对商品的关注点、需求点，以及商品本身的不足点和店铺服务相关的问题。实训任务分析成都各区域店铺数量、评分、人均消费情况分析成都美食种类和受欢迎程度分析5分好评店铺分布区域、评价次数、人均消费情况利用K-Means算法对成都美食店铺进行分类，探索各类别店铺特征分析某热门店铺的评论情感倾向，构建中文情感分类模型数据准备美食店铺信息，采集字段包括店铺名称、地址、评分、评论数和人均消费；某店铺用户评论信息，包括用户评论时间、评分和评论内容；数据准备美食店铺信息，采集字段包括店铺名称、地址、评分、评论数和人均消费；数据准备某店铺用户评论信息，包括用户评论时间、评分和评论内容；分析步骤知识储备

聚类分析例如：有16张牌，如何将他们分为一组一组的牌？AKQJ知识储备

聚类分析分成四组：每组里花色相同，组与组之间花色相异，花色相同的牌为一副。AKQJ知识储备

聚类分析分成四组：符号相同的牌为一组AKQJ知识储备

聚类分析聚类分析(clusteranalysis)，简称聚类(clustering)，是指根据给定的样本数据集的描述信息，发现由具有共同特性的对象构成的子集的过程。每个子集是一个簇（cluster），聚类分析的过程遵循以下基本原则：属于同一个簇的对象相似度很高，而属于不同簇的对象相似度很低，即“高内聚、低耦合”。簇内相似度越高、簇间相似度越低，说明聚类效果越好。知识储备

聚类方法1.层次化聚类算法（BIRCH、CURE）2.划分式聚类算法（K-Means、K-Medoids）3.基于密度聚类算法（DBSCAN）4.基于模型聚类算法（EM、SOM）知识储备K-Means聚类算法算法流程：1.随机选取K个样本作为类中心；2.计算各样本与各类中心的距离；3.将各样本归于最近的类中心点；4.求各类的样本的均值，作为新的类中心；5.判定：若类中心不再发生变动或达到迭代次数，算法结束，否则回到第2步。知识储备

文本挖掘文本挖掘是一个以半结构（如WEB网页）或者无结构（如纯文本）的自然语言文本为对象的数据挖掘，是从大规模文本数据集中发现隐藏的、重要的、新颖的、潜在的有用的规律的过程。直观的说，当数据挖掘的对象完全由文本这种数据类型组成时，这个过程就称为文本挖掘。文本数据获取文本预处理向量表示数据挖掘知识储备

中文分词1.机械分词法（基于词典）：简单实用，但严重依赖于词典，分词效果得不到保障；2.基于语法和规则分词法：尚无明确标准能很好分词，还处在试验阶段；3.基于统计的分词法：机器学习算法。知识储备

中文分词结巴分词(jieba)：最好的Python中文分词组件，可以对中文文本进行分词、词性标注、关键词抽取等功能，并且支持自定义词典。

支持三种分词模式：精确模式：将句子最精确的分开，适合文本分析全模式：句子中所有可以成词的词语都扫描出来，速度快，不能解决歧义搜索引擎模式：在精确的基础上，对长词再次切分，提高召回

支持繁体分词

支持自定义词典知识储备

中文分词三者区别：list(jieba.cut("我来到北京清华大学"))#['我','来到','北京','清华大学']list(jieba.cut("我来到北京清华大学",cut_all=True))#['我','来到','北京','清华','清华大学','华大','大学']list(jieba.cut_for_search("我来到北京清华大学"))#['我','来到','北京','清华','华大','大学','清华大学']知识储备

文本向量化——词袋法第一步，分词（在中文里，“词”和“词组”边界模糊）句子A：我/喜欢/看/电视，不/喜欢/看/电影。句子B：我/不/喜欢/看/电视，也/不/喜欢/看/电影。第二步，列出所有的词

我，喜欢，看，电视，电影，不，也。第三步，计算词频。句子A：我1，喜欢2，看2，电视1，电影1，不1，也0。句子B：我1，喜欢2，看2，电视1，电影1，不2，也1。第四步，写出词频向量。句子A：[1,2,2,1,1,1,0]句子B：[1,2,2,1,1,2,1]知识储备

文本向量化——TF-IDF假定现在有一篇长文《中国的蜜蜂养殖》，我们准备用计算机提取它的关键词。我们可能发现"中国"、"蜜蜂"、"养殖"这三个词的出现次数一样多。这是不是意味着，作为关键词，它们的重要性是一样的？词频（TF）表示词条（关键字）在文本中出现的频率。在词频的基础上，要对每个词分配一个"重要性"权重。最常见的词（"的"、"是"、"在"）给予最小的权重，较常见的词（"中国"）给予较小的权重，较少见的词（"蜜蜂"、"养殖"）给予较大的权重。这个权重叫做"逆文档频率"（InverseDocumentFrequency，缩写为IDF），它的大小与一个词的常见程度成反比。知识储备

文本向量化——TF-IDF知道了"词频"（TF）和"逆文档频率"（IDF）以后，将这两个值相乘，就得到了一个词的TF-IDF值。某个词对文章的重要性越高，它的TF-IDF值就越大。第一步：计算词频不同的文章总的字数不一样，为了便于比较，通常进行一个“标准化”。知识储备

文本向量化——TF-IDF第二步，计算逆文档频率。需要一个语料库（corpus），用来模拟语言的使用环境。指经科学取样和加工的大规模电子文本库。如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。log表示对得到的值取对数。知识储备

文本向量化——TF-IDF第三步，计算TF-IDFTF-IDF与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比。计算出文档的每个词的TF-IDF值，然后按降序排列，取排在最前面的几个词。知识储备

文本向量化——TF-IDF以《中国的蜜蜂养殖》为例。假定该文长度为1000个词，"中国"、"蜜蜂"、"养殖"各出现20次，则这三个词的"词频"（TF）都为0.02。然后，搜索发现，包含“的”字的文档共有250亿张，假定这就是中文网页（文档）总数。包含"中国"的网页共有62.3亿张，包含"蜜蜂"的网页为0.484亿张，包含"养殖"的网页为0.973亿张。则它们的逆文档频率（IDF）和TF-IDF如下：知识储备

中文情感分析情感分析（SentimentAnalysis）是自然语言处理领域的一个重要的研究方向。它的目的是挖掘文本要表达的情感观点，对文本按情感倾向进行分类。情感分析在工业领域有着广泛的应用场景。例如，电商网站根据商品评论数据提取评论标签，调整评论显示顺序；影评网站根据电影评论来评估电影口碑，预测电影是否卖座；外卖网站根据菜品口味、送达时间、菜品丰富度等用户情感指数来改进外卖服务等。情感分析方法可以分为两大类：一是基于情感词典的方法，一是基于机器学习算法的方法。知识储备

中文情感分析基于情感词典的方法对输入的句子进行情感分析时，首先对句子进行分词，然后获取各个词在情感词典中的情感打分，最后将所有词的情感打分加起来得到句子的情感分。现有情感词典大连理工大学中文情感词典知网HowNet台湾大学NTUSD简体中文情感词典清华大学李军中文褒贬义词典BosonNLP微博情感词典.....知识储备

中文情感分析基于机器学习算法第三方工具库项目中需要安装的第三方工具库如下：jieba：分词库，pipinstalljiebacpca：中文地址处理库，pipinstallcpca项目分析报告成都各区域店铺数量、评分、人均消费情况项目分析报告成都各区域店铺数量、评分、人均消费情况项目分析报告成都各区域店铺数量、评分、人均消费情况通过上述分析，可以知道各区店铺数量差距较大，武侯区和锦江区的店铺数位居前列，邛崃市和青白江区的店铺数量较少。成都各区域店铺评分总体差距不大，且多数在4分以上，说明顾客对商家的态度是积极的。各区最高消费差异明显，但人均消费基本保持在50-80区间，说明顾客更喜欢中档层次消费。建议高消费店铺，适当推出优惠活动，促进消费。而中层消费，只需继续保持口碑，持续发展即可。对于发展较好的城区，重在保持客户的发展，不让客户流失。店铺较少的城区，将口味做好，适当宣传，以此发展，吸引顾客。项目分析报告5分好评店铺基本情况分析5分好评的店铺，共计167家。根据用户评价次数对店铺降序排序，得到评价次数靠前的10家热门店铺。从图中可看出，成都市5分好评且消费人数最多的10家美食店，人均消费都没有超过100元，且火锅在热门商铺中呼声较高。而且用户对于店铺评价受价格的因素影响小，更追求店铺本身的品质。项目分析报告成都美食种类词云图展示通过对所有店铺名称进行分词，绘制词云图，分析成都美食种类以及受欢迎程度。由词云图中可以看出火锅类店铺数量居首位，在成都地区的餐饮行业中占据一定的市场规模且是更加符合成都人民的饮食喜好的，从其他词汇也可看出火锅形式的多样化：如海鲜，鱼头，串串等。从词云图也可看出成都地区美食类型的多样化，侧面也表现出用户对于各类美食的接受度较高及成都餐饮行业逐步朝向多元化，特色本土化发展。项目分析报告基于K-Means算法的店铺分类根据K-Means聚类模型的结果，类别为0（店铺群1）的店铺评分偏低，评价数中等，人均消费中等；类别为1（店铺群2）的店铺评分较高，评价数中等，人均消费中等；类别为2（店铺群3）的店铺评分中等，评价数较高，人均消费较高。综合分析，第三类店铺消费次数多，人均消费较其他两类高，但评分不佳，属于“网红型”店铺。第二类店铺消费次数一般，人均消费适中，但其评分较高，属于“口碑型”店铺。第一类三个特征表现都一般，属于“大众型”店铺。项目分析报告A店铺的用户评论情感倾向分析从正面和负面评论词云图中可以看出，A店铺的菜品和味道是用户提到最多的，说明用户最关注的就是菜品和味道。但是从图2中可知，“服务”、“服务员”、“服务态度”负面反馈情感值比较高，说明A店铺的服务是导致用户差评的主要原因，所以该店铺在改善菜品和味道的同时，重点要提升店铺的服务质量。项目总结本项目以美团网美食店铺为例，首先对美食商家数据进行描述统计，分析成都市各区域店铺数量、评分、人均消费等基本情况，然后运用K-Means聚类算法对商家进行分类研究，针对不同类别的商家给出相应的经营决策建议；最后，针对某热门店铺的评论数据进行中文情感分析，帮助商家了解用户对商品的关注点、需求点，以及商品本身的不足点和店铺服务相关的问题。感谢聆听实训11交通大数据分析实训项目背景随着智能交通技术的不断发展，凭借各种交通数据采集系统，交通领域积累的数据规模膨大，飞机、列车、水陆路运输逐年累计的数据从过去TB级别达到目前PB级别，同时伴随近几年大数据分析、挖掘等技术迅速发展，对海量的交通数据进行挖掘分析是交通领域发展的重要方向，得到了各地政府和企业的高度重视。交通大数据的有效利用与人们的生活息息相关，不仅能够给人们的生活创造巨大的便利，也能为政府的规划、城市的发展提供坚实的数据支撑。交通运输部数据显示，目前全国有360余个城市投放了共享单车，在营车辆约1950万辆，注册用户数超过3亿。共享单车用户的骑行行为会留下大量的数据，如何分析和挖掘相关数据，为共享单车的治理和优化提供数据支持，具有极其重要的意义。本项目将对共享单车的骑行数据进行挖掘，探索用户骑行的规律与模式。实训任务骑行数据缺失值、异常值的检测与处理自定义特征，统计站点每半小时的进出流量骑行数据描述性统计分析站点骑行流量探索性分析利用Apriori算法对站点流量进行关联规则挖掘利用FPGrowth算法对站点流量进行关联规则挖掘数据准备本项目所分析的数据来自CitiBike，这是一家主要运营在美国纽约市的共享单车公司。CitiBike共享单车业务早在2013年5月就首次运营，推出当天就有1.6万名会员注册，可见大家对该项目的喜爱。经过多年的发展CitiBike先后推出了330个站点和5000辆自行车，主要分布在曼哈顿下城和布鲁克林西北区。本次分析的数据为CitiBike在2017年7月的骑行数据，该数据由公司自行公开，可从如下地址进行下载：/tripdata/201707-citibike-tripdata.csv.zip。数据准备此数据共有1735599条骑行记录，包括15个字段，具体含义及类型如下表所示。分析步骤知识储备关联规则挖掘概述关联规则挖掘：一种发现大量数据中事物（特征）之间有趣的关联的技术。典型应用是购物篮分析：找出顾客购买行为模式、发现交易数据库中不同商品（项）之间的联系。例如，通过关联规则挖掘可能会发现，购买牛奶的用户往往会同时购买面包，或是购买的尿布的用户往往会同时购买啤酒等。在此基础上，商家可以考虑进行定制化的推荐或者营销，辅助进行经营方针的制定，如商品捆绑销售设计、商品促销和商品货架分布等，从而提高利润。知识储备关联规则的基本概念1.项集：I={牛奶,面包,尿布,啤酒,鸡蛋,可乐}2.频数：一个项集X在数据库D中出现的次数为频数。

例如，X={牛奶,面包}，则count(X)=3.3.支持度：在一个交易数据库D中，用支持度衡量一个项集X出现频率的大小，记为support(X)。support(X)=count(X)/|𝐷|×100%。|𝐷|为该数据库所包含交易数据条数。例如，X={牛奶,面包}，则support(X)=60%.4.置信度：项集X发生的情况下，则项集Y发生的概率为关联规则的置信度，记为confidence(X→Y)。confidence(X→Y)=support(X→Y)/support(X)。例如，X={牛奶,面包}，Y={啤酒}，则confidence(X→Y)=1/3=33.3%。5.频繁项集：项集X的支持度如果大于用户给定的最小支持度阈值，则X被称为频繁项集。TIDItemsT1

牛奶,面包T2面包,尿布,啤酒,鸡蛋T3牛奶,尿布,啤酒,可乐T4面包,牛奶,尿布,啤酒T5面包,牛奶,尿布,可乐知识储备关联规则挖掘关联规则挖掘的主要任务：找出满足最小支持度和最小置信度的频繁项集。

例如，给定minsup=40%和minconf=60%，则{啤酒}→{尿布}为频繁项集，sup({啤酒,尿布})=60%,conf({啤酒,尿布})=100%。目前常见的关联规则算法AprioriFP-Growth知识储备Apriori算法逐层发现算法（Apriori）的主要思想是找出存在于事务数据集中的最大的频繁项集，再利用得到的最大频繁项集与预先设定的最小置信度阈值生成强关联规则。知识储备使用Apriori算法实现餐饮菜品关联分析结合餐饮行业的实例讲解Apriori关联规则算法挖掘的实现过程。数据库中部分点餐数据如表所示。序列时间订单号菜品id菜品名称12014/8/2110118491健康麦香包22014/8/211018693香煎葱油饼32014/8/211018705翡翠蒸香茜饺42014/8/211028842菜心粒咸骨粥52014/8/211027794养颜红枣糕62014/8/211038842金丝燕麦包72014/8/211038693三丝炒河粉…………………………知识储备使用Apriori算法实现餐饮菜品关联分析首先将上表中的事务数据（一种特殊类型的记录数据）整理成关联规则模型所需的数据结构，从中抽取10个点餐订单作为事务数据集，设支持度为0.2（支持度计数为2），为方便起见将菜品{18491,8842,8693,7794,8705}分别简记为

，如表所示。订单号原菜品id转换后菜品id118491,8693,870528842,779438842,8693418491,8842,8693,7794518491,884268842,8693718491,8842818491,8842,8693,8705918491,8842,86931018491,8693，8705知识储备使用Apriori算法实现餐饮菜品关联分析算法过程如图所示。知识储备使用Apriori算法实现餐饮菜品关联分析（1）过程一：找最大k项频繁项集算法简单扫描所有的事务，事务中的每一项都是候选1项集的集合

的成员，计算每一项的支持度。如

对

中各项集的支持度与预先设定的最小支持度阈值作比较，保留大于或等于该阈值的项，得1项频繁项集

知识储备使用Apriori算法实现餐饮菜品关联分析扫面所有事务，

与

连接得候选2项集

，并计算每一项的支持度。如

接着是剪枝步，由于

的每个子集（即

）都是频繁项集，所以没有项集从

中剔除。对

中各项集的支持度与预先设定的最小支持度阈值作比较，保留大于或等于该阈值的项，得2项频繁项集

知识储备使用Apriori算法实现餐饮菜品关联分析扫描所有事务，

与

连接得候选3项集

，并计算每一项的支持度，如

接着是剪枝步，

与

连接的所有项集为

根据Apriori算法，频繁项集的所有非空子集也必须是频繁项集，因为

不包含在2项频繁项集

中，即不是频繁项集，应剔除，最后的

中的项集只有和知识储备使用Apriori算法实现餐饮菜品关联分析对

中各项集的支持度与预先设定的最小支持度阈值作比较，保留大于或等于该阈值的项，得3项频繁项集

；

与

连接得候选4项集

，剪枝后得到的项集为空集。因此最后得到最大3项频繁项集

和

。由以上过程可知

都是频繁项集，

是最大频繁项集。知识储备使用Apriori算法实现餐饮菜品关联分析（2）过程二：由频繁集产生关联规则尝试基于该例产生关联规则，在Python中实现上述Apriori算法的代码，

结果如右图所示。针对右图中第一条输出结果进行解释：客户同时点菜品e和a的概率是30%，点了菜品e，再点菜品a的概率是100%。知道了这些，就可以对顾客进行智能推荐，增加销量的同时满足客户需求。结果为：supportconfidencee---a0.31.000000e---c0.31.000000c---e---a0.31.000000a---e---c0.31.000000c---a0.50.714286a---c0.50.714286a---b0.50.714286c---b0.50.714286b---a0.50.625000b---c0.50.625000a---c---e0.30.600000b---c---a0.30.600000a---c---b0.30.600000a---b---c0.30.600000知识储备FP-GrowthFP-Growth算法不同于Apriori算法生成候选项集再检查是否频繁的“产生-测试”方法，而是使用一种称为频繁模式树（FP-Tree，FP代表频繁模式，FrequentPattern）的菜单紧凑数据结构组织数据，并直接从该结构中提取频繁项集。相比于Apriori对每个潜在的频繁项集都需要扫描数据集判定是否满足支持度，FP-Growth算法只需要遍历两次数据集，因此它在大数据集上的速度显著优于Apriori。知识储备FP-GrowthFP-Growth算法的基本步骤扫描数据，得到所有1项频繁一项集的计数。然后删除支持度低于阈值的项，将1项频繁项集放入项头表，并按照支持度降序排列。读入排序后的数据集，插入FP树，插入时将项集按照排序后的顺序，插入FP树中，排序靠前的节点是祖先节点，而靠后的是子孙节点。如果有共用的祖先，则对应的公用祖先节点计数加1。插入后，如果有新节点出现，则项头表对应的节点会通过节点链表连接新节点。直到所有的数据都插入到FP树后，FP树的建立完成。知识储备FP-GrowthFP-Growth算法的基本步骤从项头表的底部项依次向上找到项头表项对应的条件模式基。从条件模式基递归挖掘得到项头表项的频繁项集。如果不限制频繁项集的项数，则返回步骤3所有的频繁项集，否则只返回满足项数要求的频繁项集。知识储备FP-Growth2.FP-Growth算法原理FP-Growth算法主要包含3个部分：扫描数据集建立项头表、基于项头表建立FP-tree和基于FP-tree挖掘频繁项集。（1）建立项头表要建立FP-tree首先需要建立项头表，建立项头表需要先对数据集进行一次扫描，得到所有1项频繁一项集的计数，将低于设定的支持度阈值的项过滤掉后，将1项频繁集放入项头表并按照项集的支持度进行降序排序。之后对数据集进行第二次扫描，从原始数据中剔除1项非频繁项集，并按照项集的支持度降序排序。知识储备FP-Growth以一个含有10条数据的数据集为例，数据集中的数据如表所示。序号数据1A，B，C，E，F，H2A，C，G3E，I4A，C，D，E，G5A，D，E，L6E，J7A，B，C，E，F，P8A，C，D9A，C，E，G，M10A，C，E，G，K知识储备FP-Growth对数据集进行扫描，支持度阈值设为20%，由于H，I，L，J，K，P，M都仅出现一次，小于设定的20%的支持度阈值，因此将不进入项头表。将1项频繁项集按降序排序后构建的项头表如表所示。频繁项计数A8E8C7G4D3B2F2知识储备FP-Growth第二次扫描数据，将每条数据中的1项非频繁项集删去，并按照项集的支持度降序排列。如数据项“A，B，C，E，F，H”，其中“H“为1项非频繁项集，剔除后按项集的支持度降序排列后的数据项为“A，E，C，B，F”，得到排序后的数据集如表所示。序号数据1A，E，C，B，F2A，C，G3E4A，E，C，G，D5A，E，D6E7A，E，C，B，F8A，C，D9A，E，C，G10A，E，C，G知识储备FP-Growth（2）建立FP-tree构建项头表并对数据集排序后，就可以开始建立FP-tree。建立FP-tree时按顺序读入排序后的数据集，插入FP-tree中时按照排序的顺序插入，排序最为靠前的是父节点，之后的是子孙节点。如果出现共同的父节点，则对应父节点的计数增加1次。插入时如果有新节点加入树中，则将项头表中对应的节点通过节点链表链接接上新节点。直至所有的数据项都插入FP-tree后，FP-tree完成建立过程。知识储备FP-Growth以建立项头表的数据集为例，构建FP-tree的过程如图所示。知识储备FP-Growth最终得到的FP-tree如图所示。知识储备FP-Growth（3）挖掘频繁项集在构建FP-tree、项头表和节点链表后，需要从项头表的底部项依次向上挖掘频繁项集。这需要找到项头表中对应于FP-tree的每一项的条件模式基。条件模式基是以要挖掘的节点作为叶子节点所对应的FP子树。得到该FP子树后，将子树中每个节点的计数设置为叶子节点的计数，并删除计数低于最小支持度的节点。基于这个条件模式基就可以递归挖掘得到频繁项集了。知识储备FP-Growth以构建F节点的条件模式基为例，F节点在FP-tree中只有一个子节点，因此只有一条路径{A:8,E:6,C:5,B:2,F:2}，得到F节点的FP子树如图所示。知识储备FP-Growth接着将所有的父节点的计数设置为子节点的计数，即FP子树变成{A:2,E:2,C:2,B:2,F:2}。通常条件模式基可以不写子节点，如图所示。通过F节点的条件模式基可以得到F的频繁2项集为{A:2,F:2}、{E:2,F:2}、{C:2,F:2}、{B:2,F:2}。将2项集递归合并得到频繁3项集为{A:2,C:2,F:2}、{A:2,E:2,F:2}等等。最终递归得到最大的频繁项集为频繁5项集{A:2,E:2,C:2,B:2,F:2}。第三方工具库项目中需要安装的第三方工具库如下：basemap：数据地图的可视化工具库geopy：地址编码工具库apyori：Apriori算法库pyfpgrowth：FP-Growth算法库第三方工具库安装basemap的步骤如下：在命令提示行输入condainstallbasemap，如果安装失败，可采用如下1-4步完成。1、下载.whl文件：（1）pyproj-3.0.1-cp36-cp36m-win_amd64.whl（2）basemap-1.2.2-cp36-cp36m-win_amd64.whl注，这两个文件均可在/~gohlke/pythonlibs/找到，需要特别注意的是版本号一定要对应（比如多少位机器，什么版本的python）2、将下载好的.whl文件放在某个目录下，如python的安装目录Scripts；第三方工具库3、打开AnacondaPrompt，进入.whl文件所在的目录下，输入pipinstallXXX安装：4、测试是否安装成功：frommpl_toolkits.basemapimportBasemapimportmatplotlib.pyplotasplt第三方工具库安装geopy

、apyori和pyfpgrowth的