大数据导论 课件 第7章 大数据技术应用实例

大数据技术应用实例大数据技术在城市管理中的应用大数据技术在金融领域的应用大数据技术在互联网领域的应用大数据技术在零售行业的应用大数据技术在城市管理中的应用

随着信息化技术的不断发展，大数据在城市管理中的重要性显得愈发突出。大数据不仅改变了人类社会的生活方式，也从根本上增强了城市管理及决策的精准度和科学性。城市公交用户出行分析获知城市居民出行行为属性特征，将信息进行分析处理，采用一定的挖掘算法即可识别用户的出行方式，借此获知居民的出行轨迹，从而获得出行用户偏好等相关信息。利用大数据分析能力可加强公交精细化管理，将大数据与定性分析相结合，用数据规划公交线路，克服人为主观性、片面性的缺陷，就如同遇到问题时需要从多方面、多角度看待、分析和处理。公共交通数据包括公交卡刷卡数据、公交GPS定位数据。交通出行方式的识别，是对用户出行轨迹中每一对相邻出行节点出行过程特征的识别。若相邻出行过程中运动轨迹特征大致相同，则认为相邻两阶段出行方式相同；若出现较大差异，则认为出现了停驻或采用了其他的交通方式。可以通过用户出行的历史轨迹以及公交GPS定位数据来挖掘用户的出行规律。城市公交用户出行分析1.公交用户出行系统整体架构城市公交用户出行分析2.公交用户的公共交通数据说明下例公共交通数据来源于某市2021年5月份公交卡刷卡数据，日均数据大小为1.2GB；公交GPS定位数据，日均数据大小为6.9GB。公交卡刷卡数据说明如右表。序号字段内容备注1设备编码刷卡设备编号2IC卡编码公交卡编号3刷卡记录编码记录标识4交易金额本次刷卡金额5交易类型公交刷卡11地铁进站21地铁出站226卡内余额公交卡余额7刷卡时间出行时间8线路名称乘坐线路名称9站点名称刷卡站点名称10车牌号乘坐记录车牌号城市公交用户出行分析公交GPS定位数据如右表。序号字段内容备注1设备编号车辆唯一标识2车牌号运行车辆车牌号3线路车辆线路编号4系统时间上传数据时间5定位状态状态判断代码6定位经度百度地图经度标准7定位纬度百度地图纬度标准8速度测量速度9方向行驶方向10行车记录仪速度设备速度11行车记录仪里程车辆行驶里程3.城市公交用户出行数据预处理城市公交用户出行分析在实际数据接入过程中，由于数据总量庞大，对公交卡刷卡数据、公交GPS定位数据进行采集的过程中难免会有字段不完整、数据格式错误、数据丢失以及日期不正确等问题产生，因此数据预处理显得尤为重要。用户出行数据预处理流程如右图，数据预处理环节包括出行缺失数据补偿、异常出行数据剔除、出行数据不一致检测、出行数据噪声识别、出行数据过滤与修正、多种出行数据源集成、降低数据集规模和基于模型的数据转换。城市公交用户出行分析

交通方式判别工作包括出行段分割、统计量选取、机器学习3个步骤。首先根据出行轨迹信息识别停驻，并根据停驻将出行轨迹分割成多种出行，根据换乘点将某种出行分割成只含一种交通方式的出行段；然后选取分割后的出行段。最后基于出行段运用机器学习算法识别出行方式。分析挖掘公交用户出行行为，可通过公共交通数据等多源数据集对用户的出行特点进行分析，包括用户乘车频次、多段换乘出行情况、短途出行情况及出行时段。4.公交用户出行数据特征分析（1）用户乘车频次城市公交用户出行分析将清洗后的公交卡刷卡数据按用户分组，将员工卡和特殊人群的刷卡数据滤除，对单个用户的出行频次进行统计。将出行次数区间划分为(0,10]、(10,20]、(20,30]、(30,40]、(40,50]、(50,+∞)共6个区间范围，计算每个区间对应的刷卡人数分布，如右图。大部分用户5月份刷卡次数集中在30到40次，只有少部分用户的刷卡次数大于50次。城市公交用户出行分析刷卡频次的累计分布图，如右图，刷卡次数在60次以下的用户占比80%，大多数用户的刷卡次数集中在30到60次的范围内。根据长尾效应可得出，在70次左右的位置，累次百分比基本趋于100%，说明大于70次的用户几乎为0，概率线已趋于平滑。（2）多段换乘出行情况城市公交用户出行分析将出行次数与刷卡次数对比分析，如右图。右图将出行次数区间划分为(0,10]、(10,20]、(20,30]、(30,40]、(40,50]、(50,+∞)共6个区间范围，说明刷卡次数相对较多的用户出行大多需要换乘多次，经过的站点数也相对较多。城市公交用户出行分析右图则表示刷卡次数越多，出行的次数也相对较多。（3）短途出行情况城市公交用户出行分析用户每次出行途经的站点数也是分析出行行为的特征值之一，站点数的多少可直接衡量出行距离的远近，经过站点数较少的出行可看作短途出行。由右图可以看出，有短途乘车行为的用户占12.42%，非短途乘车行为的用户占87.58%。说明短途出行主要集中在小部分人群，短途出行情况作为特征值具有一定的区分作用。（4）出行时段城市公交用户出行分析将一天24小时均分为24个出行时间段，以上车刷卡时间为出行的时间基准，以一小时时间段的长度统计刷卡人数，如图7-8所示。由右图可明显看出两个出行峰值，即早高峰和晚高峰，早高峰峰值高于晚高峰，原因可能是下班和放学时间不同；0点到早上5点乘车人数基本为零，可能是凌晨之后部分公交和地铁停运而导致的。1.大数据在环保监测中的优势利用智慧分析系统辅助环保部门科学决策，通过环境业务与地理信息系统的结合，实现生态环保高度信息化、现代化、智慧化，及时把控生态环境发展机遇，破解生态污染难题，将环保决策失败率降至最低。智慧分析系统能够直观呈现天气、水质、空气质量、植被覆盖等数据信息，并对可能发生的气象灾害、环境污染进行提示，环保部门可通过智慧分析系统观测辖区生态状况，为环境治理提供科学的解决方案。环保监测环保监测2.环保监测大数据平台框架结构环境监测平台由数据采集层、数据处理层、数据计算层和数据应用层组成。大数据环境监测平台框架结构如下图。环保监测2.环保监测大数据平台框架结构在保证数据真实的前提下，通过传感器网络、远程监控、摄像头、过程监测、全方位监测等设备，从多个维度、时空属性、不同的粒度进行数据采集。有噪声的数据经过整合与处理，转换为标准数据。再借助数据计算框架，如海量数据处理框架Hadoop中的核心组件MapReduce、数据处理框架Spark或Storm、图数据处理框架GraphX等对数据进行计算。最后在应用层实现智能监控、自动预警、智能分析、污染物溯源和智能呈现等功能。环保监测3.环保监测平台的数据处理大数据环境监测平台将前端采集积累到的监测数据资源、污染源数据、机动车排污等数据资源进行整合，集中到数据库平台中，方便查询、分析和管理。采集的数据含有噪声数据，无法直接建模，需要对数据进行规范化处理，通过缺失数据补充、冗余数据删除、数据类型转换、数据分类、数据融合等操作将数据整理成标准数据。环保监测4.环保大数据平台的应用（1）污染物排放预警（2）污染物溯源（3）科学决策大数据技术在城市管理中的应用大数据技术在金融领域的应用大数据技术在互联网领域的应用大数据技术在零售行业的应用大数据技术在金融领域的应用大数据与金融领域的融合是时代发展的必然产物，大数据技术对数据处理的效率在市场变化、用户营销、产品优化、销售竞争等多方面应用的便捷性、有效性是不言而喻的。将金融数据信息进行深度挖掘与有效把握，可以帮助企业掌握自身经营状况，更准确地预测市场变化，为优化产业布局、分析客户交易、改进产品提供有效的数据支撑。股票价格涨跌趋势预测1.股票价格涨跌趋势预测技术选择（1）BP神经网络

采用BP（BackPropagation）神经网络算法对股票价格进行预测，将股票市场所采用的技术指标作为神经网络输入变量，利用逐步回归方法筛选出影响股票价格涨跌的变量，从而建立起BP神经网络模型。（2）BP神经网络模型的参数确定

对BP神经网络模型的参数进行选择，通过获取股票的收盘价和开盘价等指标对BP神经网络模型进行训练。股票价格涨跌趋势预测2.股票价格涨跌趋势预测数据处理首先收集目前市场上常被使用的技术指标，当作“候选”的输入变量。然后采用逐步回归方法来筛选候选变量，以决定哪些是影响股价变动的关键因素。3.股票价格涨跌趋势预测算法实现经过多次调试试验，最终确定最佳的隐藏层节点数量为20。通过大数据的收集和整理，选取2021年3月至4月共61个交易日的记录为实验基础，其中选择31组交易数据对BP神经网络进行训练，剩下30组数据待输出结果后与实际值进行对比。右图是经过BP神经网络训练学习之后，预测的30组数据的输出值与实际值相对比所产生的4只股票收盘价的相对误差图。股票价格涨跌趋势预测

BP神经网络预测的股票A收盘价的相对误差右图是经过BP神经网络训练学习之后，预测的30组数据的输出值与实际值相对比所产生的4只股票收盘价的相对误差图。股票价格涨跌趋势预测

BP神经网络预测的股票B收盘价的相对误差右图是经过BP神经网络训练学习之后，预测的30组数据的输出值与实际值相对比所产生的4只股票收盘价的相对误差图。股票价格涨跌趋势预测

BP神经网络预测的股票C收盘价的相对误差右图是经过BP神经网络训练学习之后，预测的30组数据的输出值与实际值相对比所产生的4只股票收盘价的相对误差图。股票价格涨跌趋势预测

BP神经网络预测的股票D收盘价的相对误差股票价格涨跌趋势预测4.股票价格涨跌趋势预测分析将股票A、股票B、股票C、股票D这4只股票的历史数据在BP神经网络模型中进行学习训练，得出31组经过学习之后输出的预测值，然后将预测值与实际值相对比，进一步得出了4只股票的相对误差图。通过图不难发现，A、B、C、D这4只股票的相对误差控制在±2.5%以内，已经能够较好地对股票收盘的价格以及趋势进行预测，可以实现利用BP神经网络模型对股票进行指导性预测，实现为广大股民提供科学、理性投资的目的。上市公司综合能力聚类分析1.上市公司综合能力分析案例任务利用大数据技术，采用因子分析法和聚类分析法对旅游上市公司的经营绩效进行评价比较，分析旅游上市公司的经营绩效，提出相应的改善措施，为旅游上市公司的高质量发展提供参考。对于旅游上市公司，提出运用模糊改进方法对公司财务风险进行评价，运用数据包络分析（DataEnvelopmentAnalysis，DEA）模型对公司经营效率进行测度，运用因子分析法进行业绩评价。上市公司综合能力聚类分析2.上市公司综合能力分析技术选择主要基于因子分析法评价的客观性和综合性，采取因子分析法和聚类分析法对旅游上市公司的经营绩效进行评价，通过4种能力的指标选取和样本选取确定因子数量。（1）指标选取

从赢利能力、偿债能力、发展能力和营运能力4个方面选取指标。

（2）样本选取

基于财务报表与东方财富网数据中心的数据，选取了沪深交易所的24家A股旅游上市公司，然后运用分析工具探究上市公司综合能力的影响因子。上市公司综合能力聚类分析（3）因子数量确定

选取每股收益、净资产收益率等9个指标进行因子分析，指标选取结果如下表。指标因子指标因子每股收益X1速动比率X6净资产收益率X2总资产周转率X7销售净利率X3存货周转率X8资产负债率X4营业收入增长率X9流动比率X5上市公司综合能力聚类分析3.上市公司综合能力分析数据预处理综合业绩得分排名前七的有：公司1、公司4、公司7、公司9、公司13、公司6、公司5。其中公司1综合绩效得分高于其他企业的得分，公司5的综合得分为-1.63，低于其他企业。因子得分和综合排名如右表。旅游上市公司偿债因子赢利和成长因子营运因子综合得分综合排名公司13.00252-0.57814-0.169661.131公司4-0.170852.431721.507131.052公司72.179870.06324-0.328690.933公司9-0.10198-0.961134.125130.594公司130.874280.68306-0.289100.555公司61.31748-0.33980-0.241810.436公司50.427740.22721-0.30660-1.637上市公司综合能力聚类分析因子得分和综合排名的雷达图如下图。上市公司综合能力聚类分析4.上市公司综合能力应用分析在因子分析的基础上进行K均值聚类分析，聚类结果如右表。结果表明，旅游上市公司的经营绩效不够理想。不同企业在不同因子上的得分一般不同，能兼顾偿债能力、赢利能力、成长能力、营运能力的企业较少，大都各项一般或其中一项较好、其他较差。类别旅游上市公司业绩得分第一类公司1、公司4高第二类公司7较高第三类公司9、公司13低第四类公司6较低第五类公司5一般上市公司综合能力聚类分析4.上市公司综合能力应用分析通过综合能力分析，企业可以从3个方面改善公司绩效。建议说明合理的多元化目前多元化已成为旅游业的普遍现象，从公司的实际状况出发，合理地涉足其他产业，有利于旅游上市公司获得规模效应从而提升绩效提高企业投资效率旅游企业投资效率与企业的成长性呈显著正相关，可以通过监管信息质量、扩大资本市场、提高企业管理促进投资效率，推动企业成长提高抗风险能力重大事件带来的冲击对于旅游业来说几乎是毁灭性的，要求企业提升经营效率，做好战略规划，增强创新力，以在复苏的市场中更有竞争力大数据技术在城市管理中的应用大数据技术在金融领域的应用大数据技术在互联网领域的应用大数据技术在零售行业的应用大数据技术在互联网领域的应用移动互联网精准营销是大数据时代背景下的新型营销模式，在互联网技术和通信技术迅猛发展的背景下，无论是营销内容、呈现形式和投放方式，还是广告主、广告商、用户之间的角色定位、传播效果和用户体验，都有了颠覆性和创新性的变化。因此，移动互联网如何借助大数据实现满足用户个性化需求的精准营销，以及如何有效监测营销效果，成为业界及学者们共同关注的课题。音乐推荐系统音乐推荐系统通常由用户偏好模型、音乐资源模块和推荐算法3个部分组成，如右图。音乐资源模块主要包括对音乐资源（歌曲、歌手、专辑等）的组织和管理，通过定义不同级别的复杂度和抽象程度来构建音乐特征数据库，为音乐推荐模型提供有效的输入数据。1.音乐推荐系统框架结构音乐推荐系统2.音乐推荐系统技术选择

交替最小二乘法（AlternatingLeastSquares，ALS）在机器学习中特指使用最小二乘法求解的协同过滤算法中的一种。ALS算法在构建Spark推荐系统时，是被使用得最多的协同过滤算法。ALS算法属于User-ItemCF，是同时考虑到用户和物品的算法，是基于矩阵分解的协同过滤算法。3.音乐推荐系统数据处理

本系统使用Hadoop与Spark统一部署环境，基于ALS协同过滤算法及关系数据库，建立基于Spark的底层推荐算法，利用拟牛顿法解决优化约束问题，使用Node.js搭建音乐推荐系统前端。音乐推荐系统4.音乐推荐系统应用分析

利用数据库musicrecommend中的3份数据进行实验，通过算法不断对训练集学习，可以发现利用主成分分析法（PrincipalComponentAnalysis，PCA）将原始评分矩阵从943×1682降维到943×1000，实验结果最好，即d=1000时推荐效果最好，拟牛顿法比传统的推荐算法准确率更高。音乐推荐系统基于标签重要程度的协调过滤文献算法、传统协同过滤算法及本节使用的优化算法之间的综合性能比较如下图。平均绝对误差（MeanAbsoluteError，MAE），因其离差（预测值与实际观测值之差）被绝对值化的特性，可避免误差正负相互抵消，更准确地反映实际预测误差的大小，综合评价指标更合理。由于MAE值越小说明模型质量越好、预测越准确，所以本节使用的优化算法质量最好，使用优化算法的推荐系统可以降低推荐时间，提高推荐准确率。大数据技术在城市管理中的应用大数据技术在金融领域的应用大数据技术在互联网领域的应用大数据技术在零售行业的应用大数据技术在零售行业的应用在零售行业，现代连锁零售企业有着海量的交易数据，对交易数据进行有效的挖掘可以帮助企业提升科学管理水平。购物篮分析（MarketBasketAnalysis）是数据挖掘技术在零售业的典型应用之一，旨在从零售记录中分析出顾客经常同时购买的商品组合，挖掘出购物篮中有价值的信息。购物篮分析1．购物篮分析案例任务

顾客的购买行为是一种整体行为，购买一件商品可能会影响到其他商品的购买，从而影响到每个购物篮的利润，所以购物篮分析的目标就是寻找重要而且有价值的购物信息。

2．购物篮分析技术选择

购物篮分析是关联规则在零售业的一个重要应用，通过发现顾客每次放入购物篮商品之间的联系，分析顾客的购买行为，并辅助零售企业制定营销策略。在购物篮分析中，主要参考的商品相关性分析指标有支持度、置信度。购物篮分析构建商品层次结构树，如右图。可以得到每个节点的父节点和兄弟节点信息，从而判断不同商品是否属于同一父类，为生成购物篮时加入约束条件提供支持。另一方面，因为在生成商品层次结构树的过程中需要遍历交易数据，所以还可以进行统计分析的工作，辅助商品销售分析。购物篮分析3．购物篮分析数据挖掘

选择根据实际交易数据生成商品销售树，得到的商品层次结构更具针对性，可以提高后续购物篮分析的准确性与合理性，也方便对所选择的交易数据进行商品销售分析。4．购物篮应用分析

结合挖掘出的商品层次结构树，在树的每个节点添加统计信息，从而进行商品销售分析。例如，一棵含有统计信息的商品层次结构树，树中每个节点有节点名称、销售量、销售额占比3个属性值，如右图。其中n表示商品的销售量，%表示销售额占比。以参数的形式来控制展示树每一层的节点个数，图中树的每层节点只显示5个小类，企业可以聚焦销售量最大的几种商品，从而制定相应的销售策略。购物篮分析

在大数据时代，研究如何有效实现对客户价值的挖掘成为企业经营发展的重要工作，并有效提高企业在市场中的竞争实力。

客户价值金字塔参考如右图。客户价值分析1.航空公司客户分布画像分析客户价值分析（1）不同性别会员分布画像对于不同性别的会员进行统计需先使用分组聚合，对性别进行分组，统计不同性别的会员人数，绘制饼图，标记不同性别占总人数的百分比，如右图。由图可知，会员中男性占比为76.5%，女性占比为23.5%，说明在航空公司会员中，男性客户的比例较大。（2）不同等级会员的性别分布画像客户价值分析对等级、性别进行分组，统计不同等级中不同性别的会员人数，男性数量用浅色条形表示，女性数量用黑色条形表示，以此来绘制不同等级会员的性别柱形图，如下图。大多数会员的等级都是4级，男性4级会员人数高达40000多人，女性相对较少，只有10000多人，很少一部分会员的等级为6级。根据不同等级会员的人数分布，可以看出大多数会员乘坐飞机的次数不是特别多；