市场调查第三版课件 6.3大数据分析应用

市场调查与分析职业教育市场营销专业教学资源库建设项目

目录页CONTENTSPAGE6.3.1大数据认知模块六：整理、分析调查数据6.3大数据分析应用学习目标了解大数据的特点和商业应用方向；掌握大数据分析流程；能根据业务问题，做出科学的大数据分析规划，并利用可视化工具进行数据分析与展示。学习重点利用可视化工具进行数据分析与展示6.3.1.1大数据的定义大数据又称巨量资料，是指无法通过人脑甚至主流软件工具，在合理时间内对其内容进行撷取、管理、处理和整理的数据集合。狭义数据量庞大数据种类繁多无法用常规归类方法应用计算6.3.1.2大数据特点5VVolume（大量）Velocity（高速）Variety（多样）Value（低价值密度）Veracity（真实性）6.3.1.2大数据特点数据量大（Volume）1大数据最基本的特点就是数据量庞大，它是获取真实数据价值和有效潜在信息的前提。随着云计算、物联网等技术的发展，数据的采集、计算、存储量也在飞速增长。近4亿的会员每天产生的商品交易数据约20TB约10亿的用户每天产生的日志数据超过300TB6.3.1.2大数据特点数据流转快速（Velocity）2大数据时代，数据增长速度快，其获取和处理速度也快，数据的实时性要求越来越明确，这是大数据区分于传统数据处理最显著的特征。汽车无人驾驶需要快速获取道路数据，依据数据进行正确研判并做出及时反应，才能实现安全驾驶。6.3.1.2大数据特点数据类型多样（Variety）3因为数据源不同，数据类型和形式也越来越丰富，已经打破传统的结构性数据范畴，出现了半结构与非结构数据。地理信息图片音频视频6.3.1.2大数据特点价值密度低（Value）4传统数据基本都是结构化数据，每个字段都是有用的，价值密度非常高。大数据时代，越来越多数据都是半结构化和非结构化数据，虽然数据量比以前大了很多倍，但价值密度确实低了很多。6.3.1.2大数据特点数据真实可靠（Veracity）5大数据中的内容是与真实世界中所发生的活动息息相关。准确性高可信赖度高6.3.1.3大数据思维总体性思维数据获取从抽样变为全面收集思维方式也应该从样本思维转向总体思维容错性思维拥有海量数据后，绝对精准不再是追求的主要目标，适当忽略微观层面上的精确度，反而可以在宏观层面拥有更好的洞察力关联性思维大数据能分析出事物之间隐蔽的相关关系，获得更多的认知与见解思维方式已经从因果思维，转变为关联性思维智能化思维大数据思维最关键的就是要从自然思维转向智能化思维，使数据富有生命力“智能”和“智慧”已成为大数据时代的显著特征

目录页CONTENTSPAGE6.3.2大数据分析的基本流程模块六：整理、分析调查数据6.3大数据分析应用学习目标了解大数据的特点和商业应用方向；掌握大数据分析流程；能根据业务问题，做出科学的大数据分析规划，并利用可视化工具进行数据分析与展示。学习重点利用可视化工具进行数据分析与展示大数据分析流程6.3.2.1确定目标确定目标是大数据分析的第一步是数据采集。明确分析定位确定分析思路确保数据分析过程有效进行确保分析框架的体系化，使分析更具有说服力6.3.2.1确定目标某电商企业要分析其线上交易用户行为，以优化运营方案。对于这一分析目标，我们需要进行框架式分解。用户进入APP的主要目的就是消费，其行为可以分为逛和买。因此，可以从浏览和购买两个行为进行分析，其中浏览行为主要关注访问时间、访问频次、访问深度、访问入口、收藏/加购频次、停留时长、品类偏好等；购买行为主要分析消费金额、消费频次、消费偏好等。在此基础上确定数据采集和分析方案。6.3.2.2数据采集数据采集也即数据收集或数据获取，是按照已经确定的数据分析框架，收集相关数据的过程，它是大数据分析的前提，也是大数据价值挖掘的重要环节。第一手数据：可直接获取的数据第二手数据：经过加工整理后得到的数据6.3.2.2数据采集数据采集途径基于物联网的数据业务系统的数据库互联网6.3.2.2数据采集基于物联网的数据1指把所有物品通过信息传感设备、射频识别技术、全球定位系统等与互联网连接起来，进行信息交换，实时采集各种需要的信息。在自动驾驶中，数据的采集主要包括基于GPS（全球定位系统）的定位信息、车载视觉摄像头数据、车载雷达数据等。例6.3.2.2数据采集业务系统的数据库2一些企业建设有自己的业务处理系统，系统会用利用MySQL和Oracle等传统数据库来存储相关业务数据，企业所产生的业务数据，都被实施地写入数据库。6.3.2.2数据采集

互联网3直接获取结构化数据利用数据爬取技术采集非结构化数据要分析某地二手房销售市场行情，就可以使用进入二手房交易平台，利用数据采集工具对数据进行自动采集6.3.2.3数据处理数据处理数据清洗数据集成数据转换数据归约对已采集到的数据进行加工整理，将原始数据转化为可以进行数据分析的格式，是数据分析的基础。基本目的：从大量、杂乱、难以理解的数据中，抽取并推导出对解决问题有价值、有意义的数据，保证数据的一致性和有效性。6.3.2.3数据处理

数据清洗1对缺失数据、重复信息、异常数据进行必要的处理，以保证数据的一致性（1）缺失值清洗

缺失值主要包含两种：一是单元缺失，及观测对象的全部信息均缺失；二是属性缺失，即观测对象的部分信息记录不全。常见的处理方法有：①直接删除②填充缺失值6.3.2.3数据处理

数据清洗1（2）重复值清洗数据库中属性值相同的记录被认为是重复记录，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录（即合并/清除）。

合并/清除是消重的基本方法。6.3.2.3数据处理

数据清洗1（3）异常值清洗异常值是指那些在数据集中存在的不合理的值，可能是因为传感器故障、人工录入错误或异常事件导致看，如果忽视这些异常值，在某些建模场景下就会导致结论的错误。6.3.2.3数据处理

数据清洗1（3）异常值清洗

①分箱：将需要处理的数据根据一定的规则放进箱子里，然后根据数据中各个箱子的实际情况对异常数据进行平滑处理。我们可以对原始数据先进行一个排序，然后分到3个不同的箱中，按照每个箱的平均值进行箱内平滑。6.3.2.3数据处理

数据清洗1（3）异常值清洗

②回归：构建回归模型，使用回归函数去拟合数据代替异常数据。对数据绘制散点图后，右上角有一个数据明显异常，此时，可以对正常数据绘制单线性趋势，将异常数据平滑到线性趋势线上即可。6.3.2.3数据处理

数据清洗1（3）异常值清洗③聚类：就是把数据划分为若干聚类，每个类内的对象都是十分相似，而类与类之间存在明显的差距。将某科目成绩（百分制）按照规不合格、合格、优秀三个等次聚类后，形成散点图后，还有3个点是分散于类别外的，就是异常数据，可以直接删除。6.3.2.3数据处理

数据清洗1（3）异常值清洗④其他：对于部分明显的逻辑错误值，可以利用人工和计算机配合处理。年龄200岁，要么删掉，要么就按缺失值处理；身份证号是1101031980XXXXXXXX，但是年龄却是18岁，这明显信息不对称，需要调整统一。例6.3.2.3数据处理

数据集成2将不同数据源的原始数据进行转化、合并处理，从而形成集中、统一的数据库、数据立方体等，有利于提高大数据的完整性、一致性、安全性和可用性等。京东关键词数据淘宝关键词数据某电商企业淘宝店和京东店某商品关键词推广效果6.3.2.3数据处理

数据集成2

数据集成常用的方法：

（1）数据仓库：又称为ETL，由3个步骤构成：提取、变换和装载。提取就是连接源系统并选择和收集必要的数据用于随后的分析处理。变换就是通过一系列的规则将提取的数据转换为标准格式。装载就是将提取并变换后的数据导入目标存储基础设施。

（2）数据联合：创建一个虚拟的数据库，从分离的数据源查询并合并数据。虚拟数据库并不包含数据本身，而是存储了真实数据及其存储位置的信息或元数据。6.3.2.3数据处理

数据转换3数据转换是将数据转换为统一的、适用于数据分析的数据形式，消除它们在时间、空间、属性及精度等特征表现方面的差异，便于分析比较。原始二手房出售信息转换后的二手房出售信息利用采集工具采集到的二手房销售平台数据中，“房屋信息”这个属性中包含有房型、面积、朝向等信息，不利于分析，就需要进行数据转换，将其分割为多个属性。6.3.2.3数据处理

数据归约4在尽量保持数据原貌前提下，最大限度地精简数据量，以降低无效、错误数据对数据建模的影响，提高建模准确性，减少数据挖掘时间，减低存储成本。（1）样本规约：就是删除行。（2）特征规约：就是删除列。（3）特征值规约：减少列中值的数量。6.3.2.4数据分析

数据分析是指使用适当的分析方法及工具，对处理过的数据进行分析，提取有数据中隐含的价值信息，形成有效结论的过程，数据分析大多是通过软件来完成。

数据挖掘是一种高级的数据分析方法，通过算法从大量的数据中搜索隐藏的有用信息。数据挖掘的算法有两类：有监督学习和无监督学习6.3.2.4数据分析1.有监督学习有监督学习是指存在目标变量，探索特征变量和目标变量之间的关系，在目标变量的监督下学习和优化算法。分类构造分类模型，然后使用该模型对未知样本进行类别判定。分类算法常应用于客户分类、客户属性和特征分析、客户满意度分析。预测分析数据并建立变量之间的依赖关系，从而发现数据内在规律，解决相关问题。主要研究数据序列的趋势特征、数据变量间的相关性等，通常应用于客户关系维系、产品生命周期分析、销售趋势预测及有针对性的营销活动等。6.3.2.4数据分析2.无监督学习无监督学习是指不存在目标变量，基于数据本身去识别变量内在的模式和特征，是没有目标变量监督下的模式识别和分析。聚类基于数据本身，根据数据的相似性和差异性，将一组数据分为几个类别。经过聚类后，属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。关联是通过分析两个或多个事物之间存在的关联,挖掘隐藏在数据间的相互关系，从而根据一个数据项的出现推导出其他数据项的出现。6.3.2.4数据分析数据挖掘过程6.3.2.5.数据呈现也即数据可视化，是将大型数据分析结果以图形、图表的形式呈现，并利用数据分析和开发工具发现其中未知信息，对数据加以可视化解释。6.3.2.5.数据呈现数据可视化的探索过程6.3.2.5.数据呈现图表类型类别比较型图表的数据一般包含数值型和类别型两种数据类型，比如在柱形图、条形图、雷达图、坡度图、词云图等。类别比较6.3.2.5.数据呈现图表类型数据关系型图表分为数值关系型、层次关系型和网络关系型三种图表类型。包括散点图、气泡图、节点链接图、树状图、桑基图、和弦图、蜂箱图等。类别比较数据关系6.3.2.5.数据呈现图表类型数据分布型图表主要显示数据集中的数值及其出现的频率或者分布规律，包括统计直方图、核密度曲线图、箱形图等。类别比较数据关系数据分布6.3.2.5.数据呈现图表类型时间序列型图表强调数据随时间的变化规律或者趋势，X轴一般为时序数据，Y轴为数值型数据，包括折线图、面积图、雷达图、日历图、柱形图等。类别比较数据关系数据分布时间序列6.3.2.5.数据呈现图表类型局部整体型图表能显示出局部组成成分与整体的占比信息，主要包括饼图、圆环图、旭日图、华夫饼图、矩形树状图等。类别比较数据关系数据分布时间序列局部整体6.3.2.6总结报告数据分析总结报告就是将分析结果、可行性建议以及其他有价值的信息整理传递给营销、管理人员，让其能对结果做出正确的判断与理解，并做出有针对性、操作性、战略性的决策。大数据分析的总结报告，其作用和内容都与常规市场调查与分析的报告一样，就不在此赘述。

目录页CONTENTSPAGE6.3.3大数据的商业应用模块六：整理、分析调查数据6.3大数据分析应用学习目标了解大数据的特点和商业应用方向；掌握大数据分析流程；能根据业务问题，做出科学的大数据分析规划，并利用可视化工具进行数据分析与展示。学习重点利用可视化工具进行数据分析与展示6.3.3.1客户关系管理整合利用外部数据，全面采集客户信息，深入挖掘客户关系属性，了解隐藏的信息价值，在此基础上对客户和信息进行明确的定位和分类,针对不同的客户，采取不同的销售模式和措施，从而更好地改善用户体验，维系客户关系,提升个性化营销效果。6.3.3.2市场预测大众在互联网上的搜索、点击、浏览、留言、购买等行为数据，能直接反映其性格、个人偏好和购买需求等。通过对互联网上所保留的大量前兆性数据的收集和分析，可以预测消费者未来的行为趋势。专业的大数据分析有助于把握消费者心理和行为，更好地了解市场特点和变化趋势，从而帮助企业改变营销策略，挖掘产品与市场。6.3.3.2市场预测

传统奢侈品牌PRADA正在向大数据时代迈进。她在纽约及一些旗舰店里开始了大数据时代行动。在纽约旗舰店里，每件衣服上都有RFID码，每当顾客拿起衣服进试衣间时，这件衣服上的RFID会被自动识别，试衣间里的屏幕会自动播放模特穿着这件衣服走台步的视频。人一看见模特，就会下意识里认为自己穿上衣服就会是那样，不由自主地会认可手中所拿的衣服。

而在顾客试穿衣服的同时，这些数据会传至PRADA总部。包括：每一件衣服在哪个城市哪个旗舰店什么时间被拿进试衣间停留多长时间，数据都被存储起来加以分析。如果有一件衣服销量很低，以往的作法是直接被废弃掉。但如果RFID传回的数据显示这件衣服虽然销量低，但进试衣间的次数多。那就说明存在一些问题，衣服或许还有改进的余地。

这项应用在提升消费者购物体验的基础上，还帮助Prada提升了30%以上的销售量。传统奢侈品牌在大数据时代采取的行动，体现了其对大数据运用的视角，也是公司对大数据时代的积极回应。PRADA公司是如何利用大数据进行产品优化的?6.3.3.3个性精准营销精准推荐商品或服务1利用大数据技术，能挖掘消费者的消费习惯和消费行为，从而分析其消费心理特点，并建立相应的消费者档案信息,以此为基础,为消费者推荐更符合其喜好的产品，或者是与已购买产品关联程度较高的产品，以取得更好的营销效果。6.3.3.3个性精准营销美国零售商塔吉特，通过分析所有女性客户购买记录，可以“猜出”哪些是孕妇。其发现女性客户会在怀孕四个月左右，大量购买无香味乳液。由此挖掘出25项与怀孕高度相关的商品，制作“怀孕预测”指数。推算出预产期后，就能抢先一步，将孕妇装、婴儿床等折扣券寄给客户。塔吉特还创建了一套购买女性行为在怀孕期间产生变化的模型，不仅如此，如果用户从它们的店铺中购买了婴儿用品，它们在接下来的几年中会根据婴儿的生长周期定期给这些顾客推送相