《大数据营销》认识大数据

大数据营销开篇语

数据可以治国，也可以强国。大数据是21世纪的石油和金矿，蕴藏着巨大的商业价值。

我们的学习目标——让大数据“变现”为消费者价值和公司价值。

课程目标课程目标具体内容课程目标1：具备大数据营销的基本专业知识，具备大数据思维。课程目标2：具备大数据营销的操作能力，能够采集需要的数据，并对数据进行脱敏以及数据资产管理，应用大数据营销数据分析方法分析具体问题，应用大数据营销模型进行大数据挖掘。课程目标3：根据消费者行为的演变，能够利用大数据洞察消费者需求；具备大数据驱动的营销组合创新能力；能够综合运用个性化营销、精准营销、关联营销的策略。课程目标4：具备大数据营销的行业应用能力及大数据营销伦理意识。

课程主要内容认识大数据【学习目标】知识目标能力目标1、了解什么是大数据。1.掌握大数据的含义、特点和分类。2、了解大数据的产生与发展。2.掌握大数据发展的主要方向。3、理解大数据的商业价值。3.能挖掘大数据的商业价值。4、了解大数据的支撑技术。4.掌握大数据的技术架构和关键技术。5、理解大数据时代的变革。5.掌握大数据时代思维变革和管理变革方向。思维导图【思考】1.新冠疫情的防控过程中，我国是如何应用大数据实现智慧战役的？2.当前，大数据在我国哪些领域哪些行业得到了应用？第一节

什么是大数据1.大数据的含义大数据(bigdata)被用来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。作为IT行业的热门概念，已从专业IT人士和数据分析师，扩散到所有关注科技、互联网以及营销领域的人群及行业中。大数据上过《纽约时报》、《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内外一系列互联网主题的讲座沙龙中，甚至被嗅觉灵敏的证券公司等写进了投资推荐报告。第一节

什么是大数据1.大数据的含义✭“大数据”是未来学专家阿尔文.托夫勒在《第三次浪潮》（1980）提出的，他指出：“所谓第三次浪潮，即是在农业文明、工业文明之后的信息社会”，而大数据是第三次浪潮的华彩乐章。

★

2011年6月，麦肯锡公司发布了颇具影响力的大数据报告：《大数据：创新、竞争和生产力的下一个前沿》，指出了大数据将成为竞争的关键基础，支撑新的生产力增长。第一节

什么是大数据1.大数据的含义1Byte=8Bit1KB=1024Bytes1MB=1024KB=1,048,576Bytes1GB=1024MB=1,048,576KB=1,073,741,824Bytes1TB=1024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1024EB=1,048,576PB=1,180,591,620,717,411,303,424Bytes1YB=1024ZB=1,048,576EB=1,208,925,819,614,629,174,706,176Bytes图1-1数据量级图第一节

什么是大数据1.大数据的含义天眼查数据显示，目前我国数据中心相关企业超156.7万家，2022年新增注册企业近40.2万家。广东、北京、山东三地，数据中心相关企业数量位列前三位。从行业分布来看，信息传输、软件和信息技术服务业相关企业位列第一，科学研究和技术服务业位列第二。从成立时间来看，77.3%的企业成立于5年之内。IDC第一节

什么是大数据1.大数据的含义麦肯锡：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。维基百科：大数据是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的数据集合。美国国家标准与技术研究院（NIST）：大数据是数量大、获取速度快或形态多样化的数据，难以用传统关系型数据分析方法进行有效分析，或者需要大规模的水平扩展才能高效处理。第一节

什么是大数据1.大数据的含义我国大数据专家涂子沛在《大数据》一书中分析了大数据的三大成因：一是基于摩尔定律，人类保存数据的能力增强；二是基于社交媒体发展，人类生产数据的能力增强；三是基于数据挖掘能力，人类使用数据的能力增强。第一节

什么是大数据2.大数据的特点摩尔定律是计算机IC上可容纳的晶体管书目，约()个月便会增加一倍，这一定律是（

）公司董事长戈登.摩尔所提出的。18，IMB16,Microsoft18，Inter16，AppleABCD提交单选题1分第一节

什么是大数据2.大数据的特点海量数据（Volume）

以应用较为广泛的淘宝网和脸书为例，淘宝网近4亿的会员日均产生的商品交易数据约20TB，脸书近10亿的用户日均产生的日志数据约300TB。第一节

什么是大数据2.大数据的特点实时处理（Velocity）大数据对数据处理速度有着严格的要求，服务器中大量资源都用于处理和计算数据，一些平台都需要做到实时分析。数据源源不断，谁的数据处理速度快，谁就有优势，唯快不破。1981年，一个千兆字节的内存大约需要30万美元，而今天只需10美分。这使得以实时处理作为价值创新点的商业应用成为可能，而实时或近似实时的信息处理与运用能使一个公司比其竞争对手更加机敏（McAfee，Brynjolfsson，2012）。第一节

什么是大数据2.大数据的特点实时处理（Velocity）大数据对数据处理速度有着严格的要求，服务器中大量资源都用于处理和计算数据，一些平台都需要做到实时分析。数据源源不断，谁的数据处理速度快，谁就有优势，唯快不破。1981年，一个千兆字节的内存大约需要30万美元，而今天只需10美分。这使得以实时处理作为价值创新点的商业应用成为可能，而实时或近似实时的信息处理与运用能使一个公司比其竞争对手更加机敏（McAfee，Brynjolfsson，2012）。大数据处理流程大数据处理流程--示例：语音识别、人脸支付等；多来源（Variety）

大数据的主要来源企业系统：客户关系管理系统、企业资源计划系统、库存系统、销售系统等。机器系统：智能仪表、工业设备传感器、智能设备、视频监控系统等。互联网系统：电商系统、服务行业业务系统、政府监管系统等。社交系统：微信、QQ、微博、博客、新闻网站、朋友圈等。第一节

什么是大数据2.大数据的特点多来源（Variety）

非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等等。特点：格式多样、标准多样；形式：文本、图形、图像、音频、视频等；处理过程：挖掘、提取、分析、管理、存储第一节

什么是大数据2.大数据的特点数据价值密度低（Value）这是大数据的核心特征。现实世界所产生的如此庞杂的大数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据的价值在于从大量不相关的数据中，挖掘出对未来趋势预测分析有价值的数据，通过机器学习、人工智能、数据挖掘等方法深度分析，从而发现新规律和新知识，并应用于相应的领域，最终达到提高生产效率、改善社会治理的目的。第一节

什么是大数据2.大数据的特点下列关于大数据的特点表述正确的是（

）数据容量大数据来源多样化，类型多样化数据能进行实时处理数据价值密度大ABCD提交多选题3分第一节

什么是大数据2.大数据的特点“大数据”之“大”，并不仅仅在于其“容量之大”，“大数据”之“大”，更多的意义在于：人类可以“分析和使用”的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值，带来“大知识”、“大科技”、“大利润”和“大发展”。按数据结构划分：结构化、半结构化和非结构化三种3.大数据的类型传统数据为主大数据为主第一节

什么是大数据示例：结构化数据（优衣库销售数据）Store_id门店随机编号id,无实际意义City门店所在城市Channel门店所产生的销售渠道，线上表示网上购买到门店自提，线下表示门店直接购买GenderGroup客户性别男age_group客户年龄段wkd_ind购买发生的时间(周末，周中)Product产品类别customer客户数量revenue销售金额Order订单数量(一个客人可能多次购买)Quant购买的产品数量unit_cost产品的成本(包含制造和营销层面)示例：半结构化数据（无印良品京东旗舰店评论）示例：非结构化数据（优衣库官网广告）广告呈现方式如何刺激消费者产生进一步行为？？非结构化数据的三大来源：企业内部的经营交易信息，物联网世界中商品、物流信息，互联网世界中人与人之间的交互信息、位置信息等是大数据的三个主要来源。具体来看，它们来自网络文本、文件、搜索索引、日志、RFID、传感器网络、呼叫记录、天文地理数据、生物基因信息、医疗记录、摄影视频档案，以及大规模的电子商务数据等。多元来源的数据其大小、格式可能都不相同，其中75%—80%都是非结构化数据（例如，视频、Facebook更新、Twitter消息、互联网搜索等），有预测指出，未来10年，非结构化数据量将占全部数据量的90%（涂子沛，2012）。无线射频识别即射频识别技术是自动识别技术的一种，通过无线射频方式进行非接触双向数据通信，利用无线射频方式对记录媒体（电子标签或射频卡）进行读写，从而达到识别目标和数据交换的目的，其被认为是21世纪最具发展潜力的信息技术之一。企业管理系统：企业资源计划(ERP)是指组织用于管理日常业务活动的一套软件，这些活动包括会计、采购、项目管理、风险管理和合规性、供应链运营等等。客户关系管理系统CRM的主要含义就是通过对客户详细资料的深入分析，来提高客户满意程度，从而提高企业的竞争力的一种手段。客户关系是指围绕客户生命周期发生、发展的信息归集。3.大数据的类型业务数据：消费者数据、客户关系数据、库存数据、账目数据等；行业数据：车流量数据、能耗数据、PM2.5数据、交通大数据等；内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等；线上行为数据：页面数据、交互数据、表单数据、会话数据、反馈数据等；线下行为数据：车辆位置和轨迹、用户位置和轨迹、动物位置和轨迹等；第一节

什么是大数据第二节

大数据的产生与发展1.大数据的产生

1980-2008萌芽期

1998大数据挑战2007社交网络发展，数据科学领域迎来新范式——数据探索20082005Hadoop项目诞生Nature推出“大数据”专栏；美国技术社区联盟推出基于大数据的白皮书。1980BIGDATA首次出现第二节

大数据的产生与发展2.大数据的成长

2009-2012成长期

2013-2015爆发期

2011麦肯锡关于大数据报告2013中国大数据元年；BAT推出大数据应用20142012维克托.迈克尔.舍恩伯的《大数据时代》大数据写入我国《政府工作报告》，上升为

国家战略。2010《经济学人》对大数据专题报告2015全国首个大数据交易所挂牌运营；国务院发布《促进大数据发展行动纲要》第二节

大数据的产生与发展2.大数据的发展

第二节

大数据的产生与发展2.大数据的发展

第二节

大数据的产生与发展2.大数据的成长

2016-快速发展期

2016增加“数据科学与大数据技术”专业20222021中国大数据产业白皮书2017大数据产业“十三五规划”；成立大数据局2016出台我国第一部大数据地方法规；成立首个国家级大数据综合试验区第二节

大数据的产生与发展2.大数据的成长

2016-快速发展期

2016增加“数据科学与大数据技术”专业20222021中国大数据产业白皮书2017大数据产业“十三五规划”；成立大数据局2016出台我国第一部大数据地方法规；成立首个国家级大数据综合试验区第二节

大数据的产生与发展2.大数据的成长

截至2021年8月，我国大数据企业达6万多家。

第二节

大数据的产生与发展3.大数据的应用

第一层次：描述性分析应用，是指通过大数据分析相关的信息和知识，帮助人们分析发生了什么，并以可视化形式呈现事物的发展历程。如美国的DOMO公司。

第二层次：预测性分析应用，是指通过大数据分析事物之间的关联关系、发展模式等，并据此对事物发展的趋势进行预测。如，建立预测模型，对多届奥斯卡奖项的归属进行预测。

第三层次：指导性分析应用，是指在前两个层次的基础上，分析不同决策将导致的后果，并对决策进行指导和优化。如，无人驾驶汽车分析高精度地图数据和海量的激光雷达、摄像头等传感器的实时感知数据，对车辆不同驾驶行为的后果进行预判，并据此指导车辆的自动驾驶。

大数据的应用场景——宏观场景2.大数据的应用场景——微观场景中国大数据的元年是（

）。2010年2011年2012年2013年ABCD提交单选题1分下列说法正确的是

（

）。企业和个人应将关注焦点放在大数据的“大”上。企业和个人应将关注焦点放在大数据的商业价值上。大数据源于数据生产和收集的能力以及速度的大幅提升。大数据发展已上升为我国的国家战略。ABCD提交多选题3分第三节

大数据的商业价值1.数据存储空间出租

大数据时代企业和个人有着海量数据的存储需求，只有将数据妥善存储，才能进一步挖掘其潜在价值。在互联网免费的模式下，互联网公司及各大电信运营商，都为个人用户提供免费的云存储空间，从而形成使用黏性，再通过增值服务收费。思考：当数据存储空间耗尽，人类将以何种方式被记住？数字时代的所有数据都无法永久保存。2、数据画像

数据画像包括“人”的画像、用户画像、商品画像、企业画像等。有较大商业价值的大数据一般是关于“人”或“用户”的大数据。

关于人的数据在时间维度和空间维度上具有较多的数据，也就是在一定时间内，收集到关于这个人在多个场景的行为数据。比如，通过对这个人的需求或潜在需求做出判断，从而及时精准地为他/她提供产品获服务，获得商业利益。第三节

大数据的商业价值3、精准营销

根据瞄准的目标市场上的用户画像，企业可以量体裁衣般采取独特的行动，实现精准营销。

比如，大数据获得一个女性的消费数据，即性别：女性；年龄：33；星座：巨蟹座；消费偏好：住宅家具、童装/童鞋；消费偏好的价格区间：200-800元/件，近期消费总额：725元。依据以上数据，可以对其画像，并其进行童装、家具类商品的推荐。第三节

大数据的商业价值精准营销案例：隔墙有耳？

2018年11月，上海的孙女士在和同事闲聊时提到想喝CoCo奶茶，在打开饿了么App时，在推荐商家首位看见了CoCo奶茶。让孙女士疑惑的是，自己之前从未在饿了么买过CoCo奶茶，在她手机后台，同时打开了淘宝、微信、知乎、微博等多个App，“此前也没有使用任何手机App搜索过CoCo奶茶的相关信息。”

此外，生活中您或您的朋友可能会遇到这样的场景：在微信里和朋友聊完旅游，一会儿就能看到机票的广告；在现实生活中和朋友聊会儿家具，手机里一个字没打，电商平台里也会有家具的推荐。这不禁让人费解，难道隔屏有耳，我的手机被监听了？

业内专家表示：科技公司不会笨到用手机麦克风的方式来监听你的隐私，似通过麦克风“偷听”是一件吃力不讨好的事，企业不太可能做。大多数主流app是没有权利调用个人手机麦克风权限的，同时，即使个人手机在安装app时不小心让app获得麦克风授权，从商家角度来说，大量的语音分析效率太低，不能明确获悉消费者的态度偏好，在商业上没有价值。

那么，app知道我心思是怎么实现的？在消费者需要的时候正巧推荐了消费者所喜欢的东西。

秘密在于大数据用户画像功能可以让互联网公司轻松猜中你的心思。互联网公司可以通过消费者的位置信息、使用习惯、浏览记录分析基本可以分析消费者的年龄、性别、兴趣爱好等信息。互联网公司通过数据共享可以勾勒用户画像。在网上搜索用户画像，就可以找到多家经营该业务的企业。一家公司声称可以快速找到精准投放广告的人群。比如投放汽车类广告，会考察用户是否安装“汽车之家”之类的app、地理位置方面有没有去过4S店、哪段时间去过驾校、是否拿到驾照，再从中找到几百万乃至上千万符合这些要求的精准受众，媒体就可以精准投放汽车类广告内容。

隔屏有耳？非也！一切都是大数据精准营销的结果。4、市场趋势预测

大数据预测则是基于大数据和预测模型去预测未来某件事情的概率。让分析从“面向已经发生的过去”转向“面向即将发生的未来”。这是大数据与传统数据分析的最大不同。大数据预测的逻辑基础是：每一种非常规的变化事前一定有征兆，每一件事情都有迹可循，如果找到了征兆与变化之间的规律，就可以进行预测。大数据预测无法确定某件事情必然会发生，它更多是给出一个概率。最常见的应用案例是“预测流感”、“预测股市”、“预测消费者行为”。第三节

大数据的商业价值5、数据搜索

随着大数据时代到来，实时性、全范围搜索的需求越来越强烈。企业或个人需要能搜索各种社交网络、用户行为数据等，并将实时的数据处理分析与广告联系起来，实时广告业务和移动广告的社会服务蕴含着巨大的商业价值。第三节

大数据的商业价值第四节

大数据的支撑技术1.大数据的技术构架2.大数据的技术构架（1）数据采集技术采集对象：通过RFID射频、传感器、社交网络交互、移动互联网等产生的结构化、半结构化和非结构化的海量数据。采集方法：1）离线采集，主要使用ETL工具；2）实时采集，主要使用Kafka/Flume；3）互联网采集，主要使用Crawler，DPI等。采集工具：ETL工具（RestCloud、Informatica、Kettle）；Kafka工具第四节

大数据的支撑技术

2.大数据的技术构架（1）数据采集技术采集对象：通过RFID射频、传感器、社交网络交互、移动互联网等产生的结构化、半结构化和非结构化的海量数据。采集方法：1）离线采集，主要使用ETL工具；2）实时采集，主要使用Kafka/Flume；3）互联网采集，主要使用Crawler，DPI等。采集工具：ETL工具（RestCloud、Informatica、Kettle）；Kafka工具第四节

大数据的支撑技术

2.大数据的技术构架（2）数据处理技术

1)Hadoop

Hadoop是以开源形式发布的一种对大规模数据进行分布式处理的技术，在数据处理方面具有高可靠性、高扩展性、高效性、高容错性。

Hadoop是ApacheSoftwareFoundation公司于2005年开发，它以MapReduce为基础，主要包括分布式存储大容量文件的HDFS（HadoopDistributedFileSystem），分布式处理大量数据的HM（HadoopMapReduce），以及超大型数据表HBase。第四节

大数据的支撑技术大数据的整体技术数据采集数据存取基础架构数据处理统计分析数据挖掘模型预测结果呈现大数据的关键技术大数据采集大数据预处理大数据存储及管理大数据安全技术大数据分析与挖掘大数据展现与应用ETL工具是数据的（

）。提取、转换、装载提取、装载、转换转换、提取、装载转换、装载、提取ABCD提交单选题1分在大数据的系统架构中，关键技术包括（

）。大数据采集技术大数据存储技术大数据处理技术大数据展现技术ABCD提交多选题3分1、大数据时代的思维变革数据分析思维从随机抽样转变为“样本=总体”的全数据模式数据分析思维强调数据的完整性，包容数据的混杂性，不再一味追求小数据的精确性。数据分析思维由热衷寻找因果关系转变为关注相关关系。第五节

大数据的时代变革1、大数据时代的思维变革数据分析思维从随机抽样转变为“样本=总体”的全数据模式数据分析思维强调数据的完整性，包容数据的混杂性，不再一味追求小数据的精确性。数据分析思维由热衷寻找因果关系转变为关注相关关系。第五节

大数据的时代变革不是随机样本，而是全体数据在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。以前我们通常把随机采样看成是理所应当的限制，但是真正的大数据时代是指不用随机分析法这样的捷径，而采用对所有数据进行分析的方法，通过观察所有数据，来寻找异常值进行分析。例如，信用卡诈骗是通过异常情况来识别的，只有掌握了所有数据才能做到这一点。在这种情况下，异常值是最有用的信息，可以把它与正常交易情况作对比从而发现问题。不是纯净性，而是混杂性数据量的大幅增加会造成一些错误的数据混进数据集。但是，正因为我们掌握了几乎所有的数据，所以我们不再担心某个数据点对整套分析的不利影响。我们要做的就是要接受这些纷繁的数据并从中受益，而不是以高昂的代价消除所有的不确定性。这就是由“小数据”到“大数据”的改变。不是精确性，而是趋势研究数据如此之多，以至于我们不再热衷于追求精确度。之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，但随着规模的扩大，对精确度的痴迷将减弱。拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力。例如，微信朋友圈中朋友发动态的时间，在一小时以内的会显示多少分钟之前，在一小时以外的就只显示几小时前；微信公众号中显示的阅读量，超过十万以后显示的就是100000+，而不是具体数据，因为超过十万的阅读量已经让我们觉得这篇文章很优秀了，没必要精确。不是因果关系，而是相关关系在大数据时代，人们开始重视相关分析，而不仅仅是因果分析，我们不必非得知道现象背后的原因，而是要让数据自己发声。相关关系的核心是量化两个数据值之间的数据关系。相关关系强是指当一个数据值增加时，其他数据值很有可能也会随之增加。