数字营销学课件 3第三章 营销数据及数据采集

第三章营销数据采集MARKETING数字营销学黄劲松教授/博士生导师Contents目录第一节

营销数据概述第二节

营销数据的类型第三节

大数据采集技术第四节营销数据管理Contents目录第一节

营销数据概述第二节

营销数据的类型第三节

大数据采集技术第四节营销数据管理一、营销数据及其特点1.营销数据的定义

营销数据是企业可以用于洞察市场、确定定位、传播信息、销售产品、管理顾客的各类数据。一、营销数据及其特点2.营销数据特点

来源丰富性

类型复杂性

目标多样性

应用广泛性

方法汇聚性目标多样

数据

类型应用广泛来源丰富方法汇聚二、营销数据的类型Contents目录第一节

营销数据概述第二节

营销数据的类型第三节

大数据采集技术第四节营销数据管理（一）销售数据企业在日常的经营过程中，业务应用产生了不同类型的数据，这些数据也帮助企业做出不同场景的决策。例如：销售订单数据、渠道存货数据、价格变化信息等一、企业内部经营数据（二）产品数据产品数据包括产品名称、产品类别、产品属性、产品配置、生产成本、供应商等等。产品数据还包括与产品相关的过程数据，例如加工工序、加工指南、工作流程、产品图样、数据模型、设备数据、技术文件、工装数据等。一、企业内部经营数据（三）顾客数据1.顾客基本信息：指顾客的基本属性和基本资料信息，通常的信息包括姓名、生日、性别、民族、联系信息、地理信息和人口统计信息等。2.顾客行为数据：指顾客购买数据、顾客消费数据、客户关系管理数据等3.顾客关联数据：指反映和影响顾客行为和心理的关联信息。一、企业内部经营数据（四）营销活动数据营销活动指促销活动、福利发放、创意参与、公共关系等活动，它能够增加顾客、提高营收或提升品牌知名度。常见的营销活动数据包括营销活动推广数据、活动的总收入（GMV）、不同产品的销售数据、获得新顾客的数据等。一、企业内部经营数据（一）访谈数据访谈数据是在一定的调研目的下，通过对个人或小组的问答或谈话获得的数据，这类数据一般展现了被访者的观点、看法和思路。二、定性研究小数据访谈包括：

结构化访谈

无结构化访谈

半结构化访谈（二）焦点组访谈数据焦点组（focusgroup）访谈也称专题座谈，它是对多人组成的小组进行焦点问题的访谈或小组讨论。焦点组访谈参加人数一般是6-15人。很多焦点组访谈是在单面镜房间中完成的，有完整的录音录像和单面镜房间的观察，便于后期的数据分析。二、定性研究小数据（三）定性资料数据定性资料指以文字、声音、图片、视频或其他记录符号描述或表达社会生活中的人物、行为、态度，以及各种社会生活事件的资料。定性资料在通过编码和训练之后，形成定性资料数据。二、定性研究小数据（四）其他定性研究数据在定性研究中，研究者获取数据的方式分为参与式数据采集和非参与式数据采集。参与式数据采集是指研究者参与到被研究者的社区或团体之中，通过观察、感受、交流等方式获得数据，典型的方法是民族志。非参与式的数据采集是研究者通过访谈、座谈、文本分析等方法获得数据，典型的方法是个案研究。二、定性研究小数据（一）问卷调查数据问卷调查法是指调研人员事先拟好调查问卷，以书面、邮件或电话等不同形式对被调查者提出问题，要求其给与回答，由此获得所需调查材料的调查方法。常用的调查方法有电话访谈、人员面访、邮寄访问、电子访问以及留置问卷调查访问。三、调研小数据（1/2）（二）观察法观察法是指调查人员根据一定的研究目的、研究提纲，用自己的感官和摄像器材等辅助工具在调查现场直接观察用户和记录正在发生的市场行为状况的一种有效的收集资料数据的方法。观察调查是调查者对发生的情景不加控制和干扰，在自然条件下发生的感知活动，也是有目的、有计划、有系统的感知活动。三、调研小数据（2/2）（一）实验室实验实验室实验法通常指在实验室内严格控制实验条件，分组测量给定刺激是否引发一定的行为反应。实验室实验在实施时一般分为实验组和参照组，实验结果是对照两组结果，从而判断实验刺激是否产生显著作用。四、实验数据（二）田野实验数据田野实验数据是通过田野实验获取的对不同刺激的市场反应数据。田野实验（又称为实地实验、现场实验）是在真实的市场环境下进行的实验，它结合了田野调查和实验研究两种研究方法的优点，既考虑了实验结果的真实性，又考虑了对研究结果的因果推断。四、实验数据（三）自然实验数据自然实验是指在自然的刺激或者其他非研究者控制的刺激下，被试产生市场反应的一种实验方法。例如，典型的自然实验是某一政策出台导致政策前后顾客行为产生了变化。自然实验数据是在自然实验中产生的各类数据，这些数据往往具有不可设计和不可重复的特点。四、实验数据（四）认知神经实验数据认知神经实验数据指在认知神经实验中通过眼动、脑电、皮电、肌电等的设备获得的测量数据。认知神经测量主要通过脑部的神经元信号测试人们的认知和情感，表征不同情感的神经元信号出现在特定的脑区。四、实验数据例如，腹内侧前额叶皮质是将情感纳入决策的重要区域，它与广告吸引力、产品偏好、品牌忠诚等均有关。（一）商业情报数据商业情报数据分为公开信息和非公开信息两类。公开信息主要来自于各类政府公开信息、公开的出版物、知识数据库和企业公开信息等方面；五、商业数据非公开信息主要来源于企业内部关联人士、相关利益攸关者和第三方咨询服务提供者。（二）商业服务数据商业服务数据通常由第三方商业服务公司提供，这些公司一般会确定典型的市场研究方向，并以此为拓展展开业务。公司名称典型研究领域上海AC尼尔森市场研究公司零售研究盖洛特市场研究优先公司移动通讯研究盖洛普（中国）咨询有限公司民意测验和商业调查央视市场研究股份有限公司媒介调查益普索（中国）市场研究咨询有限公司广告事前测试、满意度和忠诚度研究新力市场研究（DMBResearch）定性研究和广告研究GFK（赛诺、科思瑞智）市场研究公司家电零售监测北京零点研究集团行业与产品研究、消费文化研究、社会问题研究新生代市场监测机构有限公司媒介监测北京华夏盈联市场咨询有限公司满意度调查、神秘顾客调查北京环亚市场研究社汽车行业研究深圳思纬市场资讯公司广告测试研究等广州市致联市场研究有限公司医药行业研究典型的商业数据服务公司五、商业数据（三）商业数据库数据商业数据库数据包括面向大众的公共数据库数据和商业销售的数据库数据。面向大众的公共数据包括政府部门和统计机构、贸易和产业组织的公开商业资料，商业期刊等，这些数据库中包含宏观经济数据、行业数据、期刊报刊数据等。五、商业数据向市场销售的商业数据库往往来自于企业的一些固定研究项目，例如顾客满意指数调查、品牌价值研究等，这些研究项目所形成的数据库将会定期发布并可以销售和订阅。（一）大数据的特点和类型大数据类型六、企业大数据“海量”是指数据量非常大且急速增长“高速”是指数据产生的速度快“多样”指数据格式、数据类型复杂多样“复杂性”是指数据源繁多“多变性”是指数据流不稳定（二）企业经营产品的大数据六、企业大数据1.业务应用数据：（1）Web网站数据（2）App应用数据2.互联网数据（1）政府和行业数据（2）垂直平台数据（3）社交数据3.物联网数据4.系统日志数据5.合作伙伴数据企业经营中产生的大数据包括企业多场景数据，例如业务应用数据、互联网数据、物联网数据、系统日志数据以及合作伙伴数据等Contents目录第一节

营销数据概述第二节

营销数据的类型第三节

大数据采集技术第四节营销数据管理大数据采集是对数据进行Extract-Transform-Load操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据模型，将数据加载到数据仓库中去，最后对数据仓库中的数据进行数据分析和处理。一、大数据采集概述数据采集方式描述典型公司PC机cookie采集通过分布式计算机进行海量PC用户的cookie采集。秒针PC应用行为数据对PC应用的行为进行数据采集。搜狗拼音、360杀毒、华为运动网络爬虫通过分布式网络爬虫采集网上数据。针对微博的抓取最为普遍设备传感器数据通过手机、机顶盒、新能源汽车等采集用户的设备使用行为。苹果、歌华、特斯拉、比亚迪交易行为数据通过分布式计算机进行海量PC用户的cookie采集。阿里巴巴、腾讯手机APP通过在APP中埋点的方式进行用户行为数据采集，也可以通过APP采集通讯录、位置能数据。几乎所有APP应用电信运营商数据通过通信网络采集用户的行为，包括使用行为、位置、通话等。中国移动、中国联通操作系统通过通信网络采集用户的行为，包括App使用行为、位置、通话等等。微软、安卓、IOS顾客关系系统通过社群、会员行为、社区行为、评论等采集数据。小米数据采集方式一览一、大数据采集概述

（一）爬虫采集网络爬虫又被称为网页蜘蛛，网络机器人，是一种按照一定的规则自动化、系统化收集互联网上相关数据的技术。大数据时代的今天，网络爬虫是互联网上采集数据的主要工具之一，通过网络爬虫的方式可以获取到网站上不同类型的数据信息，包括文本、图片、音频、视频等文件数据。二、互联网线上数据采集

某爬虫采集工具（二）埋点采集（1）埋点的基本概念在技术实现上，线上数据采集主要通过埋点的方式实现，通过不同应用的SDK（SoftwareDevelopmentKit，软件工具包）数据埋点，将顾客端或服务端的数据上传到数据服务器终端。二、互联网线上数据采集

埋点是事件追踪（EventTracking）的主要方式，针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。（二）埋点采集（2）埋点的方式

类别代码埋点全埋点可视化埋点服务端埋点采集说明嵌入SDK，定义事件并添加好事件代码嵌入SDK嵌入SDK，可视化圈选定义事件接口调用，数据结构化场景以业务价值为出发点的行为分析无需采集事件，适用于活动页、着陆页需要设计体验衡量用户在页面的行为与业务信息关联较少，页面较多且页面元素较少对行为数据的应用较为浅前后端数据整合，如订单数据优势按需采集：业务信息更完善，对数据的分析更聚焦简单、快捷，与代码埋点相比开发人员工作量较少与代码埋点相比，开发人员工作量较少更灵活、更准确、不需要发版本，数据上传更加及时劣势与后两种采集方式相比，开发人中工作量较多数据准确性不高，上传数据多，消耗量高数据维度单一（仅点击、加载、刷新）业务人中工作量较大，改版后需要重新定义事件，缺乏基于业务的解读仅服务端采集较少前端的环境信息，前端交互数据缺失典型案例友盟，百度统计GoogleanalyticsWMDA

二、互联网线上数据采集

（二）埋点采集（3）埋点的设计Who：参与此事件的用户When：事件发生的实际时间Where：事件发生的地点How：用户进行事件的方式What：描述用户所做的事件的具体内容记录和收集用户的长期属性通过ID与相关的Event关联事件模型用户

User事件Event二、互联网线上数据采集

埋点的设计是将行为拆解为单个的点击或浏览动作，将需要分析的目标动作抽象为“事件”。例如,事件分析模型是常用的分析模型之一。事件模型（Event模型）用来描述用户的各种行为，包括事件（Event）和用户（User）两个核心实体。以某APP的事件设计为例，通常包括APP启动，退出、页面浏览、按钮事件点击，页面访问时长等。（二）埋点采集（4）埋点的应用①在产品流程关键部位植入相关统计代码，用来追踪每次用户的行为，统计关键流程的使用程度。②在产品中植入多段代码追踪用户连续行为，建立用户模型来具体化用户在使用产品中的操作行为。③与研发及数据分析师团队合作，通过数据埋点还原出用户画像及用户行为，建立数据分析后台，通过数据分析，优化产品。二、互联网线上数据采集

物联网（InternetofThings，简称IoT）是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描仪等各种装置和技术，实时采集各种需要的信息，包括声、光、热、电、力学、化学、生物、位置等各种需要的信息。物联网分为三层：

感知层（设备接入层）

网络层

应用层三、物联网数据采集

数据库同步数据采集是指直接和数据库进行交互同步，进而实现数据采集，这种方式的优势是数据来源大而全。根据同步的方式可以分为：直接数据源同步、生成数据文件同步和数据库日志同步。四、数据库同步数据采集大多数互联网企业都有各自的海量数据采集工具，多用于系统日志采集，如Facebook公司的Scribe、Hadoop平台的Chukwa、Cloudera公司的Flume等，这些工具均采用分布式的架构，能满足每秒数百兆的日志数据采集和传输需求。五、系统日志数据采集

Contents目录第一节

营销数据概述第二节

营销数据的类型第三节

大数据采集技术第四节营销数据管理数据汇聚是指将企业中各个业务产生的数据通过数据处理后汇聚到数据仓库，按不同的主题进行加工形成数据资产体系。数据汇聚是打破数据孤岛，汇聚企业数据到统一数据仓库的过程，也是数据仓库建设、数据体系建设的基础重要环节。