大数据时代及数据挖掘的应用-56p课件

大数据时代及数据挖掘的应用aFocus大数据时代及数据挖掘的应用aFocus大数据：

创新、竞争和生产力的下一个新领域！大数据：2大数据来了！随着信息时代的到来，手机、电子邮箱、互联网搜索……所有这些都可以用数据的形式表现并记录下来。然而，在这一片看似杂乱无章又毫无规律的数据面前，很多人没有意识到其背后所蕴藏着的巨大价值。大数据来了！随着信息时代的到来，手机、电子邮箱、互联网搜3纷繁复杂的数据，就像一个巨大的矿脉，时时刻刻引诱着对信息极为敏感的人们。他们依托电脑为工具，进行着数据挖掘的工作，希望在其中找到真正的“金矿”！大数据在哪？纷繁复杂的数据，就像一个巨大的矿脉，时时刻刻引诱着对信息极为4大数据是……？无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。大数据是……？5大数据的4V特性1.Volume2.

Variety3.value4.Velocity结构化、半结构化和非结构化数据沙里淘金，价值密度低实时获取需要的信息数据量巨大体量多样性价值密度速度大数据的4V特性1.Volume3.value4.6

大数据有多大？√全球每秒钟发送2.9百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5年…√每天会有

2.88万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3年…√推特上每天发布5千万条消息，10秒钟浏览一条信息，足够一个人昼夜不息的浏览16年…√每天亚马逊上将产生6.3百万笔订单…√每个月网民在Facebook上要花费7千亿分钟，

被移动互联网使用者发送和接收的数据高达1.3EB…√Google上每天需要处理24PB的数据…大数据有多大？√全球每秒钟发送2.9百万封电子邮件，一7数据的价值到底在哪里？让我们从案例说起——

数据的价值到底在哪里？8喜欢看足球的人们可能还记得，06年世界杯上一场激烈的德国对垒阿根廷的点球大战，最终以德国守门员莱曼神勇扑出对方多个点球而取胜。有如神助？

不如说是：有如数据之助！先从身边的案例看起：喜欢看足球的人们可能还记得，06年世界杯上一场激烈的德国对垒9克鲁斯，原地不动，球门右下角。阿亚拉，低平球，左下角。马克西，右侧死角。坎比亚索，等待，原地不动，左下角。10德国成功的关键，就在赛前守门员教练科普克塞给了莱曼一张便筏：这便是教练拥有的一个非常详尽的私人数据库，收集了13000个点球录像，进行了详细的分析，通过记录和分析去了解阿根廷球员的习惯，最后浓缩成了这张纸条。数据，带来的是实打实的效果！克鲁斯，原地不动，球门右下角。阿亚拉，低平球，左下角。马克西1011

掘金大数据时代一小伙应聘上海（均价4万高档小区）的物业管理，自己配了扫描枪，每天盯着小区垃圾堆，看见有条形码就扫描，晚上回家把数据整理出来，得出这小区的人喜欢喝什么水、吃什么油、买什么衣服，他对整个小区的消费品类偏好和品牌偏好一清二楚，最终，形成报告卖给大公司，报告价值数十万。数据，带来的是白花花的银子！11掘金大数据时代数据，带来的是白花花的银子！11马云的判断来自于数据分析马云对未来的预测，是建立在对用户行为分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品。这些，反应到阿里巴巴网站的统计数据中，就是——查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，所以保证了用户行为模型的准确性。数据，带来的是前瞻性的眼光！马云的判断来自于数据分析马云对未来的预测，是建立在对用户行为12大数据，大未来以上的案例向我们解释了，要在浩如烟海的数据中找到它的价值所在，首要进行的便是数据挖掘的工作。

数据挖掘大数据，大未来以上的案例向我们解释了，要在浩如烟海的数据中找13数据挖掘：

大数据的淘金者！数据挖掘：14数据挖掘能给我们带来什么？潜客订单口碑数据挖掘能给我们带来什么？潜客订单口碑15例：【某品牌消毒蒸锅】潜客数据部分预览：潜客不是几百几千个用户的标签，而是成千万、上亿的群体性标签！

1例：【某品牌消毒蒸锅】潜客数据部分预览：潜客不是几百几千个用16例：【某品牌移动硬盘】客户要求：形成直接的天猫旗舰店销售。订单

2例：【某品牌移动硬盘】客户要求：形成直接的天猫旗舰店销售。订用户受到正向影响促进，决心下单。用户下单，完成购买。实施效果：平均每月成单100单以上。用户受到正向影响促进，决心下单。用户下单，完成购买。实施效果口碑根据潜在用户口碑资料，对产品进行改进。不但影响产品销量，甚至直接影响产品整体销售策略、定位策略！

3

达到效果对JVC品牌的正面影响。口碑根据潜在用户口碑资料，对产品进行改进。不但影响产品销量，为什么是微博？“从iPad和微博中，我似乎看到了一点点未来……”——默多克为什么是微博？“从iPad和微博中，我似乎看到了一点点未来…20对这些海量数据的存储，新浪微博超过了任何一家传统企业的能力，但是对于整个互联网平台级的公司，他们每时每刻都在忙于把这些数据收集、整理、归类、保存。对这些海量数据的存储，新浪微博超过了任何一家传统企业的能力，21微博颠覆了传统的信息传播路径传统：单中心、单向的传播方式

短信、电话、问卷：效率低且数量少。微博：多中心、网状裂变传播方式

每一条都是直接的用户需求：效率高，且数量大。更庞大！更快速！更直接！更高效！微博颠覆了传统的信息传播路径传统：单中心、单向的传播方式更22每天，新浪微博产生1亿条数据微博上的消费者是数字化

的在网络中，他们不会直接告诉你需求，企业必须自己去收集、分析、跟踪、对比。谁先在海量数据中沙里淘金，谁将在这轮技术变革中，脱颖而出。微博上的消费者是数字化的在网络中，他们不会直接告诉你需求23微博数据挖掘能帮助客户解决什么问题？1.制定产品策略，优化促销活动！2.挖掘潜在客户，进行个性化推荐！3.增加驻留客户，优化聚类客户！4.降低运营成本，提高企业竞争力！！微博数据挖掘能帮助客户解决什么问题？1.制定产品策略，优24aFocus是怎么做的？aFocus是怎么做的？25用案例，可明了！【某品牌蒸汽消毒锅】用案例，可明了！【某品牌蒸汽消毒锅】261数据挖掘基本流程用户分析

挖掘策略基础数据数据清洗

语义分析1数据挖掘基本流程用户分析售价：1299元产品特性：某品牌多组合蒸汽消毒锅HY101W面向用户：0-6岁宝宝消毒用具需求者。主要功能：为奶瓶、奶嘴和儿童餐具消毒。主要优势：多组合、多功能、强力蒸汽、自动断电。——了解产品，才能更好的了解用户。数据挖掘分析流程1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析售价：1299元产品特性：某品牌多组合蒸汽消毒锅HY101母婴用户群体特性：孩子消费者特征：扮演消费使用者，但由于年龄太小，自身没有判断力和购买能力。产品使用和购买的最终评价主要来自——父母。父母消费者特征：1.谈论子女的健康（预防，治疗）；2.谈论自己对子女的付出（精神，体力）；3.谈论子女的人生阶段（出生，满月，周岁等）。——了解用户，才能更精准的挖掘。数据挖掘分析流程1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析母婴用户群体特性：孩子消费者特征：父母消费者特征：1.谈根据用户特性，制定关键词群。2.行为关键词：

挖掘对产品有潜在需求的用户：他们的行为有极大可能对产品产生需求，我们需要更好的刺激需求，也可借此扩大品牌影响力。数据挖掘分析流程1.产品关键词：

挖掘对产品有直接需求的用户：他们本身对产品有需求，想要购买，他们需要的是更好的推荐。1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析根据用户特性，制定关键词群。2.行为关键词：数据挖掘分析流程海尔多组合蒸汽消毒锅挖掘关键词：1.产品关键词2.行为关键词奶瓶消毒玩具消毒……洗奶瓶买新奶瓶奶瓶卫生一岁送什么满月送什么……——通过关键词群，挖掘出准确的潜在用户。数据挖掘分析流程1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析海尔多组合蒸汽消毒锅挖掘关键词：1.产品关键词2.行为关键词海量数据库新浪每日微博数据1亿条。通过API接口，根据挖掘策略，获取基础数据：约6万条——初步数据挖掘，是对所有相关用户的整合。数据挖掘分析流程1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析海量数据库新浪每日微博数据1亿条。——初步数据挖掘，是对所有1.系统清洗

蓝V清洗(蓝V认证)

——官微发布，多为产品推广或知识宣传。

链接清洗(带链接)——产品导流，加链接欲促成销售的账号。

字数清洗(字数过多)——草根特性，知识宣传等非快捷表达的大段文字。……——系统直接过滤掉绝非潜在用户的群体。数据挖掘分析流程1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析1.系统清洗蓝V清洗(蓝V认证)——官微发布，多为产品推数据挖掘分析流程1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析2.数据分析师建模清洗

关键字规则(转让、代购、直购)

用户数据规则(不常在线的)……——通过细致分析，筛掉反向需求用户和隐形需求用户。数据挖掘分析流程1.用户分析2.数据分析师建模清洗关键字规中文切词分词技术上下文语境定义技术符号学分析技术自动摘要技术语言分段及结构化技术实体对象识别与抽取技术词性识别纠正技术情绪识别和分析技术关键词关联度发现技术文本挖掘与规则发现技术数据挖掘分析流程自然语言识别：NaturalLanguageProcessing(NLP)自然语言识别特别是中文语义的识别需要基于智能、精准、可靠的切词技术，并能对上下文语义和语境进行识别，还可根据预设语境抽取语义关键词。文本挖掘技术：TextMiner&SentimentAnalysis文本挖掘借助于数据挖掘算法对文本信息进行分析，通过统计分析，聚类分析，规则发现，模式探索与识别对文本信息进行探索分析，发现其潜在的规律规则。1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析中文切词分词技术上下文语境定义技术符号学分析技术自动摘要技术分析范围：用户最近发布的500条微博。分析结果：（Excel表格方式呈现）→→——分析客户背后的隐性资料。数据挖掘分析流程

婴儿年龄、生日

家电品牌偏好

消费水平

对促销的敏感度……1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析分析范围：用户最近发布的500条微博。分析结果：（Excel执行产出之一：用户数据报表——1万条左右高精准用户数据执行产出之一：用户数据报表——1万条左右高精准用户数据执行产出之二：用户数据报告总体呈现

关键词呈现用户类型

性别分析

年龄分析地域分析发言时间

微博等级网购激励因素分析用户对网络广告/活动的参与情况用户网购的时间段用户触媒习惯用户浏览购物网站的地点潜客收入分析消费群体的划分与定位消费群体的喜好及网络行为特征主要包括：执行产出之二：用户数据报告总体呈现用户类型网每日新增微博数据1亿条+关键字相关微博数据约60，000条左右具有分析意义的数据约20，000条左右潜客数据约1185条+难点：如何获取数据？应对：API+智能爬虫难点：如何解读海量微博数据？应对：建模清洗难点：如何准确识别潜客？应对：行业切词+语义分析总体呈现：数据挖掘结果呈现时间：2013.6.10-2013.6.210：0012:00每日新增微博数据1亿条+关键字相关微博数据具有分析意义的数据执行产出之三：互动报告月互动总数约6000条自动回复→带来的二次回复

4193条1842条

人工回复→带来的二次回复

1807条1088条给消毒蒸锅页面带去1820次的高精准点击。执行产出之三：互动报告月互动总数约6000条自动回复→带来的内容分配产品特征人群特点分类话术整体建议：1.产品推销（60%）：销售形象，介绍产品、加链接等；2.实用窍门（10%）：秘书形象，讲解产品相关知识；3.疑难解答（20%）：专家形象，解答网友产品相关困惑；4.交流心得（10%）：朋友形象，交流产品使用心得。注意：具体项目，需根据项目需要和数据挖掘结果，进行具体分配。如何设置自动回复话术？1内容分配产品特征人群特点分类话术整体建议：如何设置自动回复话如何设置自动回复话术？2阶段任务：1.了解项目产品的总体定位；2.了解项目的主推产品或主推功能；注意事项：1.整体定位对回复话术的设定有很大影响；2.主推产品和主推功能，直接决定话术的内容方向。内容分配产品特征人群特点分类话术如何设置自动回复话术？2阶段任务：内容分配产品特征人群特点分如何设置自动回复话术？3阶段任务：1.根据用户给出的资料，给产品消费者“画轮廓”（群体描述）；2.根据数据挖掘师的报告，给潜在用户“涂颜色”（属性分类）；注意事项：1.群体描述时，尽量在大范围内精准，不要有过分细节的描述；2.属性分类时，先选取有价值的属性，然后尽可能细致的进行分类。内容分配产品特征人群特点分类话术如何设置自动回复话术？3阶段任务：内容分配产品特征人群特点分如何设置自动回复话术？4内容分配产品特征人群特点分类话术阶段任务：1.将产品特征和人群特点“连线”，组合成不同的潜客群体；2.针对不同的潜客群体，确定形成最终的回复话术；注意事项：1.同一个产品特征，对应用一个人群特点，可以形成不同的潜客群体；2.同一个潜客群体，根据特性，可形成不同的回复话术；3.回复话术，切忌打广告的形式，要给人“一对一”聊天的感觉。如何设置自动回复话术？4内容分配产品特征人群特点分类话术阶段例：用户年龄层次对应触及策略针对中老年人群触及策略：虽该人群消费习惯讲求实惠，但在后代有需求情况下，则更加注重品质，故而在推荐时，注意讲求产品实用性和优质品质与传统方式的对比，导流于线下专卖店。针对青年人群触及策略：推荐产品时，注重突出方便实用性和时尚性。同时，在推荐购买渠道中，根据其容易冲动消费的特点，将其倒流到网上商城，从而促进交易成功率。对应触及策略展示互动展示例：用户年龄层次对应触及策略针对中老年人群触及策略：虽该人群关键字对应触及策略自用人群触及策略：注重品牌实用性。送礼人群触及策略：针对该人群，应主推品牌优势、外观和实用性。对应触及策略展示互动展示关键字对应触及策略自用人群触及策略：注重品牌实用性。送礼人群综合对应触及策略对应触及策略展示互动展示基本资料：女50+北京海淀区自用家庭主妇话术：宝宝太能干啦！小奶瓶拿得牢牢不放~弱弱的问一句，奶瓶洗的辛苦么？为了宝宝的健康，总是要清洗很多遍吧！~不如试试消毒蒸锅，省事又绝对卫生，爱宝宝也要爱护自己哦~综合对应触及策略对应触及策略展示互动展示基本资料：女50更多的案例更多的案例某月沟通结果浙江杭州地区潜客和竞品潜客321条沟通前已购车、订车13意向潜客141竞品高意向、无意向126暂无回复41大数据案例：某汽车企业汽车社交潜客挖掘案例某月沟通结果浙江杭州地区321条沟通前已购车、订车13意向潜49品牌关键词产品1潜客上海杭州苏州……竞品潜客上海杭州…产品2潜客…品牌产品客户类别区域市场运营模型分为两个层级：中央层级：完成潜客数据挖掘，向区域市场推送潜客数据及互动策略建议。区域层级：建设好本地分公司或核心4S店微博账号；利用本地微博账号，将互动策略做本地化调整后，完成潜客O2O诱导到店，促成销售。大数据案例：某汽车企业汽车社交潜客挖掘案例品牌关键词产品1潜客上海杭州苏州……竞品潜客上海杭州…产品250潜客沟通平台发布新浪微博两大平台成就微博主动营销微博用户微