大数据应用案例分析教学课件(共22张)

1、大数据应用案例分析第1页，共23页。目录大数据概念1大数据处理办法2大数据应用案例3第2页，共23页。1大数据概念第3页，共23页。大 数 据 时 代 到 来随着智能手机的普及，网民参与互联网产品和使用各种手机应用的程度越来越深，用户的行为、 位置、甚至身体生理等每一点变化都成为了可被记录和分析的数据，数据量呈现爆炸式增长。地球上至今总共的数据量：在2006 年，个人用户才刚刚迈进TB时代， 全球一共新产生了约180EB的数据；据IDC研究机构预测：到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！1PB = 250字节1EB = 260字节1ZB

2、= 270字节GB在2011 年，这个数字达到了1.8ZB。TBPBEBZB01第4页，共23页。大 数 据 的 构 成大数据 =海量数据（交易数据、交互数据）+针对海量数据处理的解决方案海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。海量交互数据： 源于Facebook、Twitter、微博、及其他来源的社交媒 体数据构成。它包括了呼叫详细记录CDR、设备和传感 器信息、GPS和地理定位映射数据、通过管理文件传输 Manage File Transfer协议传送的

3、海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。可以告 诉我们未来会发生什么。海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。注：大数据 不仅仅指的是数据量庞大，更为重要的是数据类型复杂想驾驭这庞大的数据，我们必 须了解大数据的特征。02第5页，共23页。大 数 据 4V 特 征03结构化数据、半结构化数据和非结构化 数据如今的数据类型早已不是单一的文本形式，网络日志、 音频、视频、图片、地理位置信息等，对数据的处理 能力提出了更高要求实时获取需要的信息比如：在客户每次浏览页面，每次下订

4、单过程中都会 对用户进行实时的推荐，决策已经变得实时数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到 2020 年，全球将总共拥有35ZB 的数据量沙里淘金，价值密度低虽然数据量很大，但是价值密度较低，如何通过强大 的机器算法更迅速地完成数据价值“提纯”，是目前 大数据亟待解决的难题大数据产品市场价值解决方案转化1. 海量（Volume）3.速度（ Velocity）4. 价值（value）2. 多样（Variety）第6页，共23页。2大数据处理办法第7页，共23页。用 户 画 像 体 系01每个企业都不可以避免的要对用户进行画像，用户画像的提出，根本上是源于企业对用户认知的需求

5、。 产品经理，需要了解用户的特征，对产品进行功能的完善。内容运营人员，需要筛选目标用户，对内容进 行精准投放。活跃程度如何？年龄分布、区域分布是什么样的？消费习惯和特征是什么？公司在哪？对什么感兴趣？常去的商圈是哪儿？赢利点在哪？职业是什么？常住地在哪儿？购买能力如何？基本特征？第8页，共23页。用 户 画 像 体 系02驾驶行为数据将构建精准的车险用户画像性别年龄国籍地理位置开车地点职业驾照类别开车频率开车原因健庩状况医疗条件感知力学习周期消费习惯民族特征教育水平婚姻状态共用车辆情况生活方式使用药物情况酒驾经历疲劳驾驶收入情况碰撞事故车辆维修犯罪记录违章驾驶记录 驾驶时间通过对用户不同维度的

6、大数据分析，最终得出可执行的业务决策。基本属性行为习惯购买 能力心理 特征社交 网络兴趌 爱好第9页，共23页。基于机器学习的数据挖掘及分类基本识别流程03训练样本 数据源分词特征选择特征权重计算模型训练是模型评估是否通过待预测 类别文 本库文本打 上类别 标签否训 练 及 测 试 过 程预 测 过 程训练生成 的模型训练生成 的模型待预测类 别文本原 始库数据预处理训练样本库数据预处理a.去除营销博文干扰 b.去除提及人的干扰（） c.去除如门户的作者的干扰第10页，共23页。大 数 据 的 处 理04数据 去重空值 处理数据 去噪格式 统一对齐融合融合信息 数据库融合信息 数据库里程数据工

7、况数据充电数据行驶轨迹车辆信息将空值更改为 对应的默认值使用UGC算法去除无用数据 使用基于密度的聚类去除异常数据将多源异构数据转换 为统一数据表达形式去除异常的数据项汇聚多源异构数据 中的一致部分数据挖掘分类的过程第11页，共23页。3大数据应用案例第12页，共23页。大数据是做好音乐平台的一把利器01爽歪的麻雀，在电线杆上裸睡削个椰子皮，你却TM给个梨撒米拉带带，哇嘎哇嘎哎哟想听的歌记不起名字？呀马大叔与小舅舅四斤大豆，三根皮带艾薇，莎啦啦，艾瑞噢喔噢喔，手刹多情咱切抱刘继芬钢铁锅，含眼泪喊修瓢锅啊瑞宁瑞宁瑞宁瑞宁瑞宁第13页，共23页。产 品 竞 争04*听歌进入社交化时代，听歌单、听歌

8、看评论成为流行听歌行为；*个性化推荐已覆盖多数听歌用户，越来越多用户通过个性化推荐发现好音乐；*听歌进入多元化时代，民谣、电音、二次元音乐崛起；*独立音乐人迅速崛起，社交互动助推音乐人涨粉；*90后已成为音乐消费主力人群；*用户付费意识明显提高，付费会员数和数字专辑售卖增长迅猛；*综艺影视对音乐的影响依旧强大，热门歌曲中7成来源于综艺或影视；*偶像流行乐保持高热度，欧美歌曲受众提升；*音乐市场正在构建一种新的评价体系，评论数成为歌曲热度重要评价指标；*男歌手受喜爱度高于女歌手，女性歌迷消费群体经济崛起；截至2016年7月呈现2亿音乐用户听歌行为以及2万音乐人活跃行为第14页，共23页。用户分析

9、05目标用户细分群体用户特征需求音乐消费者学生年轻，时间宽裕，喜欢新鲜，爱评论爱分享爱展示，有个性1、个性化推荐音乐2、对音乐有评论等互动行为3、分享展示喜欢的音乐白领时间碎片化，有一定压力，会关注娱乐界动态4、迅速找到喜欢的音乐5、推荐潮流音乐6、有明星动态IT从业者压力大，需要更多消遣和心理慰藉时尚人士热爱音乐和潮流，有个性7、分享自己的口味主要需求（音乐消费者）1、播放音乐2、发现音乐（喜欢的、特别的、潮流的）3、展示自我，有基于音乐的互动。目标用户：热爱音乐，对音乐有较高需求的高素质年轻人群。第15页，共23页。用户分析05目标用户：热爱音乐，对音乐有较高需求的高素质年轻人群。通过数据

10、可以发现网易云音乐用户群中19-30岁年龄段用户最多，占比达到48%，整体用户群偏年轻化。职业分布：学生和IT从业者占据绝大用户群，企业中高层管理人员所占比例最少，另外的专业工作人员所占比例区别不大，用户群体整体受教育程度普遍较高。第16页，共23页。05目标用户细分群体用户特征需求音乐内容产生者音乐人/DJ作品找不到渠道，希望建立个人品牌，更好的运营个人品牌1、传播自己的音乐，让更多的人知道2、与粉丝有互动歌手有一定知名度，有粉丝基础3、进一步提高知名度，吸引更多粉丝唱片公司商业机构，营利是最重要的目的。4、提高收入音乐爱好者喜欢分享音乐，评论音乐5、希望得到更多展示（专栏）主要需求（音乐内

11、容产生者）1、宣传音乐（新歌、特别的口味）2、宣传个人品牌（演播厅、采访直播、互动等）3、盈利（版权收费、会员收费等）用户分析目标用户：（内容产生者是活跃音乐社区的关键）第17页，共23页。用户分析05第18页，共23页。用户分析05第19页，共23页。02推荐歌单3种推荐维度和2种推荐算法通过微信微博等社区软件进行传播分享网易音乐编辑人员人工推荐的歌单和电台。朋友推荐人工推荐通过大数据分析计算后的智能推荐歌单智能推荐以人为本算法以歌为本算法“喜欢这首歌的人，也喜欢XX”喜欢：点击“喜欢”、评论、下载、收藏到歌单的人所听歌曲的标签在其它歌曲也包含则推荐该歌曲第20页，共23页。02计 算 公

12、式潜在因子（Latent Factor）算法：这种算法是在NetFlix（没错，就是用大数据捧火纸牌屋的那家公司）的推荐算法竞赛中获奖的算法，最早被应用于电影推荐中。这种算法在实际应用中比现在排名第一的 邰原朗 所介绍的算法误差（RMSE）会小不少，效率更高。我下面仅利用基础的矩阵知识来介绍下这种算法。这种算法的思想是这样：每个用户（user）都有自己的偏好，比如A喜欢带有小清新的、吉他伴奏的、王菲等元素（latent factor），如果一首歌（item）带有这些元素，那么就将这首歌推荐给该用户，也就是用元素去连接用户和音乐。每个人对不同的元素偏好不同，而每首歌包含的元素也不一样。矩阵计算得

13、分的方式第21页，共23页。TNANK YOU！第22页，共23页。激励学生学习的名言格言220、每一个成功者都有一个开始。勇于开始，才能找到成功的路。221、世界会向那些有目标和远见的人让路（冯两努香港著名推销商）222、绊脚石乃是进身之阶。223、销售世界上第一号的产品不是汽车，而是自己。在你成功地把自己推销给别人之前，你必须百分之百的把自己推销给自己。224、即使爬到最高的山上，一次也只能脚踏实地地迈一步。225、积极思考造成积极人生，消极思考造成消极人生。226、人之所以有一张嘴，而有两只耳朵，原因是听的要比说的多一倍。227、别想一下造出大海，必须先由小河川开始。228、有事者，事竟

14、成；破釜沉舟，百二秦关终归楚；苦心人，天不负；卧薪尝胆，三千越甲可吞吴。229、以诚感人者，人亦诚而应。230、积极的人在每一次忧患中都看到一个机会，而消极的人则在每个机会都看到某种忧患。231、出门走好路，出口说好话，出手做好事。232、旁观者的姓名永远爬不到比赛的计分板上。233、怠惰是贫穷的制造厂。234、莫找借口失败，只找理由成功。（不为失败找理由，要为成功找方法）235、如果我们想要更多的玫瑰花，就必须种植更多的玫瑰树。236、伟人之所以伟大，是因为他与别人共处逆境时，别人失去了信心，他却下决心实现自己的目标。237、世上没有绝望的处境，只有对处境绝望的人。238、回避现实的人，未来将更不理想。239、当你感到悲哀痛苦时，最好是去学些什么东西。学习会使你永远立于不败之地。240、伟人所达到并保持着的高处，并不是一飞就到的，而是他们在同伴们都睡着的时候，一步步艰辛地向上爬241、世界上那些最容易的事情中，拖延时间最不费力。242、坚韧是成功的一