大数据时代(20张)课件

1、大数据时代千帆环保第1页，共21页。大数据时代-生活、工作与思维的重大变革大数据时代是国外大数据研究的先河之作，本书作者维克托迈尔舍恩伯格被誉为“大数据商业应用第一人”，有在牛津大学、哈佛大学、耶鲁大学、新加坡国立大学等多个互联网研究重镇任教的经历，早在2010年就在经济学人上发布了长达14页对大数据应用的前瞻性研究。维克托迈尔舍恩伯格在书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。千帆环保第2页，共21页。维克托 迈尔-舍恩伯格（Viktor Mayer-Schnberger）

2、他是十余年潜心研究数据科学的技术权威，他是最早洞见大数据时代发展趋势的数据科学家之一，也是最受人尊敬的权威发言人之一。他曾先后任教于世界最著名的几大互联网研究学府。现任牛津大学网络学院互联网治理与监管专业教授，曾任哈佛大学肯尼迪学院信息监管科研项目负责人，哈佛国家电子商务研究中心网络监管项目负责人；曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。他的学术成果斐然，有一百多篇论文公开发表在科学自然等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。

3、他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业；而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO，由他的公司开发的病毒通用程序，成为当时奥地利最畅销的软件产品。1991年跻身奥地利软件企业家前5名之列，2000年 被评为奥地利萨尔斯堡州的年度人物。千帆环保第3页，共21页。大数据-引言最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学

4、等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。千帆环保第4页，共21页。大数据大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的大数据时代中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车

5、、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。千帆环保第5页，共21页。大数据从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们

6、谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。互联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地

7、球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。千帆环保第6页，共21页。数据的换算关系最小的基本单位是Byte，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，它们按照进率1024（2的十次方）来计算：1Byte = 8 bit1 KB = 1,024 Bytes1 MB = 1,024 KB = 1,048,576 Bytes1 GB = 1,024 MB = 1,048,576 KB1 TB = 1,024 GB = 1,048,576 MB1 PB = 1,024 TB = 1,048,576 GB1 EB = 1,

8、024 PB = 1,048,576 TB1 ZB = 1,024 EB = 1,048,576 PB1 YB = 1,024 ZB = 1,048,576 EB1 BB = 1,024 YB = 1,048,576 ZB1 NB = 1,024 BB = 1,048,576 YB1 DB = 1,024 NB = 1,048,576 BB千帆环保第7页，共21页。大数据产生的的变革大数据，变革公共卫生2009年H1N1流行病毒背景下谷歌通过检测检索词条，处理了4.5亿个不同的数据模型，通过预测并与2007年、2008年美国疾控中心记录的实际流感病例进行对比后，确定了45条检索词条组合，并将其

9、用于一个特定的数学模型后，预测的结果与官方数据的相关系数高达97%。按照传统的信息返回流程，通告新流感病毒病例将有一到两周的延迟。对于飞速传播的疾病，信息滞后两周是致命的。而谷歌运用大数据技术，以前所未有的方式，通过海量数据分析得出流感所传播的范围，为世界预测流感提供了一种更快捷的预测工具。大数据，变革商业Farecast公司是一个成功的典型范例。该公司由奥伦埃齐奥尼创办，利用机票的销售数据来预测未来的机票价格，旨在帮助用户在购买机票方面做出预测，并对机票价格走势预测的可信度标示出来供消费者查考。Farecast系统利用近十万亿条价格记录预测的准确度达75%，使得使用Farecast票价预测工

10、具购买机票的旅客，平均每张机票节约50美元。大数据，变革思维由于我们进入了一个前所未有的信息化时代，人们拥有了如此多的数据，才提供给我们利用大数据的分析处理手段，创造新的价值。也许有人以为我们大数据时代的还未来临。其实大数据技术早已渗透到我们中间，它被应用在垃圾邮件的过滤，新浪微博技术平台，谷歌翻译以及输入文字的自动纠错等。大数据，开启重大的时代转型千帆环保第8页，共21页。大数据的核心大数据的核心就是预测。它通常被视为人工智能的一部分，或者更确切地说，被视为一种学习机器。但这种定义是有误导性的。大数据不是要教机器像人一样思考。相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。不久

11、的将来，世界许多现在单纯依靠人类判断力的领域都会被计算机系统所改变，甚至替代。计算机系统可以发挥作用的领域远不止驾驶和交友，还有更多更复杂的任务。别忘了，亚马逊可以帮我们推荐喜欢看的书，谷歌可以关联网站的排序，Facebook可以知道我们的喜好，而Linkedin可以猜出我们认识谁。（个性化排序和个性化推荐）同样的技术还可以运用到疾病诊断、推荐治疗措施，甚至识别潜在犯罪分子上。千帆环保第9页，共21页。大数据，大挑战大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法。第一个转变是：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据

12、，而不再依赖于随机采样。第二个转变是：研究数据如此之多，以至于我们不再热衷于追求精确度。第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系。千帆环保第10页，共21页。大数据时代的思维变革更多不是随机样本，而全整体数据。“样本=整体”随机取样是小数据时代用最少的数据获取最大价值的做法。采样分析的精确性随着采样随机性的增加而大幅度提高，但与样本数量的增加关系不大。样本选择的随机性比样本数量更重要。大数据是指不用随机分析法这样的捷径，而采用所有数据的方法。苹果公司的总裁史蒂夫乔布斯在与癌症斗争的过程中采用了不同的方式，成为世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了

13、高达几十万美元的费用，这是23andme报价的几百倍之多。所以他得到的不是一个只有一系列标记的样本，他得到了包括整个基因密码的数据文档。对于一个普通的癌症患者，医生只能期望他的DNA排列同实验中使用的样本足够相似。但是，乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用药。乔布斯曾开玩笑说“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人”。虽然最后难免死于癌症但这种获得所有数据而不是仅样本的方法将他的生命延长了几年。千帆环保第11页，共21页。大数据时代的思维变革更杂不是精确性，而是混杂性。随着数据使用的越来越多，其得出的结果并不一定能越来越精确，毕竟数

14、据不能保证百分之百的正确，特别是大数据时代各种结构化与非结构化类型的数据聚集在一起难免导致结果的不太精确。大数据时代要求我们重新审视精确性的优劣。谷歌翻译之所以优于IBM的Candide系统并不是因为它拥有更好的算法机制。和微软的班科和布里尔一样，谷歌翻译增加了各种各样的数据，并且接受了有错误的数据。千帆环保第12页，共21页。大数据时代的思维变革更好不是因果关系，而是相关关系。在大数据时代往往知道是什么要比知道为什么来的更实在。知道人们为什么对这些信息感兴趣可能是有用的，但这个问题目前并不是很重要。但是，知道“是什么”可以创造点击率，这种洞察力足以足以重塑很多行业。林登的亚马逊推荐系统的成功

15、，证实了大数据在分析相关性方面的优势以及在销售中获得的成功。通过给我们找一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来。沃尔玛也是充分利用并挖掘各类数据信息的先锋和代表，从以前广为人事的啤酒和尿布的案例，以及有关蛋挞和飓风天气的案例，都说明了掌握了相关关系对于其策略的帮助。建立在相关关系分析法基础上的预测是大数据的核心。Aviva保险公司利用几百种生活方式的数据，如爱好、长浏览网页等间接的预测出哪些人更可能患高血压、糖尿病和抑郁症。UPS国家快递公司通过使用预测性分析检测其全美6万辆车队，进行防御性的修理，节约巨大得的成本。这些都充分显示了大数据在预测方面的优势。千帆环保第13

16、页，共21页。大数据时代的商业变革数据化 一切皆可“量化”大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今的信息技术变革的重点在于技术上，而不是信息本身。现在是时候开始关注信息本身了。莫里利用大量的人力去分析多年保存的航海记录，他从这些大量的数据中获取到新的利用价值。绘制的图表帮助商人节约一大笔钱，使年轻的海员们间接获取了成千上万名经验丰富的航海家的指导。日本先进工业技术研究所越水重臣教授通过安装压力传感器将人屁股特征数据化，进而形成对乘客身份的特征识别。这项技术为汽车防盗系统提供了方案。D公司，致力于为顾客预测商品的价格，通过收集处理海量的价格信息，预

17、测准确率高达77%，帮助顾客在购买一个产品时节约了大约100美元。MasterCardd.Advisor部门通过分析来自210个国家的15亿信用卡用户的650亿条交易记录，分析得出商业发展和客户消费趋势，如通过分析发现如果一个人下午四点左右给汽车加油的话，他很可能在接下来的一个小时内去购物或者去餐馆吃饭 ，且在这一小时里大约花费35到40美元。商家正可以利用这个分析结果，在加油的小票背面附加上附近商店的优惠券。千帆环保第14页，共21页。大数据时代的商业变革价值 “取之不尽，用之不竭”的数据创新特玛捷等公司利用“先到先得”原则提供演唱会门票网上预订服务时，作弊软件会偷偷跑到真实排队的人前将票全

18、部买下。针对这一情况路易斯冯安提出了解决想法：即在注册过程中现实一些波浪、识别难度低的字母，人能够在几秒钟内识别并输入正确文本信息，但电脑可能被难倒。冯安将他的这一创作称为验证码。不同与物质性的东西，数据的价值不会随着他的使用而减少，而是可以不断地被处理。数据创新1：数据的再利用（典例：搜索关键词、推荐消费）数据创新2：重组数据（典例：手机是否增加致癌率）数据创新3：可扩展数据（典例：谷歌街景与GPS数据采集）数据创新4：数据的折旧值（典例：亚马逊推荐）数据创新5：数据废气（典例：微软与谷歌的拼写检查）数据创新6：开放数据（典例：政府公开信息）千帆环保第15页，共21页。大数据时代的商业变革角

19、色定位 数据、技术与思维的三足鼎立根据所提供价值的不同来源，分别出现了三种大数据公司。这三种来源是指：数据本身、技能与思维。第一种是基于数据本身的公司。这些公司拥有大量数据或者至少可以收集到大量数据，却不一定有从数据中提取价值或者用数据催生创新思想的技能。典型为Twitter，他有海量数据，但他的数据都是通过两个独立的公司授权给别人使用的。第二种是基于技能的公司。它们通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或者提出数据创性用途的才能。比如说，沃尔玛和Pop-Tarts这两个零售商就是借助天睿公司的分析来获得营销点子，天睿就是一家大数据分析公司。第三种是基于思

20、维的公司。皮特.华登，Jetpac的联合创始人，就是通过想法获得价值的一个例子，他通过用户分享到网上的旅行照片来为人们推荐下一次旅行目的地。对于某些公司来说，数据和技能并不是成功的关键。挖掘数据的新价值的创新思维才是这些公司脱颖而出的优势所在。千帆环保第16页，共21页。大数据时代的管理变革风险 让数据主宰一切的隐忧我们时时刻刻都暴露在“第三只眼”下：亚马逊监视着我们的购物习惯、谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不进切听了我们心目中的“TA”，还有我们的社交关系网。我们的隐私被二次利用了，匿名化不再可行。出现这种无效性则是由两个因素引起的：一是我们收集的数据越来越多，二是我们

21、会结合越来越多不同来源的数据。预测与惩罚，不是因为“所做”，而是因为“将做”。越来越多的美国城市的假释委员正使用数据分析来决定是释放还是继续监禁某人。（电影少数派报告）数据独裁：过于依赖数据，而数据远远没有我们所想的那么可靠。我们盲目信任数据的力量和潜能而忽略它的局限性。（下级人员出于升官等想法会谎报数据）有时候卓越的才华并不依赖于数据。记者问及乔布斯推出苹果ipad之前做了多少社会调查时，他那个著名回答是这样的：“没有！消费者没有义务去了解自己想要什么。”千帆环保第17页，共21页。大数据时代的管理变革掌握 责任与自由并举的信息管理管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任。

22、管理变革2：个人动因VS预测分析。人们可以并应该为他们的行为而非倾向负责。管理变革3：击碎黑盒子，大数据算法师的崛起。（类似计算机安全和隐私顾问）管理变革4：反数据垄断大亨。千帆环保第18页，共21页。结语 大数据时代是信息化社会发展必然趋势，我们只有紧紧跟随时代发展的潮流，在技术上、制度上、价值观念上做出迅速调整并牢牢跟进，才能在接下来新一轮的国际竞争中摆脱受制于人的弱势境地，才能把握发展的方向，冲破与西方国家的差距。对于一个国家如此，对于一个企业亦是如此。在如此快速的到来的大数据时代，我们还有很多知识需要学习，许多思维需要转变，许多技术需要研究。公司的规划中，也需充分考虑到大数据对于公司的

23、未来发展所带来的机遇和挑战。对于掌握大量数据的公司，需要考虑有多少数字化的数据，又有哪些可以通过大数据的分析处理而带来有价值的用途？比如国内目前的社交网站，购物网站等都掌握了用户的大量的数据信息。在大数据时代制胜的良药也许是创新的点子，也许可以利用外部的数据，通过多维化、多层面的分析给其他企业或个人带来价值。千帆环保第19页，共21页。Thank You！第20页，共21页。1、不是井里没有水，而是你挖的不够深。不是成功来得慢，而是你努力的不够多。2、孤单一人的时间使自己变得优秀，给来的人一个惊喜，也给自己一个好的交代。3、命运给你一个比别人低的起点是想告诉你，让你用你的一生去奋斗出一个绝地反

24、击的故事，所以有什么理由不努力!4、心中没有过分的贪求，自然苦就少。口里不说多余的话，自然祸就少。腹内的食物能减少，自然病就少。思绪中没有过分欲，自然忧就少。大悲是无泪的，同样大悟无言。缘来尽量要惜，缘尽就放。人生本来就空，对人家笑笑，对自己笑笑，笑着看天下，看日出日落，花谢花开，岂不自在，哪里来的尘埃!5、心情就像衣服，脏了就拿去洗洗，晒晒，阳光自然就会蔓延开来。阳光那么好，何必自寻烦恼，过好每一个当下，一万个美丽的未来抵不过一个温暖的现在。6、无论你正遭遇着什么，你都要从落魄中站起来重振旗鼓，要继续保持热忱，要继续保持微笑，就像从未受伤过一样。7、生命的美丽，永远展现在她的进取之中;就像大树的美丽，是展现在它负势向上高耸入云的蓬勃生机中;像雄鹰的美丽，是展现在它搏风击雨如苍天之魂的翱翔中;像江河的美丽，是展