大数据时代生活工作与思维的大变革PPT

大数据时代----生活、工作与思维大变革第1页一、认识大数据二、大数据时代变革三、大数据时代挑战四、大数据应用第2页何为大？—数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes第3页《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB约等于671部红楼梦1TB约等于631,903部1PB约等于647,068,911部美国国会图书馆藏书（151,785,778册）（4月：收录数据235TB）1EB=4000倍美国国会图书馆存放信息量第4页天天有2940亿封电子邮件发出，假如这些是纸质信件，在美国需要花费两年时间处理；天天有200万篇博客在网上公布，这些文章相当于《时代》杂志刊发770年总量；天天有2.5亿张照片上传至社交网站Facebook，假如都打印出来，摞在一起能有80个埃菲尔铁塔那么高；天天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98年；天天有1.87亿个小时音乐会在流媒体音乐网站Pandora上播放，假如一台电脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放；谷歌翻译天天处理文字数量,天天翻译次数达十亿次，相当于一百万册图书，超出了全世界专业翻译人员一年能够翻译文字规模；baidu天天关键词搜索量50亿，谷歌33.3亿；淘宝天猫双11那一天营业额达191亿人民币。中国小商品城整年成交额才580.03亿元人民币；累积起来，互联网一天之内产生信息总量，能够装满1.68亿张DVD光盘。……未来：物联网天天产生数据将会是海量。一、认识大数据（续）第5页什么是大数据？

什么是大数据(big-data)？人们并未形成统一认识，普通而言，它是指规模远远超出传统数据库软件处理能力海量数据集合。这一概念首要是针对信息化社会数据“爆炸式”增加，体量巨大而提出。对于数据多大能称之为“大数据”，业界并没有统一认识，通常认为100TB（太字节）是大数据门槛。

简而言之，传统方法无法处理数据即为大数据。

据美国政府预计，全球每年由各类设备产生数据到达约1.2ZB（1ZB=12亿TB）。若用1粒沙代表1B数据，1PB（相当于1000T）相当于1英里长、100码宽沙滩，而1.2ZB数据就如同一片浩瀚沙漠。一、认识大数据（续）第6页二十一世纪是数据信息大发展时代，移动互联、社交网络、电子商务等极大拓展了互联网边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。“大数据”诞生：半个世纪以来，伴随计算机技术全方面融入社会生活，信息爆炸已经积累到了一个开始引发变革程度。它不但使世界充满着比以往更多信息，而且其增加速度也在加紧。信息爆炸学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了全部些人类智力与发展领域中。第7页，图灵奖取得者JimGray，提出“数据密集型科学发觉(Data-IntensiveScientificDiscovery)”将成为科学研究第四范式，“数据科学”拉开了帷幕。年，《Nature》杂志出版专刊，讨论大数据处理相关一系列技术问题和挑战。203月底，美国政府公布了大数据研发专题研究计划(BigDataInitiative)，拟投入2亿美元用于研究开发科学探索、环境和生物医学、教育和国家安全等重大领域和行业所急需大数据处理技术和工具，把大数据研究上升到为国家战略。2010月，中国计算机学会于成立大数据教授委员会，并在2012月公布调研汇报，说明数据科学热点问题和发展趋势。第8页3月29日，白宫公布美国政府大数据计划。经过提升从大型复杂数字数据集中提取知识和观点能力，承诺帮助加紧在科学与工程中步伐，加强国家安全，并改变教学研究。第9页10/2/

我国应对

最早提出“大数据”时代已经到来机构是全球著名咨询企业麦肯锡。麦肯锡在研究汇报中指出，数据已经渗透到每一个行业和业务职能领域，逐步成为主要生产原因；而人们对于海量数据利用将预示着新一波生产率增加和消费者盈余浪潮到来。“麦肯锡汇报公布后，大数据快速成为了计算机行业争相传诵热门概念，也引发了金融界高度关注。”伴随互联网技术不停发展，数据本身是资产，这一点在业界已经形成共识。“假如说云计算为数据资产提供了保管、访问场所和渠道，那么怎样盘活数据资产，使其为国家治理、企业决议乃至个人生活服务，

实际上，全球互联网巨头都已意识到了“大数据”时代，数据主要意义。包含EMC、惠普(微博)、IBM、微软(微博)在内全球IT巨头纷纷经过收购“大数据”相关厂商来实现技术整合，亦可见其对“大数据”重视。“大数据”作为一个较新概念，当前还未直接以专有名词被我国政府提出来给予政策支持。不过，在工信部公布物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包含了海量数据存放、数据挖掘、图像视频智能分析，这都是大数据主要组成部分。而另外3项关键技术创新工程，包含信息感知技术、信息传输技术、信息安全技术，也都与“大数据”亲密相关。第10页1.Volume2.Variety3.value4.Velocity结构化数据、半结构化数据和非结构化数据如今数据类型早已不是单一文本形式，订单、日志、音频，对处理能力提出了更高要求沙里淘金，价值密度低以视频为例，一部一小时视频，在连续不间断监控过程中，可能有用数据仅仅只有一两秒。怎样经过强大机器算法更快速地完成数据价值“提纯”是当前大数据汹涌背景下亟待处理难题实时获取需要信息大数据区分于传统数据最显著特征。如今已是ZB时代，在如此海量数据面前，处理数据效率就是企业生命“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”显著特征，或者说，只有具备这些特点数据，才是大数据。大数据4V特征数据量巨大全球在

年正式进入ZB时代，IDC预计到

年，全球将总共拥有35ZB数据量第11页大数据=海量数据+复杂类型数据大数据包含：交易数据和交互数据集在内全部数据集海量交易数据：企业内部经营交易信息主要包含联机交易数据和联机分析数据，是结构化、经过关系数据库进行管理和访问静态、历史数据。经过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、LinkedIn及其它起源社交媒体数据组成。它包含了呼叫详细统计CDR、设备和传感器信息、GPS和地理定位映射数据、经过管理文件传输ManageFileTransfer协议传送海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。能够告诉我们未来会发生什么。海量数据处理：大数据涌现已经催生出了设计用于数据密集型处理架构。比如含有开放源码、在商品硬件群中运行ApacheHadoop。第12页第一层面是理论，理论是认知必经路径，也是被广泛认同和传输基线。第二层面是技术，技术是大数据价值表达伎俩和前进基石。第三层面是实践，实践是大数据最终价值表达。第13页大数据处理技术让大数据能够为我所用，大数据时代终于开启了。第14页大数据与云计算第15页

大数据与云计算

云计算模式是业务模式，本质是数据处理技术。

（肉体+灵魂）数据是资产，云为数据资产提供存放、访问和计算。盘活资产，使其为国家治理、企业决议、个人生活服务，是大数据关键议题，也是云计算最终方向。第16页假如将云计算与大数据进行一些比较，最显著区分在两个方面：第一，在概念上二者有所不一样，云计算改变了IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运行。第二，大数据和云计算目标受众不一样，云计算是CIO等关心技术层，是一个进阶IT处理方案。而大数据是CEO关注、是业务层产品，而大数据决议者是业务层。第17页大数据比云计算更为落地大数据不但仅是“大”软件是大数据引擎大数据应用不但仅是商业化服务管理大数据“易”，了解大数据“难”第18页和数据中心（DataCenter）

一样，软件是大数据驱动力，软件改变世界第19页第20页经过用户行为分析实现精准管理、科学决议和人性化服务是大数据经典应用，大数据在各行各业尤其是公共服务领域含有辽阔应用前景消费行业金融服务食品安全医疗卫生军事交通环境保护电子商务气象第21页即使大数据是一个重大问题，真正问题是让大数据更有意义当前大数据管理多从架构和并行等方面考虑，处理高并发数据存取性能要求及数据存放横向扩展，但对非结构化数据内容了解仍缺乏实质性突破和进展，这是实现大数据资源化、知识化、普适化关键非结构化海量信息智能化处理：自然语言了解、多媒体内容了解、机器学习等第22页大数据时代没有隐私爱德华·斯诺登第23页70万人，无人通知在线试验，全球第一大社交网络脸书（Facebook）隐秘进行情感测试近日曝光天下，业界一片哗然。，脸书（Facebook）幕后试验意在公测70万用户在面对对应NewsFeed中情感反应和行为引导。详细说来，脸书（Facebook）在页面上人为设置一些正面或是负面情感性关键词，同时控制用户在自己NewsFeed中得阅读内容，从而观察用户在本身Post中得行为表示。经过大约一周数据搜集，脸书数据分析员能够观察到用户对于社交网络上情绪反应。对于70万用户情绪被消无声息如此操控，脸书（Facebook）行为无疑遭到了强烈指控。脸书此次幕后试验曝光，是一个警醒明示。用户、互联网企业以及政府之间权衡，是一个当即也是长久去努力协作过程。在个人隐私和道德制约前提下，“大数据“时代，不是一个滥用数据时代，而是一个需要善用数据时代。第24页大数据属于谁？第25页数据独裁卓越才华并不依赖大数据，大数据扼杀创新。假如对不可量化事物进行量化，我们将失去全方面了解该事物机会。第26页？第27页第28页第29页第30页中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市关键基础设施组成和服务更智能、互联和有效，伴随智慧城市建设，社会将步入“大数据”时代。”智慧政务智慧交通智慧电网智慧教育智慧医疗……依据国家信息中心信息化研究部统计，当前我国提出智慧城市建设城市总数已到达154个，预计投资规模超出1.5万亿元。智慧城市必将产生大数据，利用大数据思维来改变公共管理部门形象。第31页医疗可利用各种大数据伎俩临床操作——1、疗效比较研究

2、临床决议支持系统

3、医疗数据透明度

4、远程医疗监护

5、针对患者情况先进分析付款/定价——1、自动化系统

2、医保系统研发——1、预测模型

2、改进临床试验设计统计工具和算法

3、临床试验数据分析

4、个体化医疗

5、疾病模式分析新业务模型——1、患者临床统计和需求数据聚合

2、在线平台和小区公共卫生医疗行业受益于大数据电子病历医疗行业产生大数据（电子病历），利用大数据思维将会给医疗行业带来变革。第32页旅游业发展趋势是：网络化、散客化、大众化。在大数据时代，必须利用大数据思维，推行旅游数字化管理，开展数字化营销，为旅客提供精准个性化服务。第33页购物：不受时空限制，随时随地购物。在看不到商品情况下，口碑就是质量。第34页旅行：足不出户，安排好一切。第35页信息：人人都是传媒。第36页社交：你全部朋友都能在网络上找到。第37页分析事物时，依赖该事物全部数据，不再是进行样本分析。在大数据时代，允许不准确。更重视相关关系，而不是因果关系。第38页一场生活、工作与思维大变革大数据开启了一次重大时代转型。就想望远镜让我们能够感受宇宙，显微镜让我们能够观察微生物一样，大数据正在改变我们生活以及了解世界方式，成为新创造和新服务源泉，而更多改变正蓄势待发……大数据，变革公共卫生大数据，变革商业大数据，变革思维大数据，开启重大时代转型预测，大数据关键大数据，大挑战引言第39页大变革思维商业管理1、大数据时代思维变革2、大数据时代商业变革3、大数据时代管理变革第40页1、大数据时代思维变革第41页1、大数据时代思维变革—更多“更多”——不是随机样本，而是全体数据当数据处理技术已经发生翻天覆地改变时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要是全部数据，“样本＝总体”。让数据“发声”小数据时代随机采样，最少数据取得最多信息全数据模式，样本＝总体第42页1、大数据时代思维变革—更杂“更杂”——不是准确性，而是混杂性执迷于准确性是信息缺乏时代和模拟时代产物。只有5%数据是有框架且能适合用于传统数据库。假如不能接收混乱，剩下95%非框架数据都无法被利用，只有接收不准确性，我们才能打开一扇从未涉足世界窗户。允许不准确大数据简单算法比小数据复杂算法更有效纷繁数据越多越好混杂性，不是尽力防止，而是标准路径新数据库设计诞生第43页1、大数据时代思维变革—更加好“更加好”——不是因果关系，而是相关关系知道“是什么”就够了，没必要知道“为何”。在大数据时代，我们无须非得知道现象背后原因，而是要让数据自己“发声”。关联物，预测关键“是什么”，而不是“为何”改变，从操作方式开始大数据，改变人类探索世界方法第44页2、大数据时代商业变革第45页2、大数据时代商业变革—数据化“数据化”——一切皆可“量化”大数据发展关键动力起源于人类测量、统计和分析世界渴望。信息技术变革随地可见，不过如今信息技术变革重点在“T”（技术）上，而不是在“I”(信息）上。现在，我们是时候把聚光灯打向“I”，开始关注信息本身了。数据，从最不可能地方提取出来数据化，不是数字化量化一切，数据化关键当文字变成数据当方位变成数据当沟通成为数据一切事物数据化第46页2、大数据时代商业变革—价值“价值”——“取之不尽，用之不竭”数据创新数据就像一个神奇钻石矿，当它首要价值被发掘后仍能不停给予。它真实价值就像漂浮在海洋中冰山，第一眼只能看到冰山一角，而绝大部分都隐藏在表面之下。数据创新1：数据再利用数据创新2：重组数据数据创新3：可扩展数据数据创新4：数据折旧值数据创新5：数据废气数据创新6：开放数据给数据估值第47页2、大数据时代商业变革—角色定位“角色定位”——数据、技术与思维三足鼎立微软以1.1亿美元价格购置了大数据企业Farecast，而两年后谷歌则以7亿美元价格购置了给Farecast提供数据ITASoftware企业。如今，我们正处于大数据时代早期，思维和技术是最有价值，不过最终大部分价值还是必须从数据本身来挖掘。大数据价值3大组成大数据掌控企业大数据技术企业大数据思维企业和个人全新数据中间商教授消亡与数据科学家崛起大数据，决定企业竞争力第48页3、大数据时代管理变革第49页3、大数据时代管理变革—风险“风险”——让数据主宰一切隐忧我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们购物习惯，谷歌监视着我们网页浏览习惯，而微博似乎什么都知道，不但窃听到了我们心中“TA”，还有我们社交关系网。无处不在“第三只眼”我们隐私被二次利用了预测与处罚，不是因为“所做”，而是因为“将做”数据独裁摆脱大数据困境第50页3、大数据时代管理变革—掌控“掌控”——责任与自由并举信息管理当世界开始迈向大数据时代时，社会也将经历类似地壳运动。在改变人类基本生活与思索方式同时，大数据早已在推进人类信息管理准则上重新定位。然而，不一样于印刷革命，我们没有几个世纪时间去适应，我们可能只有几年时间。管理变革1：个人隐私保护，从个人许可到让数据使用者负担责任管理变革2：个人动因VS预测分析管理变革3：击碎黑盒子，大数据程序员崛起管理变革4：反数据垄断大亨第51页结语正在发生未来大数据并不是一个充满着算法和机器冰凉世界，人类作用依然无法被完全替换。大数据为我们提供不是最终答案，只是参考答案，帮助是暂时，而更加好方法和答案还在很快未来。第52页三、大数据时代挑战第53页国外什么情况？万马飞跃，抢数据高地第54页衍生于亚马逊、Google等互联网企业前瞻来看，伴随互联网对网民了解，网民对网络反作用，互联网将变得越来越智能。它在满足你需求同时，也在创造新需求。前者代表是Google，后者经典则是Facebook。谷歌盈利在于全部软件应用都是在线。用户在无偿使用这些产品同时，把个人行为、喜好等信息也无偿送给了Google。所以Google产品线越丰富，他对用户了解就越深入，他广告就越精准。广告价值就越高。这是正向循环，谷歌好用、无偿得软件产品，换取对用户了解；经过精准广告，找到生财之道。颠覆了微软卖软件拷贝盈利模式。成为互联网巨擘。互联网越来越智能Google准确掌握用户行为、获取需求第55页IBM\Oracle\EMC\Microsoft角力大数据

EMCEMC大数据处理方案专注于使组织更有效地使用他们从不一样起源产生数据，包含网络上，网页上，消费者，监控系统和传感器。EMC数据计算产品事业部正在开发分析工具以处理大数据现象。EMC大数据处理方案包含40多个产品。年7月收购数据库软件供给商Greenplum，花费3亿美元七月收购数据复制处理方案提供商DataDomain，花费24亿美元不一定和大数据完全相关，EMC从起收购了ArcherTechnologies,SourceLabs,FastScaleTechnology,Configuresoft,andVaronisSystems。IBMIBM策略是提供一个全方面方法来处理前所未有信息爆炸提出挑战，因为信息量不论在流量、种类、速度还是活力上都是爆炸式增加IBM一直致力于扩大对包含数据仓库中大数据、信息流和结构化数据分析在过去四年中，IBM已经投入超出120亿美元进行了23项相关并购，其中包含：209月收购数据库分析供给商Netezza企业，花费17亿美元2010月收购网络分析软件供给商Coremetrics年10月收购数据分析和统计软件提供商SPSS,花费12亿美元年1月收购业务规则管理软件供给商ILOG,花费3亿4千万美元花费20亿美元收购商务智能软件供给商Cognos微软微软提供了高性能计算能力，并在靠WindowsComputeCluster服务器进入相关市场最近，微软HPC部门开发了该企业Dryad

并行处理技术小区技术预览(CTP),第一步是向WindowsHPCServer用户提供处理大数据工具甲骨文甲骨文大数据提供数据库和数据库软件主要用于配合Sun硬件，尤其是它最高端服务7月收购专注于数据复制和实时数据集成处理方案私人企业GoldenGateSoftware第56页国外已经开始投资应用美国国务院采取大数据技术开发新美国护照系统。IBM宣告投资1亿美元用于大数据研究；美国IT企业开始意识到大数据技术能够为企业创造价值；大数据企业引入汽车行业高管人员扩展营销业务；第57页成功企业具备时代特征大数据云计算物联网平台移动互联语义网智能化大数据时代能产生大数据，如电信运行商，互联网门户具备大数据挖掘能力，如谷歌，baidu能应用大数据进行垂直整合，如苹果，淘宝工业时代信息时代手工时代大数据时代经典特征在大数据时代，让数据成为资产，三类企业将取得成功时代变迁掌握”入口”是共性58第58页SONY没落原因总结：“新一代基于互联网DNA企业关键能力在于利用新模式和新技术愈加贴近消费者、深刻了解需求、高效分析信息并作出预判，全部传统产品企业都只能沦为这种新型用户平台级企业附庸，其衰落不是管理能扭转。互联网魅力就是thepoweroflowend。”————出井伸之（SONY前董事长兼首席执行官）他们曾经伟大，但在没落Nextwho?59第59页平台化满足用户个性化需求，企业才能连续领先自动交互个性化需求满足平台自愿进入自我增值产品销售规模化产品供给流程批量生产服务响应颠覆性创新传统以产品营销和服务为关键商业模式，构建以用户需求为关键平台生态圈，形成用户：自愿进入（搭建以用户为关键开放交互平台）；自动交互（过程中应用大数据分析挖掘形成用户知识）；自我增值（整合网络资源为用户提供个性化处理方案服务）商业模式60第60页向平台生态圈企业转型，企业需经历三个阶段平台化转型期采集大数据，形成“入口”能力（~1年时间）平台化发展期应用“入口”大数据，服务产品化（2~3年时间）平台生态圈发展期垂直整合，“入口”能力释放（连续发展）开发能采集用户大数据智能产品、完善运行大数据采