大数据的产业价值

大数据的产业价值（下）目

录123大数据及其相关概念理解大数据的产业价值技术发展趋势、问题与建议二、大数据的产业价值ONE2012年3月，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，并且定义为“未来的新石油”，希望增强政府收集、分析和萃取海量数据的能力。TWO20世纪，瑞士心理学家荣格发现了《易经》筮法中蕴涵的一种不同于因果原理的普遍联系法则，这同大数据技术的复杂相关性有着相似的地方。2012年瑞士达沃斯论坛上发布《大数据大影响》报告，称数据已成为一种新的经济资产类别，就像货币或黄金一样，许多国家政府更是把大数据上升到战略层面。2015年，国务院办公

厅发布《关于运用大

数据加强对市场主体

服务和监管的若干意

见》（国办发〔2015〕51号）。IDC公司发布的数字宇宙研究报告称:全球信息总量每两年就会增长一倍,2011年全球被创建和被复制的数据总量为1.8ZB。IDC认为,到下一个十年(2020年),全球所有IT部门拥有服务器的总量将会比现在多出10倍,所管理的数据将会比现在多出50倍。预计到2020年,全球将总共拥有35ZB的数据量。2011年企业创造、采集、管理和储存信息的成本下降到2005年的1/6,而同期企业关于数据的总投资自2005年以来却反而上升了50%。数据成本的下降助推了数据量的增长,而新的数据源和数据采集技术的出现则大大增加了未来数据的类型,数据类型的增加导致现有数据空间维度增加,增加了未来大数据的复杂度。VolumePB+数据处理价值Velocity实时处理Value海量数据挖掘Variety

多数据类型交叉分析大数据分析技术是对

大数据的产生、存储、挖掘和展现的全生命

周期进行综合分析处

理的过程。科学家通过大数据分析,可以发现隐藏于其中的有价值的信息和知识。2013年4月15日下午2时50分，科普里广场有两枚炸弹分别于终点线附近观众区及一家体育用品店先后被引爆。FBI和警察局依赖于庞大的数据基础，包括媒体对马拉松赛报道的大量图片、视频，以及来自互联网用户上传的大

量现场图像和视频，快速定位嫌疑人。美国波士顿于4月15日举行第117届波士顿马拉松大赛，现场大量观众、记者等通过手机、相机等设备拍照，产生了大量的视频、图片数据。Google基于搜索数据和历史信息，预测流行性感冒的爆发与强烈等级。2009成功预测美国甲型H1N1爆发；2013年1月准确判定美国的流感活动等级为

“强烈”。2003年美国华盛顿大学人工智能负责人开发了Farecast系统并成立公司，通过2000亿条数据记录帮助预测美国国内航班的票价。系统预测准确度达到75%以上，平均每张机票节省50美元。2012年1月23日英国两名游客飞往美国，出发前在社交网站推特上发布：“提前八卦一下，这周过后，我要前往美国摧毁它。”美国国土安全部通过情报分析技术发现其言论，将其列为潜在威胁，怀疑他策划到美国实施犯罪。这两人带着手提箱到达洛杉矶国际机场，持枪警卫立即将他们逮捕并没收了他们的护照。微软专家David

Rothschild通过大数据分析，对第85届奥斯卡各奖项的归属进行成功预测。除最佳导演外，其它各项奖预测全部命中。尿布&啤酒—沃尔玛智能交通---交通蝴蝶效应谷歌提前预测电影票房收入麦肯锡强调大数据对零售商的影响美国总统预测几千年前：基于观察和经验，描述自然现象。几百年前：基于理论和模型，解释自然现象。几十年前：基于计算技术，模拟复杂现象。当今：基于大数据分析，统一理论、实验和模拟。发布数据用户产生数据Web

1.0250,000网站Web

2.0发布数据用户产生数据CyberspaceAny

PersonAny

WhereAny

Time5年的信息量增加10倍!全球每天通过Internet网络传输的电子邮件多达2100亿封。Facebook每月新增10亿照片和1000万个视频。腾讯公司注册用户超过7亿，同时在线人数超过1亿。某微博网站4亿多节点,12亿次用户访问，2TB每天用户访问日志。基于SQL语言:面对OLAP的传统行和列。不基于SQL或map-reduce的:由谷歌率先发起。数据流:基于运行商数据直接生成任意图形。新平台技术入口/汇聚数据平台分析不同范围的服务传统交付模式-单片或基于设备的解决方案。云:能够充分利用物理设施的弹性，以实现处理快速增长数据的能力。“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”-

Forrester

analystJim

Kobielus新的传输方案17:3美国17个经济部门中的15个部门，员工超过1000人的企业存储了平均235太字节的数据，超出了美国国会图书馆的藏书。当下正是中国大数据市场元年，2013年大数据市场增速为138.3%，到2016年整个市场规模逼近百亿。美国政府已经把“大数据”上升到了国家战略的层面。2012年3月29日，奥巴马政府宣布投资2亿美元启动大数据研究和发展计划。华尔街日报将大数据、智能制造和无线网络称作是当代三大技术变革。《商业价值》杂志将大数据比作未来世界的新石油。分析技术处理技术存储技术解决方案三、技术发展趋势、问题及建议（一）大数据的发展趋势Gartner2012年技术成熟度曲线CloudComputingBigdataIoTGartner2013年技术成熟度曲线CloudComputingBigdataIoTGartner2014年技术成熟度曲线IoTBigdataCloudComputingIoT机器学习自动驾驶汽车Gartner2015年技术成熟度曲线2-5年内成为主流：市民数据科学（Citizen

Data

Science）；混合云计算（Hybrid

Cloud

Computing）；机器学习

(Machine

Learning)。5-10内成为主流：自动驾驶汽车、物联网、物联网平台；信息安全、3D打印器官移植、智能咨询；虚拟个人助手、软件定义安全以及小的数据中心等。大数据打破了企业传统数据的边界，改变了过去商业智能仅仅依靠企业内部业务数据的局面，而大数据则使数据来源更加多样化，不仅包括企业内部数据，也包括企业外部数据，尤其是和消费者相关的数据。ONE大数据应用已经凸显出了巨大的商业价值，触角已延伸到各行各业。未来大数据还将彻底改变人类的思考模式、生活习惯和商业法则，将引发社会发展的深刻变革，同

时也是未来最重要的国家战略之一。TWO（二）大数据存在的问题我国缺乏核心技术，能否实现弯道超车有待努力；人才缺口非常大，缺乏统计学人才和数据挖掘人才；信息资源保护意识的缺失造成极大的安全隐患；大数据利用的不开放性会带来新的垄断和社会资源浪费；大数据时代的个人隐私难以得到保护。Volume容量大要求数据的高效管理、存储和压缩；VelocityVariety组合运用结构化和非结构化数据寻找问题的答案；Varacity基本数据是准确、可靠、值得信赖的，并且具有一致性。1s界限；数据的高效组织管理；大数据不再强调

“大”；大数据是机会，但

不是终极解决方案，要结合云计算；非结构化数据占比不断增大，但对结构化大数据的分析处理更重要；组合运用结构化和非结构化数据寻找问题答案，是成功进行预测的基础；大数据强调关联的同时，永远不会忽略因果；相比数据抓取和存储，数据的管理更重要；架构上，存储和IO依然是主要问题。（三）大数据发展的建议统筹物联网、云计算以及智慧城市以及大数据建设，避免各立山头；自然科学研究、环境保护、生物医药研究、教育以及国家安全等领域才是大数据技术突破的重点；在扶持大数据在电商企业应用的同时