大数据的产业价值

大数据的产业价值（上）汪东升清华大学教授点击添加文本点击添加文本点击添加文本点击添加文本目录123大数据及其相关概念理解大数据的产业价值技术发展趋势、问题与建议大数据概念及其特点相关概念与关系分析一、大数据及其相关概念理解（一）大数据概念及其特点

数据爆炸，知识贫乏，难以决策？

数据知识决策关联模式趋势相关分类市场定位资金分配产品选择广告营销时机选择位置选择行业细化数字化多媒体多维度大规模细粒度1、大数据概念的发展脉络200820102011《Nature》推出了BigData专刊；2008首次列入“维基百科”条目；2010.4Science推出专刊，说明大数据对于科学研究的重要性；2011.2“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。”20112012麦肯锡全球研究院发布一份报告——《大数据：创新、竞争和生产力的下一个新领域》；2011.5IBM在产品发布会上主推大数据概念；2011.11美国国家科学基金发布大数据指南，指出大数据是海量、多样、分布的、异构的数据。2012“大数据是指具有以下三个特征的数据：大数据量、快速增长及多数据来源及类型的数据。4V特性：大规模、多样化、快速增长、潜藏价值。2、大数据的构成大数据包括交易数据和交互数据集在内的所有数据集。大数据=海量数据+复杂类型的数据海量交易数据海量交互数据海量数据处理海量交易数据企业内部的经营交易信息，主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。海量交互数数据源于Facebook、Twitter及其他来源源的社交媒媒体数据构构成。包括括呼叫详细细记录CDR、设备和传传感器信息息、GPS和地理定位位映射数据据、通过管管理文件传传输ManageFileTransfer协议传送的的海量图像像文件、Web文本和点击击流数据、、科学信息息、电子邮邮件等等，，可以预测测未来。海量数据处处理大数据的涌涌现已经催催生出了设设计用于数数据密集型型处理的架架构，例如如具有开放放源码、在在商品硬件件群中运行行的ApacheHadoop。3、大数据的的基本概念念大数据是一一种数据，，具有可扩扩展性、多多样性、复复杂性的特特点，需要要一种新的的架构、新新的技术、、新的算法法以及新的的分析工具具去管理这这些数据，，同时从中中抽取隐含含在内的重重要信息。。（“BigData”isdatawhosescale,diversity,andcomplexityrequirenewarchitecture,techniques,algorithms,andanalyticstomanageitandextractvalueandhiddenknowledgefromit.）“大数据””是指数据据海量、计计算复杂的的数据集合合，其在一一定时间内内难以依靠靠已有数据据处理技术术来进行有有效的采集集、管理和和分析。大大数据通常常满足以下下“4V”特点：规模巨大产生高速形式多样信息价值4、大数据的的特点形式多样（（Variety）信息价值（Value）产生高速（（Velocity）规模巨大（（Volume）非结构化数数据的超大大规模，比比结构化数数据增长快快10倍到50倍。实时分析而而非批量式式分析，数数据输入、、处理与丢丢弃，立竿竿见影而非非事后见效效。异构性（文文本、图像像、视频、、机器数据据），模式式不明显，，语法语义义不连贯。。大量的不相相关信息，，对未来趋趋势与模式式的深度复复杂分析。。规模巨大互联网数据据2011年全球数据据产生量达达到1.8ZB，以每本书书10MB计算，相当当于七百万万个中国国国家图书馆馆的容量。。医疗保健数数据海洋气象数数据基因工程美国国立基基因组研究究所宣布，，“千人基基因计划””所产生的的数据总量量已达到200TB，成为世界界上最大的的人类基因因变异数据据集。数据的度量量尺度:1KB=103B1MB=106B1GB=109B1TB=1012B1PB=1015B1EB=1018B1ZB=1021B1YB=1024B产生高速电信运营数数据中国联通上上网记录每每秒83万条，每月月1万亿条（300TB）。天文数据美国大口径径望远镜每每两周对太太空观测一一遍，每天天产生16TB数据，5年总数据量量将达到15PB。企业运行数数据2000年全球新产产生的数据据量为1000PB到2000PB，到2010年仅仅全球球企业一年年新存储的的数据量就就超过了7000PB。形式多样各种数据类型现在的数据类型不仅是文本形式，90%是文字、图片、音频、视频、地理位置信息等非结构化数据，个性化数据占绝对多数。文字音频视频地理信息图片Internet上1分钟内发生生了：639TBIP流量；2亿封邮件件；70万Facebook更新；30小时YouTube新增视频；；70万Google搜索。信息价值信息价值以视频为例，7X24小时的全城监控视频中，可能有用的数据仅仅只有一两秒。可用信息在数据总量中的比例低，但其潜在价值巨大。从视频中发现犯罪嫌疑人周克华2011年-2016年中国大数据市场规模全球未来5年58%的增速，2017年达到500亿美元。中国2013年增速为138%，2016年市场将达到100亿。（二）相关关概念与关关系分析出租车——云广告MH370维基百科定义：云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。我们认为：云计算是指服务的交付和使用模式，用户通过网络以按需、易扩展的方式获得所需的服务。云计算海计算框计算风计算。。。神计算？不是概念不是操作不是口号不是超级计算不是网格计算是新的创新模式是新的商业模式是新的运营模式是成本、效用、应用至上是大众参与的舞台是不是网络虚拟化化27数据中心虚拟化（vDC)云计算虚拟拟化资源数据中心物物理资源存储虚拟化化计算虚拟化化《中国家庭金融调查报告》中国的住房自有率是89.68%；世界平均住房自有率是60%；瑞士是31%,紧随其后的是瑞典和德国；住房自有率最高是亚美尼亚,在1998年时高达96.3%。住房自有率水平高的国家,几乎都是经济水平发展比较低的转轨国家,而住房自有率低的国家则大多为经济发达的国家。发达国家人口流动性强,为了减少住房买卖的麻烦,很多人宁愿租房住而不是买房。相反,落后国家人口流动性较差,拥有自有住房的家庭,反而更可能居住在自己拥有的住房中。北京北五环环买房：120平方米——600万投资理财：：5%-10%利率（30-60万）租房：租金1万/月房子质量好好无须物业费费、维修维维护、折旧旧、可能的的房产税…住宾馆（30-60万）：未必每天都都住；弹性，按需需；客房服务、、卫生、餐餐饮；拎包入住。。云计算之PaaS、SaaS。点击添加文文本点击添加文文本点击添加文文本点击添加文文本云计算的基基础设施、、安全设施非非常完备。安全是把双刃剑放在云里面面的数据，，对云的管理理而言又是不不安全的。。虚拟化安全去重-压缩可靠保密绿色节能数据保护云计算的关关键技术云计算面临临的安全问问题关键技术视视角使用者视角角虚拟化技术术带来全新新安全威胁胁数据集中存存储引发的的安全问题题云服务的管管理和调度度产生的安安全问题传统安全威威胁的新特特点隐私保护和和数据安全全运行环境的的安全内容安全云计算的安安全问题重设施，轻应用；行业、地域特色要求云计算发展模式的差异化；花钱买服务和服务意识有待加强；安全隐私是大问题，安全意识、技术和立法方面有所欠缺；云计算个性化和标准化矛盾。智慧城市带带动行业云发展展智慧城市需需要数据融合智慧城市要求物联