大数据技术概述

大数据技术概述数据世界的本质是数据！

－－维克托·迈尔-舍恩伯格维克托·迈尔-舍恩伯格维克托·迈尔-舍恩伯格是十余年潜心研究数据科学的技术权威，是最早洞见大数据时代发展趋势的数据科学家之一，也是最受人尊敬的权威发言人之一。文本图像声音视频动画……数据我们周围到底有多少数据？增长的速度有多快？我国网民数量居世界之首，每天产生的数据量也位于世界前列。单日数据产生量超过5万GB存储量4000万GB淘宝网站目前数据总量10亿GB存储网页1万亿页每天大约要处理60亿次搜索请求百度公司身边的数据我们周围到底有多少数据？增长的速度有多快？我国网民数量居世界之首，每天产生的数据量也位于世界前列。一个小时能产生3.6GB的数据一个城市每月产生的数据达上千万GB一个8Mbps的摄像头一个病人的CT影像数据量达几十GB全国每年需保存的数据达上百亿GB医院身边的数据身边的数据全球：35ZB（2020）百度：74PB、8PB阿里：60PB，7.2PB腾讯：100PB，4PB需永久存储的数据量每天高峰处理的数据量数据单位单位等价关系1Byte8bit1KB1024Byte1MB1024KB1GB1024MB1TB1024GB1PB1024TB单位等价关系1EB1024PB1ZB1024EB1YB1024ZB1BB1024YB1NB1024BB1DB1024NB目前的大数据应用，数据量主要集中在PB/EB/ZB级别大数据据IDC发布《数据时代2025》的报告显示，全球每年产生的数据将从2018年的33ZB增长到175ZB，相当于每天产生491EB的数据。175ZB的数据到底有多大呢？1ZB相当于1.1万亿GB。如果把175ZB全部存在DVD光盘中，那么DVD叠加起来的高度将是地球和月球距离的23倍（月地最近距离约39.3万公里），或者绕地球222圈（一圈约为四万公里）。如果平均网速为25Mb/秒，一个人要下载完这175ZB的数据，需要18亿年。大数据大数据或称海量数据，是指涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理并处理成为帮助用户经营决策更积极目的的信息。大数据是一个体量和数据类别特别大的数据集，无法用传统数据库工具对其内容进行抓取、管理和处理。大数据本质上和传统的数据本无差异，他们大多是结构化、半结构化或者非结构化的数据。只是因为他们的数量级增长太快，我们需要用全新的方式来计算这些数据。大数据大数据（bigdata）,是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，因此需要新的处理模式，该处理模式就是大数据.单机计算模式和传统的数据分析算法①采用集群的方法来获取强大的数据分析能力；②研究面向大数据的新的数据分析算法大数据的特点大数据1.Volume2.

Variety3.Varacity4.Velocity结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求沙里淘金，价值密度低以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命数据量巨大全球在2010年正式进入ZB时代，IDC预计到2020年，全球将总共拥有35ZB的数据量大数据解决什么问题？大数据云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。大数据着眼于数据，云计算着眼于计算，数据是计算的对象。大数据的总体架构包括三层：数据存储，数据处理和数据分析。分布式数据挖掘分布式处理分布式数据库云存储虚拟化如：Mahout如：MapReduc