多大的数据量称得上大数据

多大的数据量称得上大数据?“多大的数据量才谈大数据？”——这是一个经常被问到的问题。提到大数据，就得说这个数据信息量。这里给出一个大概的结论，从应用的角度来看，当数据量大到传统技术难以处理时，就可称为“大数据”了。如传统数据库系统已不能高效地处理1PB的数据，因为仅仅向磁盘写入1PB的数据就要耗费200多天。而全人类的总资产也不到1P美元。此外，数据能否称为“大数据”，还要看数据的复杂性以及产生数据的速度等特征。也有说法，所谓的“大数据”，并不是在于它的数据量有多么大，而是通过对相对全量的、繁杂的数据进行分析，找出相关的规律，从而实现对未来的预测，或者用来改善原先的方案。详述如下：字节(Byte)是计算机信息技术用于计量存储容量和传输容量的一种计量单位，一个字节等于8位二进制数，在UTF-8编码中，一个英文字符等于一个字节。通常我们接触比较多的就是U盘，手机和电脑，这些一般到TB级别就足够用了，大部分是GB。具体如下图：位兀組旳矢方車位名字縮鬲次方kilot>yteKB10名字縮鬲次方kilot>yteKB103megabyteMB10&gigabyteGB109terabyteTB1严petabyteR81D15exabyteEBzettabyteZByottab-yteYB计(SI]名字縮舄次方kibib^eKiB^10mebib-yte-MiB220gibibyteGiB230tebibytcTiB2^0pebibyte-Pie2&DexbibyteEiB26D^ebihyteZiB2TOyob-ibyt@-YtB2^80二進竝前鑼(IEC600^7^2)表1列出一个更感观的认识：表1.从1KB到1Z：数量与举例英文中文数量财富人体信息量1K千千普通人的月收入约为5K人的肌肉数目约为0.6K一篇作文约为1KB1M兆白万富翁的年收入约为1M人的头发数目约为0.1M一张照片约为1MB1G吉十亿比尔•盖茨的资产约为70G人类DNA的碱基数目约为6G一部电影约为1GB1T太万亿中国2014年的GDP为10T美元人体内包含的细胞数目约50T淘宝每天新产生的图片约20TB1P拍千万亿--人类脑神经元的连接数约为1P百度每天处理的数据约为20PB1E艾百亿亿----全人类至今讲过的话语约为5EB1Z泽十万亿亿----2020年全球的数据总量预计达40ZB一些更为具体的例子如下：我们常听到各种表示数据大小的单位，例如网络下载速度是每秒“50KB”，手机包月流量为“100MB”，视频文件大小为“1.8GB”，移动硬盘的容量为“2TB”。1KB等于1024字节，或大约一千字节。K是一个较小的数据单位，例如一篇500字左右的作文大约有1KB的信息，而普通人的月收入一般为几K元。1MB（兆字节）等于1024KB，或大约一百万字节。从数据的角度来看，M不算一个大单位。例如，一张普通图片只有1MB左右。但如果某人的年收入超过1M元，他就是年薪百万的富人了。1GB（吉字节）等于1024MB，或大约十亿字节。即使从数据的角度，G也算一个较大的单位。例如，一个8GB的U盘可以装下2000本《天龙八部》，而比尔•盖茨的个人财产也只有几十G美元。1TB（太字节）等于1024GB,或大约一万亿字节。2014年个人移动硬盘的容量约为1TB。T是一个很大的单位，只有少数国家的GDP超过1T美元。例如中国2014年的GDP约为10T美元。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。披露的一组数据可以给大家一个初步的印象，来一起看看每天Facebook上都得处理多少数据吧：25亿Facebook上分享的内容条数27亿“赞”的数量，3亿上传照片数500+TB新产生的数据105TB每半小时通过Hive扫描的数据100+PB （1PB=1024TB）单个HDFS（分布式文件系统）集群中的磁盘容量 FB的工程总监Parikh解释了这些数据对于Facebook的意义：“大数据的意义在于真正对你的生意有内在的洞见。如果你不能好好利用自己收集到的数据，那你只是空有一堆数据而已，不叫大数据。”目前Facebook有着世界最大的分布式文件系统，单个集群中的数据存储量就超过