大数据定义和特征

大数据2018BigData

一.认识大数据时代

二.大数据的定义三.大数据4V特性

大数据时代2一.认识大数据时代7：00，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款大数据的APP，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。9：00，今天你要带朋友到购物公园逛逛，你打开某互联网公司的大数据产品“XX预测”，看看步行街今天预计会有多少人，再看看今天的交通预测。“XX预测”根据以往用户定位请求信息建议你前往步行街。假如给你一天大数据的生活12：00，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近的餐馆。通过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛克，你不用担心个人信息泄露。2XXX年的一个周末3一.认识大数据时代14:00,吃过午饭，你想去附近的公园玩玩，但你不知道应该去十六潭公园还是去潜山森林公园。你又打开“XX预测”，希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了十六潭公园。16：00，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记录。但过去运营商只能让你查到六个月以内的消费信息。因为中国移动至少有5亿用户，每天至少能产生10次计费记录。每天50亿的计费记录，一年下来就是1800亿条记录。这是一个大数据的存储和归纳技术难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。22：00，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇……18：00，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一天内吸入了多少雾霾。4一.认识大数据时代《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。亚马逊前任首席科学家AndreasWeigend说：“数据是新的石油。”哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”5一.认识大数据时代随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的力量。因此2013年被许多国外媒体和专家称为“大数据元年”。当今“大社会”，三分技术，七分数据，得数据者得天下。6一.认识大数据时代什么是“大数据”？大数据很抽象，表示数据规模的庞大。大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产、无线网络革命称为引领未来繁荣发展的重大技术变革。“大”“数据”7一.认识大数据时代全球流量累计达到1EB（即10亿GB）的时间一年（2001）一个月（2004）一周（2007）一天（2013）一天产生的信息量可刻满1.88亿张DVD光盘全球网民平均每月使用流量：1M（1998）10M（2000）100M（2003）1G（2008）10G（2014）大数据有多“大”？根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）人类在最近两年产生的数据量相当于之前产生的全部数据量预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍8数据产生方式的变革促成大数据时代的来临图1-5数据产生方式的变革运营式系统阶段第一阶段运营式系统阶段实例－超市购物，在数据库系统中生成购物信息第二阶段

用户原创内容阶段

12一.认识大数据时代智能终端的普及电子商务、社交网络、电子地图等的全面应用大数据的产生：第三阶段感知式系统阶段万物互联网的的时代已经来临物联网底层是感知层，如RFID、摄像头、传感器一.认识大数据时代维基百科给出的定义：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。“3V”定义规模性（Volume）多样性（Variety）高速性（Velocity）“4V”定义价值性（Value）真实性（Veracity）（IDC）（IBM）18 1.数据量大根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）人类在最近两年产生的数据量相当于之前产生的全部数据量预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍2数据类型繁多大数据是由结构化和非结构化数据组成的10%的结构化数据，存储在数据库中90%的非结构化数据，它们与人类信息密切相关科学研究–基因组–LHC加速器–地球与空间探测企业应用–Email、文档、文件–应用日志–交易记录Web1.0数据–文本–图像–视频Web2.0数据–查询日志/点击流–Twitter/Blog/SNS–Wiki3 处理速度快从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同4 价值密度低

价值密度低，商业价值高

以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值大数据的应用大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据