大学计算机-计算思维视角 课件 5.6 大数据的概念及影响

大数据的概念及影响数据库与大数据章名：节名：大数据的概念大数据的影响12大数据的特性？大数据的概念4V大量化VOLUME快速化VELOCITY多样化VARIETY价值密度低VALUE大数据的概念数据量大(大量化)根据国际机构IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍。（大数据摩尔定律）人类在最近两年产生的数据量相当于之前产生的全部数据量。预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。1ZB≈103EB≈106PB≈109TB大数据的概念2.数据类型多样化大数据的数据类型繁多，由结构化和非结构化

数据组成的。10%的结构化数据，存储在关系数据库中有规律

的数据。90%的非结构化数据，它们与人类信息密切相关。大数据的概念2.数据类型多样化企业应用Email文档、文件应用日志交易记录Web2.0数据查询日志/点击流Twitter(推特)Blog(博客)SNS(社交网络服务)Wiki(超文本系统)科学研究基因组LHC(粒子)加速器地球与空间探测Web1.0数据文本、图像、视频3.处理速度非常快大数据的概念秒级服务以前：把大量数据拿出来进行分析，后拿出

一个报告，服务企业决策。现在：企业级应用都需要秒级决策。从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少。1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同。大数据概念实例：谷歌公司开发一款Dremel产品，做交互式查询。这样一个

产品可达到一个什么样的查询实时程度呢？结论：把成百上千台服务器同时调动起来做集群运算，1秒钟左右

可实现1PB数据量的交互式查询。4.价值密度低大数据的概念1、社会发展方面2、就业市场方面3、人才培养方面4、科学研究方面5、思维方式方面大数据的影响1、社会发展方面大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现。2、就业市场方面大数据的兴起使得数据科学家成为热门职业。大数据的影响3、人才培养方面大数据的兴起，将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。4、科学研究方面大数据的影响JimGray博士数据库专家图灵奖获得者(提出了事务理论)4、科学研究方面大数据的影响大数据的到来使科学研究出现了第四种范式。实验(伽利略比萨斜塔)理论(牛顿第三定律)计算(计算时代，1940年后)数据(以大数据为驱动全新的科学研究时代，2010年后)大数据的影响大数据的影响维克托·迈尔-舍恩伯格(著)在思维方式方面，大数据完全颠覆了传统的思维方式：全样而非抽样效率而非精确相关而非因果5、思维方式方面全面而非抽样大数据的影响数据太多，无法存储、计算和分析，统计学采用抽样。大数据时代足够的空间进行存储利用众多CPU的服务器集群进行计算全样数据分析效率而非精确大数据的影响全面而非抽样抽样分析的结果：注重精确度，否则，数据放大到全样误差会放大。大数据分析的结果：使用的是全部数据，精确度是固定的，不会放大。数据分析的时效性非常重要，数据在瞬间就要得出结果，否则价值将会消失。效率比精确度更重要相关而非因果大数据的影响效率而非精确全面而非抽样