大数据行业发展与基本概念

大数据基本概念与行业发展大数据的起源12数据发展简史3国内行业发展基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功；布拉德•皮特主演的《点球成金》是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。电影《点球成金》仅供开采162年仅供开采45年仅供开采60年2013年，10分钟的信息总量将达1.8ZB2010年全球数据总量1.2ZB，年增长50%数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。不可再生资源VS数据2020年全球数据总量将达到40ZB数据爆炸式增长（每分钟……）Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单12306出票1840+张传统处理方式所无法解决的挑战12345挑战数据体量越来越大非结构半结构混杂处理速度要求越来越快数据应用模式创新更丰富的视觉元素需要性价比更高的储存方式数据库数据仓库85%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

需要不同的数据管理策略当我们想要扩充时，才发觉：架构只能scale-up，scale-out不易处理时间过长，time-to-value受限成本过高，cost-efficiency受限15%结构化的DB/DW遗憾残缺需要更高效的计算方式规模时间传统大数据什么是大数据？维基百科：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”容量量Volume多样样Variety价值值Value速度度Velocity数据据体体量量巨巨大大。。从从TB级别别，，跃跃升升到到PB级以上上。。数据据类类型型繁繁多多。。日日志志、、视视频频、、图图片片、、GIS等。。秒级定定律律。。一一般般要要求求在在秒秒级级内内给给出出分分析析结结果果。。利用用低低价价值值密密度度数数据据，，可可以以带带来来高高价价值值回回报报。。大数数据据的的““4V”特征更多的的“V”可变性性Variability真实性Veracity可视化Visualization数据的含义义总是在快速变化化的。要考虑具具体的上下下文。确保数据的真实实性，才能能保证数据据分析的正正确性。只有正确的的可视化，，原始数据据才可被投投入使用。。大数据的起起源12数据发展简简史3国内行业发发展数据概述在人类发展展历程中，，数据表现现方式分为为两类：模拟数据（（声音，文文件，图像像，视频））数字数据（（文字，符符号）自从计算机机发明以来来，数据在在计算机中中都是以二二进制0和1的形式进行行保存。鉴于对数据据的分类管管理需要，，随之而来来各种各种种的数据管管理软件应应运而生。。数据仓库NoSQLNewSQL关系型数据库集群化大数据数据发展的的五个阶段段第一阶段关关系型数数据库第二阶段数据据仓库DW-DataWarehouse面向主题数据是按照照一定的主主题域进行行组织，一一个主题通通常与多个个操作型信信息系统相关。集成的必须保证数数据仓库内内的信息是是关于整个个企业的一一致的全局局信息。相对稳定某个数据进进入数据仓仓库之后，，一般情况况下将被长长期保留，，修改和删删除操作很少。反映历史变变化仓库中的数据通通常包含历历史信息，，反映过去去某一时点点到目前的的各个阶段段的信息。用于支持管理决策ETLBI第三阶段NoSQL、NewSQL事务分析互联网OldSQL大数据时代架构多元化化NewSQL分析OldSQL事务NoSQL互联网键值存储数据库库NoSQL互联网列式存储数据库库文档存储数数据库图像存储数数据库文件存储数数据库消息队列系系统NewSQL分析第四阶段集集群化高可用通常采用Master-Slave或者P2P模式，保障障数据的灾灾备。分片将大规模数数据按照一一定规则拆拆分，不同同的分片存存储在不同同的结点。。复制数据通常会会在集群的的多个结点点中留存多多个数据副副本，以保保证可靠。。混合应用不同的业务场景景，会混合使使用多种不不同的数据存储系统。。服务器1分片处理前前分片处处理后后片服务务器1片服务务器2片服务务器3服务器器1复制前复制后服务器器1服务器器2服务器器3主从复复制or对等复复制第五阶阶段大大数数据让大象象跳舞舞Hadoop2.0生态流式计计算框框架搜索引引擎框框架某政务务大数数据项项目架构大数据据的起起源12数据发发展简简史3国内行行业发发展大数据据是如如何成成为网网红的的？2005年2008年2011年2015年2016年2012年2014年第一款款商用用Hadoop项目诞诞生在美国国发表表第一一个关于大大数据的的白皮书书国家工信部部发布物联网十十二五五规划划成为世界经经济论坛重要要主题题之一一在我国政政府报报告中大数据首首次出出现国务院院印发发《促进大大数据发发展行行动纲纲要》大数据““十三三五””规划划出台台我国大大数据据的发发展阶阶段时间探索起起步期期快速推推进器器规模发发展期期产业消消化期期应用成成熟期期市场认认可度度1）大数数据产产业在在中国国出现现，并并逐步步受到到关注注，互互联网网企业业率先先将应应用落落地2）2015年我国国提出出《大数据据发展展行动动纲要要》大力支支持大大数据据产业业发展展，并并于2016年提升升为国国家战战略3）大数数据概概念广广泛普普及，，企业业用户户不断断提升升，资资本市市场高高度关关注，，大数数据企企业规规模化化发展展4）大数数据市市场相相对成成熟，，市场场热度度逐渐渐消化化，大大数据据企业业整合合5）行业业标准准建立立、监监管规规范完完善，，被广广泛应应用，，行业业将趋趋于稳稳定发发展我国大数据产业市市场规模2017年我国大数据据市场规模已已达358亿元，年增速速达到47.3%。预计2020年，我国大数数据市场规模模将达到731亿元。我国大数据主主要应用领域域市场吸引力应用成熟度教育物流电信交通医疗政府公共服务务金融电子商务我国大数据区区域分布京津冀地区依依托北京，培育了一大批大数数据企业，是是目前我国大大数据企业集集聚最多的地方。珠三角地区依依托广州和深深圳两个国家家超级计算中中心的集聚作作用，在腾讯讯、华为、中中兴等一批骨骨干企业的带带动下，逐渐渐形成了大数数据集聚发展展的趋势。长三角地区依依托上海、杭杭州、南京，吸引了大批大数据据企业，上海发布《上海推进大数数据研究与发发展三年行动动计划》，推动大数据据在城市管理理和民生服务务领域应用。。大西南地区以以贵州、重庆庆为代表城市市，通过积极极吸引国内外外龙头骨干企企业，实现大大数据产业在在当地的快速速发展。基础资源/云平台数据存储数据采集数据处理数据分析展示应用管理工具实时接入、海海量堆积多种结构、海海量存储离线统计、实实时计算数据仓库、机机器学习图形、报表等等工具库高