大数据行业发展与基本概念-V

大数据基本概念与行业发展大数据的起源12数据发展简史3国内行业发展基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功；布拉德•皮特主演的《点球成金》是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。电影《点球成金》仅供开采162年仅供开采45年仅供开采60年2013年，10分钟的信息总量将达1.8ZB2010年全球数据总量1.2ZB，年增长50%数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。不可再生资源VS数据2020年全球数据总量将达到40ZB数据爆炸式增长（每分钟……）Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单12306出票1840+张传统处理方式所无法解决的挑战12345挑战数据体量越来越大非结构半结构混杂处理速度要求越来越快数据应用模式创新更丰富的视觉元素需要性价比更高的储存方式数据库数据仓库85%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

需要不同的数据管理策略当我们想要扩充时，才发觉：架构只能scale-up，scale-out不易处理时间过长，time-to-value受限成本过高，cost-efficiency受限15%结构化的DB/DW遗憾残缺需要更高效的计算方式规模时间传统大数据什么是大数据？维基百科：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”容量Volume多样Variety价值Value速度Velocity数据体量量巨大。。从TB级别，跃跃升到PB级以上。数据类型型繁多。。日志、、视频、、图片、、GIS等。秒级定律。。一般要要求在秒秒级内给给出分析析结果。。利用低价价值密度度数据，，可以带带来高价价值回报报。大数据的的“4V”特征更多的““V”可变性Variability真实性Veracity可视化Visualization数据的含含义总是是在快速变变化的。要考虑虑具体的的上下文文。确保数据的真真实性，，才能保保证数据据分析的的正确性性。只有正确确的可视视化，原原始数据据才可被被投入使使用。大数据的的起源12数据发展展简史3国内行业业发展数据概述述在人类发发展历程程中，数数据表现现方式分分为两类类：模拟数据据（声音音，文件件，图像像，视频频）数字数据据（文字字，符号号）自从计算算机发明明以来，，数据在在计算机机中都是是以二进进制0和1的形式进进行保存存。鉴于对数数据的分分类管理理需要，，随之而而来各种种各种的的数据管管理软件件应运而而生。数据仓库NoSQLNewSQL关系型数据库集群化大数据数据发展展的五个个阶段第一阶段段关系系型数据据库第二阶段数数据仓库库DW-DataWarehouse面向主题题数据是按按照一定定的主题题域进行行组织，，一个主主题通常常与多个个操作型型信息系系统相关。集成的必须保证数数据仓库内内的信息是是关于整个个企业的一一致的全局局信息。相对稳定某个数据进进入数据仓仓库之后，，一般情况况下将被长长期保留，，修改和删删除操作很少。反映历史变变化仓库中的数据通通常包含历历史信息，，反映过去去某一时点点到目前的的各个阶段段的信息。用于支持管理决策ETLBI第三阶段NoSQL、NewSQL事务分析互联网OldSQL大数据时代架构多元化化NewSQL分析OldSQL事务NoSQL互联网键值存储数据库库NoSQL互联网列式存储数据库库文档存储数数据库图像存储数数据库文件存储数数据库消息队列系系统NewSQL分析第四阶段集集群化高可用通常采用Master-Slave或者P2P模式，保障障数据的灾灾备。分片将大规模数数据按照一一定规则拆拆分，不同同的分片存存储在不同同的结点。。复制数据通常会会在集群的的多个结点点中留存多多个数据副副本，以保保证可靠。。混合应用不同的业务场景景，会混合使使用多种不不同的数据存储系统。。服务器1分片处理前前分片处理后后片服务器1片服务器2片服务器3服务器1复制前复制后服务器1服务器2服务器3主从复制or对等等复复制制第五五阶阶段段大大数数据据让大大象象跳跳舞舞Hadoop2.0生态态流式式计计算算框框架架搜索索引引擎擎框框架架某政政务务大大数数据据项项目目架构构大数数据据的的起起源源12数据据发发展展简简史史3国内内行行业业发发展展大数数据据是是如如何何成成为为网网红红的的？？2005年2008年2011年2015年2016年2012年2014年第一一款款商商用用Hadoop项目目诞诞生生在美美国国发发表表第第一一个关于于大大数据据的的白皮皮书书国家家工信信部部发布布物联网网十十二二五五规规划划成为为世界界经经济济论坛重重要要主主题题之之一一在我国国政政府府报报告告中大数据据首首次次出出现现国务务院院印印发发《促进进大大数据据发发展展行行动动纲纲要要》大数据据““十十三三五五””规规划划出出台台我国国大大数数据据的的发发展展阶阶段段时间探索起起步期期快速推推进器器规模发发展期期产业消消化期期应用成成熟期期市场认认可度度1）大数数据产产业在在中国国出现现，并并逐步步受到到关注注，互互联网网企业业率先先将应应用落落地2）2015年我国国提出出《大数据据发展展行动动纲要要》大力支支持大大数据据产业业发展展，并并于2016年提升升为国国家战战略3）大数数据概概念广广泛普普及，，企业业用户户不断断提升升，资资本市市场高高度关关注，，大数数据企企业规规模化化发展展4）大数数据市市场相相对成成熟，，市场场热度度逐渐渐消化化，大大数据据企业业整合合5）行业业标准准建立立、监监管规规范完完善，，被广广泛应应用，，行业业将趋趋于稳稳定发发展我国大数据据产业业市场场规模模2017年我国国大数数据市市场规规模已已达358亿元，，年增增速达达到47.3%。预计2020年，我国大大数据市场场规模将达达到731亿元。我国大数据据主要应用用领域市场吸引力力应用成熟度度教育物流电信交通医疗政府公共服服务金融电子商务我国大数据据区域分布布京津冀地区区依托北京京，培育了一大批大大数据企业业，是目前前我国大数数据企业集集聚最多的的地方。珠三角地区区依托广州州和深圳两两个国家超超级计算中中心的集聚聚作用，在在腾讯、华华为、中兴兴等一批骨骨干企业的的带动下，，逐渐形成成了大数据据集聚发展展的趋势。长三角地区区依托上海海、杭州、、南京，吸引了大批大数数据企业，上海发布《上海推进大大数据研究究与发展三三年行动计计划》，推动大数数据在城市市管理和民民生服务领领域应用。。大西南地区区以贵州、、重庆为代代表城市，，通过积极极吸引国内内外龙头骨骨干企业，，实现大数数据产业在在当地的快快速发展。基础资源/云平台数据存储数据采集数据处理数据分析展示应用管理工工具实时接接入、、海量量堆积积多种结结构、、海量量存储储离线统统计、、实时时计算算数据仓仓库、、机器器学习习图形、、报表表等工工具库高可用用、高高性能能集群群数据安安全大数据据的一一般利利用过过程（（生命命周期期）大数据据产业业链及及细分分领域域数据采采集基础软软件硬件应用软件信息服服务数据存存储数据处处理数据分分析展示应应用●采集集设设备备●存储储设设备备