大数据原理和构成(35p)课件

1、大数据尹航201410月成都BigData第1页，共36页。大数据什么是大数据大数据原理和构成大数据应用大数据价值Big Data目录第2页，共36页。什么是大数据第3页，共36页。Big Data什么是大数据HadoopIBM英特尔HP数据商业智能数据库服务器SAP HANANoSQLSQLHDFS预测数据流运算节点机器学习并行计算磁盘阵列甲骨文AMD内存计算GoogleMap reduce 可视化GbPbTbZb第4页，共36页。Big Data什么是大数据由多个软件、硬件部分组成的一个数据系统一个执行体系有别于传统企业数据中心，用来应对现代海量数据化的生活，商业环境。不是一个行业，而是一

2、种新的数据处理方法是关于数据的运输和处理，以及最后有效使用的体系与云计算一样 都是一种新的生产组织形式Web 2.0时代的解决方案大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯第5页，共36页。Big Data什么是大数据大数据的目的原始数据的处理和分类存储将存储的数据调取并分析最终提供决策依据 归类数据类型有效分析组合大数据的特点4V海量高速多样精确第6页，共36页。Big Data什么是大数据1 KB = 1024字节存储单位1 MB = 1024 KB1 GB

3、= 1024MB1 TB = 1024GB 1 PB = 1024TB = 1,048,576 GB1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB100万 G10亿 G1万亿 G22亿台215万台2100台500G硬盘电脑15寸电脑排成行可以往返一次月球第7页，共36页。Big Data什么是大数据Volume 海量1 PB = 1024TB = 1,048,576 GB1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776

4、GBIntel：人类文明开始到2003年 地球共产生了5EB数据.2012年全年，全球产生数据2.7ZB 是 2003年以前的500倍2015年，全球估计产生数据8ZB，等于1800万个美国国会图书馆44%35 ZB2000年 数字信息占全球数据量的25% 75%都在报纸 胶片 磁带等媒介2013年 数字信息 98% 非数字信息 2%第8页，共36页。Big Data什么是大数据商业数据现状Twitter2007年 5000条微博更新/天2008年 30万条微博更新/天2009年 250万条微博更新/天2010年 3500万条微博更新/天2011年 2亿条微博更新/天2013年 4亿条微博更新

5、/天2013年 上传时长12年的视频/天2013年 用户分享25亿条信息/天我国一个一线城市的健康档案数据 5PB/年我国一个智慧城市的数据 800 PB/年 一个单数据表几亿-几百亿条记录下线商品14亿件，在线商品8亿件淘宝数据库存了20PB数据平均每月增加1.5PB智能移动终端设备的巨量增长第9页，共36页。Big Data什么是大数据Velocity 高速6000万用户登录/天20亿次 页面访问/天每天1.2亿次网站访问 响应时间小于100毫秒大数据的惊人不止是在数量上，同时数据还是巨量具有动态分析价值的数据。访问响应时间的加快，数据库读写速度的加快，对电商企业来说就等于多成交。对于很多

6、情况下，动态的数据价值远大于静态数据，比如气象预测，灾难预测，快消行业等。由于输入速度加快，所以要求输出速度也要加快第10页，共36页。Big Data什么是大数据Variety 多样数据：结构化数据半结构化数据非结构化数据指关系型数据表指关系结构与内容混合在一起的数据类型文档、视频、音频、图片20% 结构化 80非结构化企业数据2012年互联网产生的数据25% 结构化 75非结构化50%-70%源于人与人的互动第11页，共36页。Big Data什么是大数据Veracity 准确大数据的核心思想之一准确源自于对全部数据的处理分析基础数据的真实准确性，才能保证结果的有效性。第12页，共36页。

7、Big Data什么是大数据大数据 VS 云计算两者都是生产方式改变为主，生产资料改变为辅，提高生产效率。云计算是将计算和存储，由本地转移到了云端。大数据则是提供了一套新的计算和存储工作原理。二者有本质的不同，但却是一个完整的体系。大数据可以是云计算的心脏，云计算是大数据服务的通路。第13页，共36页。Big Data什么是大数据大数据 VS 物联网物联网是大数据的流程中的第一层采集层物联网网关以上就进入了大数据工作范畴。局部域内的物联网应用解决方案等同于这个域内的大数据系统第14页，共36页。大数据原理和构成第15页，共36页。大数据的核心工作思路大数据系统颠覆了传统数据中心的工作逻辑传统数

8、据系统工作逻辑：运算系统调动数据库的数据，数据的移动。大数据系统工作逻辑：运算系统直接部署至数据处，数据仅架构内移动。Big Data大数据原理和构成第16页，共36页。Big Data大数据原理和构成传统数据系统工作原理客户客户客户客户客户客户互联网路由器访问请求负载均衡服务器集群DBDBDBDB数据库集群数据调用请求数据移动结果反馈第17页，共36页。Big Data大数据原理和构成Hadoop 软件框架大数据系统核心组件 MapreduceHBaseHDFSHadoop核心子项目第18页，共36页。Big Data大数据原理和构成Hadoop系统工作原理第19页，共36页。Big Dat

9、a大数据原理和构成Hadoop系统构架第20页，共36页。Big Data大数据原理和构成存储与数据库的比较传统数据中心HadoopJOBD RAID存储系统HDFS容错性扩展性某已分配任务出错，该计算必须重新执行节点灵活调整节点相对固定，扩展时会造成无法访问在任务执行中任何时候可任意添加节点SQLNoSQL数据类型平行计算系统Map Reduce RAID出现坏盘后，重建阵列需要十多个小时，这在大数据时代是无法接受的第21页，共36页。Big Data大数据原理和构成SAP HANAHadoop 的升级内存计算技术 真正的海量数据瞬间分析内存数据库 实现任何地点、任何时候、可以查看实时的动态

10、数据，任何时候都可以知道正在发生着什么。并且做出应对。利用高性能的大数据一体机服务器，将数据库直接植入大容量内存中进行实时处理。Hadoop Mapreduce HDFSHBase第22页，共36页。Big Data大数据原理和构成大数据的硬件32颗处理器、每颗处理器12核 = 384核 X 96个线程32TB的内存 很多中型企业的数据库也只不过几TB.可以完美运行内存计算数据库大数据一体机服务器+存储+网络 = 融合基础架构SeaMicro SM1500064颗处理器、每颗处理器8核 = 512核心4TB的内存 5PB本地存储10U的空间万兆以太网System x3650 M4机架式 2U2

11、颗处理器 8核心内存最大 768GB本地存储9TB2.6万换算成10U的空间80核心 第23页，共36页。大数据的软件数据存储管理数据处理数据分析Hadoop 数据库软件 Big Data大数据原理和构成提取 转换 归类可视化 BI商业智能大数据的核心价值高附加值阶段第24页，共36页。大数据应用第25页，共36页。Big Data大数据应用大数据应用的意义巨量数据的产生对所有复杂数据格式的归类管理分析20%结构化数据的分析利用 80%非结构化的没有发挥作用，商业洞察力的资源浪费。找出最优解决方案应用的核心大数据分析第26页，共36页。Big Data大数据应用数据质量和数据管理可视化分析语义

12、引擎数据挖掘算法预测性分析能力大数据应用的分析方法高质量的数据处理和管理是输出高质量结果的前提深入数据内部，用机器去做人工做不到的数据价值发现从非结构化数据中提取信息的方式展示数据分析结果，供使用者决策根据可视化和数据挖掘的结果做出预测第27页，共36页。Big Data大数据应用大数据应用的分析逻辑DescriptivePredictivePrescriptive发生了什么？为什么?还会发生什么?还会发生什么？，如果发生了，如何应对？第28页，共36页。Big Data大数据应用大数据应用的假想一给某总办公室、汽车、家里装上烟感。发现某总在办公室的抽烟数量最大，在车里和在家基本不抽。那么就可

13、以知道，某总在工作期间香烟以及与香烟有关的产品消费多。那在家期间的消费习惯又是什么，根据人的行为习惯，不抽烟但需要其他事情分散注意力。吃东西？看电视？看书？。这样就可以深入了解一个人的消费行为习惯，从而提前做出应对或者积极的主动应对。第29页，共36页。Big Data大数据应用大数据应用的假想二通过对某人淘宝购物的跟踪分析，挖掘出他的消费趋势。某男，在电子商务网站上长期买衣服，内衣等商品。 通过消费记录可以预知其单身。用百度联盟，把世纪佳缘，花田等交友网站的广告推送给他。某男开始买女士消费品了比如衣服，鞋帽等。 则说明该男找到女朋友了。通过信用卡记录可以分析出其关系进展情况。发现其买房，装修

14、了。则该男快结婚了。之后就是孕婴用品的推荐。第30页，共36页。Big Data大数据应用大数据的大应用城市智能交通智能电力照明能源管理系统智能健康医疗体系政府财政管理综合信息系统工商企业信息系统。第31页，共36页。大数据价值第32页，共36页。Big Data大数据价值大数据市场价值IDC预测 中国的大数据服务市场 2011年 7760万美元 增长到 2016年 6亿美元IDC预测 2016年全球市场规模238亿美元 31.7%服务器市场 21.1% 存储市场53.4%基础设备40%趋势增值服务软件第33页，共36页。Big Data大数据价值大数据市场价值第34页，共36页。谢谢第35页

15、，共36页。1、不是井里没有水，而是你挖的不够深。不是成功来得慢，而是你努力的不够多。2、孤单一人的时间使自己变得优秀，给来的人一个惊喜，也给自己一个好的交代。3、命运给你一个比别人低的起点是想告诉你，让你用你的一生去奋斗出一个绝地反击的故事，所以有什么理由不努力!4、心中没有过分的贪求，自然苦就少。口里不说多余的话，自然祸就少。腹内的食物能减少，自然病就少。思绪中没有过分欲，自然忧就少。大悲是无泪的，同样大悟无言。缘来尽量要惜，缘尽就放。人生本来就空，对人家笑笑，对自己笑笑，笑着看天下，看日出日落，花谢花开，岂不自在，哪里来的尘埃!5、心情就像衣服，脏了就拿去洗洗，晒晒，阳光自然就会蔓延开来

16、。阳光那么好，何必自寻烦恼，过好每一个当下，一万个美丽的未来抵不过一个温暖的现在。6、无论你正遭遇着什么，你都要从落魄中站起来重振旗鼓，要继续保持热忱，要继续保持微笑，就像从未受伤过一样。7、生命的美丽，永远展现在她的进取之中;就像大树的美丽，是展现在它负势向上高耸入云的蓬勃生机中;像雄鹰的美丽，是展现在它搏风击雨如苍天之魂的翱翔中;像江河的美丽，是展现在它波涛汹涌一泻千里的奔流中。8、有些事，不可避免地发生，阴晴圆缺皆有规律，我们只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改变它的轨迹。9、与其埋怨世界，不如改变自己。管好自己的心，做好自己的事，比什么都强。人生无完美，曲

17、折亦风景。别把失去看得过重，放弃是另一种拥有;不要经常艳羡他人，人做到了，心悟到了，相信属于你的风景就在下一个拐弯处。10、有些事想开了，你就会明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎样，最后收拾残局的还是要靠你自己。11、人生的某些障碍，你是逃不掉的。与其费尽周折绕过去，不如勇敢地攀登，或许这会铸就你人生的高点。12、有些压力总是得自己扛过去，说出来就成了充满负能量的抱怨。寻求安慰也无济于事，还徒增了别人的烦恼。13、认识到我们的所见所闻都是假象，认识到此生都是虚幻，我们才能真正认识到佛法的真相。钱多了会压死你，你承受得了吗?带，带不走，放，放不下。时时刻刻发悲心，饶益众生为他人。14、梦想总是跑在我的前面。努力追寻它们，为了那一瞬间的同步，这就是动人的生命奇迹。15、懒惰不会让你一下子跌倒，但会在不知不觉中减少你的收获;勤奋也不会让你一夜成功，但会在不知不觉中积累你的成