分布式计算介绍-个人PPT

分布式计算介绍介绍人：姚丽丽部门：能源事业开发部日期：2015年3月18日南京磐能员工培训南京磐能电力科技股份有限公司一、云计算介绍报告内容二、hadoop介绍三、SE7000-Hadoop数据处理南京磐能电力科技股份有限公司一、云计算介绍云计算是通过网络提供可伸缩的廉价的分布式计算能力1、什么是云计算南京磐能电力科技股份有限公司1）网络2）可伸缩3）廉价的4）分布式计算一、云计算介绍2、云计算的发展南京磐能电力科技股份有限公司Google首次提出“云计算”概念Google与IBM开始在大学推广云计算计划IBM在无锡建立中国的第一个云计算中心云计算无处不在一、云计算介绍3、云计算与大数据的关系南京磐能电力科技股份有限公司大数据：或称巨量数据，所涉及的资料规模巨大，无法通过现有的主流软件在合理的时间里处理。云计算技术大规模建筑群的能耗监管系统的数据具有典型的大数据特征，传统的软件平台很难快速处理！一、云计算介绍4、云计算相关工具南京磐能电力科技股份有限公司Iaas:基础设施即服务paas:平台即服务saas:软件即服务二、Hadoop介绍Hadoop是Apache软件基金协会旗下的一个开源的分布式的计算平台。1、什么是hadoop？南京磐能电力科技股份有限公司二、Hadoop介绍2、hadoop项目结构南京磐能电力科技股份有限公司CommonAvroMapReduceHDFSZookeeperPigChukwaHiveHBase二、Hadoop介绍3、HDFS南京磐能电力科技股份有限公司HDFS是hadoop的分布式文件系统1、主从结构2、双重备份3、读写操作二、Hadoop介绍3、HDFS南京磐能电力科技股份有限公司HDFS是分布式计算的存储基石Hbase数据存储于HDFSHive数据存储于HDFS二、Hadoop介绍4、MapReduce南京磐能电力科技股份有限公司MapReduce是并行化编程模式JobtrackerTasktracker二、Hadoop介绍4、MapReduce南京磐能电力科技股份有限公司HDFS资料1资料2资料3资料4资料5map1map2map3Map结果1Map结果2Map结果3本地存储reduce最终结果HDFSMaster机器分配map任务分配reduce任务分布式处理由map和reduce组成二、Hadoop介绍4、MapReduce南京磐能电力科技股份有限公司二、Hadoop介绍4、MapReduce南京磐能电力科技股份有限公司map函数reduce函数二、Hadoop介绍5、HBase南京磐能电力科技股份有限公司Hbase是一个分布式的、面向列的开源数据库行存储列存储同一张表中的每一行数据都可以有截然不同的列，每一行每一列的数据可以有多个版本时间戳列关键字行关键字二、Hadoop介绍5、HBase南京磐能电力科技股份有限公司Hbase不提供类似传统数据库SQL语言二、Hadoop介绍6、Hive南京磐能电力科技股份有限公司Hive是一个建立在hadoop之上的数据仓库1、提供类SQL的查询语言，叫做HiveQL2、只允许数据追加，不允许修改和删除3、元数据存储在数据库中，如mysql、derby等，数据存储在HDFS中主要特点4、HQL语句自动分配MapReduce任务二、Hadoop介绍7、Zookeeper南京磐能电力科技股份有限公司Zookeeper是一个为分布式应用所设计的开源协