“云计算与海量数据处理技术”公开课

“云计算与海量数据处理技术”公开课“云计算与海量数据处理技术”公开课

中国科学院计算技术讨论所是国家特地的计算技术讨论机构，同时也是中国信息化建设的重要支撑单位，中科院计算所培训中心是致力于高端IT类人才培育及企业内训的专业培训机构。中心凭借科学院的强大师资力气，在总结多年大型软件开发和组织阅历的基础上，自主研发出一整套课程体系，其目的是盼望能够切实关心中国软件企业培育高级软件技术人才，提升整体研发力量，迄今为止已先后为国家培育了数万名计算机专业人员，并先后为数千家大型国内外企业进行过特地的定制培训服务。

云计算供应了一种对资源“按需索取服务”的力量，确保了使用时间与需要时间的完全全都，从而建立了一种分布式、高效率、低成本的IT商业模式。正是这些特点，使云计算成为IT进展的潮流与趋势。为解决广阔系统设计人员深化讨论与开发云计算系统的需要，培训中心特举办“云计算与海量数据处理技术”培训班，详细事宜通知如下：

一、培训对象

1，系统架构师、系统分析师、高级程序员、资深开发人员。

2，牵涉到海量数据处理的机构数据中心运行、规划、设计负责人。

3，云服务运营服务供应商规划负责人。

4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

二、学员基础

1，对IT系统设计有肯定的理论与实践阅历。

2，数据仓库与大数据处理有肯定的基础学问。

三、师资

由业界知名云计算专家亲自授课：

杨老师主要讨论网络信息分析以及云计算相关技术，长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的讨论开发工作，主持和参加了多个国家和省部级基金项目，具有丰富的工程实践及软件研发阅历。

李老师国内知名企业云平台技术负责人，中国云亲身实践者。

四、培训要点

今日，随着IT规模越来越大，数据规模呈几何级数增长，已经超出了传统技术方法所能解决的范畴。为此，人们把目光转向了刚刚兴起的云计算，盼望通过云计算来实施海量数据处理解决方案，实现以更小的成原来处理更大规模数据的目标，并成为目前云计算应用所面对的极大挑战。本课程基本思想如下：

1，目前，“云计算”已经不是一个刚刚流行的时髦概念了，在一些传统IT方法显得无能为力的场合，云计算正在开头大展拳脚，表现了强大的解决问题的力量，海量数据存储与处理正是属于这种场合。我们如何在云计算分布式环境下正确设计大数据量数据模型？如何在设计中解决资源、效率、平安性、牢靠性等一系列极难平衡的问题？如何通过云计算关心我们解决在传统IT技术中看似解决不了的敏感问题？这些都是我们在云计算架构设计中需要深化讨论的键问题。

2，理解问题最好的方法是分析胜利案例，本课程分别从多个角度分析在面对海量数据处理的困难时，不同的应用体系是如何解决问题并获得胜利的。讨论这些已有的体系不是目的，而是盼望学员能够通过学习这些解决问题的方法和思路，通过归纳整理深化理解，再依据自己所面对的领域特征，形成解决详细实际问题的方案。这也是让云计算在海量数据处理领域真正发挥作用的有效途径。

3，云计算是一种服务，在云计算应用架构设计中，就必需考虑作为服务与一般的产品设计有哪些不同？需要考虑的产品的服务特征有哪些？如何搭建面对不同层次、合适的服务平台？在这个过程中，我们需要考虑哪些问题？有哪些胜利的案例？有些什么解决方案？

4，云计算应用最重要的问题是平安问题。平安不是一个后期需要解决的独立问题，而是在前期就需要投入巨大精力来考虑的产品策略。可以说，平安性与可用性是云计算能否顺当实施与应用的关键点，也是云计算架构设计的关键因素。我们应当如何考虑平安问题？如何解决诸如数据平安、网络平安、主机平安、数据管理以及灾难恢复等一系列问题？如何制定合适的平安性与可用性策略？在实践中有什么阅历和教训？

5，为了把传统数据中心改造为基于云计算的服务系统，虚拟化是一个重要手段。我们必需深化讨论虚拟化技术是如何实现的。虚拟化技术有哪几个层面的问题？如何正确应用虚拟化技术来实现把基础设施向服务转型？各种虚拟化技术有些什么优点？有哪些陷阱？如何规划技术解决方案？如何正确进行云计算体系结构设计？

本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题争论解决方案的深化课程。老师对于上述领域有深化的理论讨论与实践阅历，在课程中将会针对这些问题与学员一起进行讨论，在关键点上还会搭建试验环境进行实践讨论，以加深对于这些解决方案的理解。通过本课程学习，盼望推动国内云计算项目开发上升到一个新水平。

五、培训内容

第一讲云计算的概念与现状

1）云计算的概念

2）云计算进展现状

3）云计算实现机制

4）云计算的进展环境

5）云计算的优势

其次讲从Google云计算体系，理解海量数据处理的方法1）如何构建海量存储文件系统？

GFS系统架构

GFS容错机制

GFS系统管理技术

MapReduce产生背景

MapReduce编程模型

MapReduce实现机制

MapReduce案例分析

2）如何供应锁服务解决分布式数据全都性问题？

Chubby的设计思路

Chubby中的Paxos算法

Chubby文件系统

3）如何建立规模浩大的高性能表结构？

BigTable设计目标

BigTable系统架构

BigTable服务器

BigTable性能优化

4）如何建立高可用性和高可扩展性的数据系统？

Megastore设计目标

Megastore数据模型

Megastore事务及并发掌握

Megastore基本架构

Dapper监控系统

Dapper关键性技术

Dapper工具

第三讲从Hadoop云计算项目，进一步讨论云数据处理方法1）HDFS：高牢靠性处理机制及应用

Hadoop项目简介

HDFS体系结构

HDFS关键运行机制

HadoopvsGoogle

HadoopAPI

Hadoop环境搭建

2）HBASE：浩大、极其稀疏的可扩展性数据模型Hbase简介

HBase的运行机制

HBase与HDFS

HBase的对外接口

ZooKeeper的数据模型

ZooKeeper的读写机制

ZooKeeper的使用方法

第四讲从WindowsAzure，理解平台即服务的本质

1）微软云计算平台

2）微软云操作系统WindowsAzure

3）微软云关系数据库SQLAzure

4）AzureAppFabric

5）AzureMarketplace

第五讲从Amazon云计算，争论如何供应云服务1）Dynamo基础存储架构

2）弹性计算云EC2

3）简洁存储服务S3

4）简洁队列服务SQS

5）简洁数据库服务SimpleDB

6）关系数据库服务RDS

7）内容推送服务CloudFront

第六讲实施云计算的关键点：平安策略

1）云计算平安是一个必需前期重视的策略

2）云计算的特征与平安挑战

3）云计算的平安体系与关键技术

4）基础架构云平安框架

5）云计算平安平台

第七讲当前数据中心如何向云计算环境转变？1）VMware云产品

2）云管理平台vCenter

3）vCloudServiceDirector

4）VMware的网络和存储虚拟化

5）主流商业云计算解决方案比较

6）主流开源云计算系统比较

7）国内代表性云计算平台比较

第八讲基础设施即服务（IaaS）关键实现技术

1）IaaS技术体系概述

2）服务器虚拟化技术

CPU虚拟化

内存虚拟化

I/O虚拟化

3）存储虚拟化技术

存储系统概述

存储设备层的存储虚拟化

块聚合层的存储虚拟化

文件/记录层的存储虚拟化

4）主机网络虚拟化

第九讲软件即服务（SaaS）关键实现技术1）SaaS技术概述

2）呈现层技术综述

3）调度层技术

基于DNS的调度

基于虚拟IP的调度

基于链路聚合的调度

基于应用的调度

调度策略

4）业务层

5）数据层

6）用户管理和配置管理

7）用户体验的设计