《云平台实践》任务书

1、云平台实践实验任务书一、课程安排使学生通过48学时的课程实践过程，了解云计算虚拟化概念，大数据存储和处理以及 几种主要的云计算应用平台 oogle的云计算平台和Amazon的AWS。本课程学习结束后，学生应能自行用vmware workstation和KVM配置安装虚拟机，能 进行Hadoop HDFS分布式文件系统的安装、配置和管理，利用MapReduce思想进行海量数 据的处理。学会使用云计算的仿真工具CloudSim，在中CloudSim模拟器中创建数据中心， 主机，虚拟机，任务等。应用调度算法进行虚拟机分配等。注：本实验任务书包含三部分内容（虚拟化部分，大数据部分，云计算模拟部分），每

2、 部分16学时。共48学时内容，32学时课程可选做其中两部分内容。二、基本要求虚拟化部分：（1）掌握利用vmware workstation安装虚拟机；（2）掌握虚拟机实现上网的三种模式：桥接模式，host-only模式，NAT模式;（3）为虚拟机配置双网卡不同网段的IP地址（4）掌握用KVM建立虚拟磁盘并在虚拟磁盘上安装虚拟机。大数据部分（1）掌握Hadoop HDFS的伪分布模式和完全分布模式的安装、配置与管理（2）掌握Hadoop提交作业以及查询作业运行情况理解Map-Reduce原理，能书写Map-Reduce程序理解HDFS原理，能熟练地对HDFS中的文件进行管理掌握Hbase的安装

3、和配置（6）掌握Hbase的原理并能进行简单的shell操作云计算模拟部分（1）掌握云计算的基本概念和相关技术（2）掌握主要的云计算应用平台，如Google的云计算平台和Amazon的AWS等（3）掌握云计算平台的通用体系结构，以及其中的技术原理（4）掌握云计算的仿真工具CloudSim的架构，原理以及安装配置。（5）在仿真工具CloudSim上设计调度算法，并评估模拟结果。三、任务要求及学时安排:工作进程内容课时备注技术手段讲解与下达任务书2指导教师将自己联系 方式QQ、电子邮箱等 告知学生以便答疑。虚拟化部分主要任务：掌握利用vmware workstation安装虚拟机；掌握虚拟机实现上

4、网的三种模式:桥接模式，host-only 模式，NAT 模式；为虚拟机配置双网卡不同网段的IP地址；掌握用KVM建立虚拟磁盘并在虚拟磁盘上 安装虚拟机。6学 时大数据部分主要任务及步骤：一.Hadoop伪分布模式安装和运行，伪分布式模式的安装和配置步骤下载并解压Hadoop安装包(建议选用了 1.0.0 版本)进入 Hadoop的解压目录，编辑 conf/hadoop-env.sh文件(注意不同版的配置文件 的位置有所不同)编辑 conf 目录下 core-site.xml、hdfs-site.xml 和mapred-site.xml三个核心配置文件配置ssh,生成密钥，使到ssh可以免密码

5、连接 localhost格式化HDFS使用 bin/start-all.sh 启动 Hadoop使用 bin/stop-all.sh 关闭 Hadoop创建两个简单的文本文件，运行Hadoop系 统自带的单词计数程序wordcount程序，进行文本 文件中不同单词出现次数的统计。熟悉主要的HDFS文件操作命令：列出HDFS下的文件上传文件到HDFS将HDFS的文件复制到本地删除HDFS下的文档查看HDFS下某个文件的内容查看HDFS基本统计信息进入和退出安全模式8学 时一.Hadoop完全分布式安装和运行配置hosts文件建立hadoop运行账号配置ssh免密码连入下载并解压hadoop安装包

6、配置namenode，修改site文件配置 hadoop-env.sh配置 masters 和 slaves 文件向各节点复制hadoop格式化 namenode启动 hadoop用jps检验各后台进程4学 时三.Hadoop API 开发 MapReduce 程序Hadoop Eclipse环境安装：把Hadoop安装目 录下的 contrib/eclipse-plugin文件复制到eclipse安装目录的plugins目录下采用MapReduce编程思想，编写一个数据筛 选程序：对一个路由日志文件，提取出MAC地址 和时间，删去其它内容。采用MapReduce编程思想，编写一个倒排索 引程

7、序：有一批电话通信清单，记录了用户A拨 打用户B的记录，编写程序实现一个倒排索引， 记录拨打给用户B的所有用户A。8学 时四.完全分布模式Hbase安装和配置下载并解压Hbase安装包修改conf/hbase-env.sh文件，设置环境变量编辑hbase-site.xml进行配置编辑 regionservers 文件复制Hbase到其它节点启动 Hbase验证Hbase已经启动命令行模式下管理操作Hbase4学 时周掌握云计算的基本概念和相关技术掌握主要的云计算应用平台，如Google的云 计算平台和Amazon的AWS等掌握云计算平台的通用体系结构，以及其中 的技术原理掌握云计算的仿真工具C

8、loudSim的架构， 原理以及安装配置。在仿真工具CloudSim上设计调度算法，并 评估模拟结果。16学 时通过自主学习、教师 指导和答疑的方式课 下完成云计算实践设 计通过录像软件，录制 典型的设计调试过程、 系统功能模块的操作 过程，制作成动画短片 视频以供检查时候演 示。周现场评测：放映本次设计相关演示视频动画；介绍设计的思路与方法；对教师提出的相关问题进行回答。提交内容：动画演示视频文档。 报告以电子文档的形式进行提交。现场评测由实验课老 师进行检查。四、成绩评定： TOC o 1-5 h z 1、实习表现(纪律及考勤情况)20分2、现场评测50分3、实习报告30分五、报告格式：电

9、子文档目录1、题目。2、背景知识3、详细设计过程4、模拟测试结果5、心得体会。六、提交方式提交报告电子文档与系统运行录像。系统运行录像应包含设计结果预览及由设计部分生 成运行部分的过程，系统运行演示，整个录像时间5-10分钟。可使用Snagit、屏幕录像专 家、Adobe Captivate等屏幕录像软件进行录制，如果添加音频解说可加分。七、参考实验内容虚拟化部分: HYPERLINK /developerworks/cn/linux/l-linux-kvm/inde /developerworks/cn/linux/l-linux-kvm/index.html HYPERLINK /supp

10、ort/knowledgecenter/linuxonibm/ /support/knowledgecenter/linuxonibm/ liaai/kvminstall/liaaikvminstallstart.htm?lang=en HYPERLINK /page/Main_Page /page/Main Page HYPERLINK /products/workstation/ /products/workstation/大数据部分： HYPERLINK / /实战Hadoop -开启通向云计算的捷径刘鹏主编 电子工 业出版社Hadoop权威指南(中文版)Tom White著 曾大耳冉

11、周傲 英译清华大学出版社Hadoop实战 Chuck Lam著 韩冀中译 人民邮电出版社CloundSim参考题目：CloundSim实例化主机的实验做了实例化主机的实验对云计算环境进行测试，评估CloundSim效率。首先设置一个单一 的数据中心，一个数据中心代理和一个用户。每次实验，数据中心的主机数量从100到100000 个，来测试云模拟基础设施的运算能力(不考虑用户的工作量)。这里主要测试完全实例化 并加载CloudSim环境时实验计算机的物理内存的使用总量。CloundSim模拟 Min-Min 作业调度作业调度是通过有效的手段合理的调度作业，充分利用网络资源，提高资源利用率。 作业

12、调度问题是云计算研究中的关键问题之一。它的实质就是一个由m个需要调度的任务， n个可用的任务执行单元(主机或集群)，k个数据存储单元构成云计算环境，把m个任务 T=t1,t2,.,以合理的方式调度到n个主机H=h1,h2,，妇上去，目的是得到尽可能小的 总执行时间1%】m个任务在n个不同机器上的预测执行时间ETC(Expected Time to Compute) 是一个mXn的矩阵。矩阵中的每一行代表某一个任务在n台机器上的不同执行时间，每一 列代表在同一台机器上m个任务的不同执行时间。在云计算环境下的作业调度算法中,Min-Min算法是目前调度算法的研究中最多的一种 算法，它的算法步骤为：判断任务集合M是否为空，不为空，执行(2)；否则跳到步骤(7)。对于任务集中的所有任务，求出它们映射到所有可用机器上的最早完成时间乌。根据(2)的结果，找出最早完成时间最小的那个任务m.和