版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
2019年山东省职业院校技能大赛(高职组)
“云计算技术与应用”A卷
场景描述
一、需求说明
某企业计划搭建私有云平台,以实现资源的池化弹性管理、企业应用的集中管理、统一
安全认证和授权管理。按照给出的云平台架构进行IaaS、PaaS、大数据系统部署及运维管理,
并进行大数据分析应用开发和微信小程序开发,最后提交工程文档。
二、云平台架构说明
赛项所采用的云计算系统架构如图1所示,IP地址规划如表1所示。
图1云计算系统架构图
第1页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
表1IP地址规划表
设备名称接口IP地址说明
eth00/24Vlan100
控制节点服务器
eth10/24(初始IP)Vlan200
eth00/24Vlan100
计算节点服务器
eth10/24(初始IP)Vlan200
PC-1本地连接172.16.x.2/16Vlan1
PC-2本地连接172.16.x.3/16Vlan1
PC-3本地连接172.16.x.4/16Vlan1
Vlan1172.16.x.1/16
交换机Vlan100/24
Vlan200/24
注:表中的x为考位号;根据以上信息,检查硬件连线及网络设备配置,确保网络连接正常。
第一部分:IaaS云计算基础架构平台(共15分)
任务一、IaaS云平台搭建(15分)
修改云平台IaaS各节点的系统配置,按云平台搭建步骤逐步安装,并完成相应的答题。
1.操作系统环境配置(1分)
按以下要求设置主机名、防火墙及SELinux:
(1)设置控制节点主机名为controller,计算节点主机名为compute;
(2)关闭控制节点和计算节点的防火墙,设置开机不启动;
(3)设置控制节点和计算节点的SELinux为Permissive模式;
(4)退出SecureCRT,重新通过ssh连接各节点服务器;
使用命令查询控制节点和计算节点的主机名、防火墙是否处于关闭状态及SELinux的
状态。以文本形式依次将命令行及查询信息提交到答题框。
第2页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
2.上传镜像源并挂载(1分)
通过SecureFX上传两个镜像文件CentOS-7-x86_64-DVD-1511.iso和
XianDian-IaaS-v2.2.iso到控制节点的opt目录下;在opt目录下创建两个子目录centos和iaas,
并将镜像文件对应挂载到上述两个目录下;使用df命令查看挂载的信息(需显示挂载的文
件系统类型)。依次将操作命令及执行结果以文本形式提交到答题框。
3.配置本地以及远程yum源(1分)
配置控制节点本地yum源文件local.repo,搭建ftp服务并配置根目录为指向存放yum
源的路径;配置计算节点yum源文件ftp.repo,使用控制节点ftp服务作为yum源,其中节
点的地址以主机名表示;使用cat命令查看控制节点和计算节点的yum源全路径配置文件。
依次将操作命令及返回结果以文本形式提交到答题框。
4.环境变量配置(1分)
在控制节点和计算节点分别安装iaas-xiandian软件包,根据表2完成脚本文件openrc.sh
的配置。以文本形式提交脚本文件的内容到答题框中。
表2变量配置表
服务变量参数/密码
root000000
Keystone000000
Glance000000
MysqlNova000000
Neutron000000
Heat000000
Trove000000
DOMAIN_NAMEdemo
Admin000000
Rabbit000000
Glance000000
KeystoneNova000000
Neutron000000
Heat000000
Trove000000
NeutronMetadata000000
第3页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
ExternalNetworkenp9s0(以实际为准)
5.数据库安装(2分)
使用脚本安装数据库服务并查看脚本运行时间,使用root用户登录数据库,查看mysql
的默认存储引擎信息。依次将操作命令和查询结果以文本形式提交到答题框。
6.keystone安装(2分)
使用脚本安装keystone服务,创建用户testuser,密码为xiandian,将testuser用户分配
给admin项目,赋予用户admin的权限。依次将操作命令和查询结果以文本形式提交到答题
框。
7.glance安装(2分)
使用脚本安装glance服务。首先使用glance相关命令上传镜像,镜像源为
CentOS_6.5_x86_64_XD.qcow2,名为testone;其次使用openstack命令修改这个镜像名为
examimage;最后使用openstack命令查看镜像列表。依次将操作命令与返回结果以文本形
式提交到答题框。
8.nova管理(2分)
使用脚本安装nova服务,通过nova的相关命令创建名为exam,ID为1234,内存为
1024M,硬盘为20G,虚拟内核数量为2的云主机类型,查看exam的详细信息。依次将操
作命令及返回结果以文本形式提交到答题框。
9.网络创建(2分)
使用脚本安装neutron服务,并配置为GRE网络:
(1)创建云主机外部网络为ext-net,子网为ext-subnet,虚拟机浮动IP网段为
/24,网关为;
(2)创建云主机隧道网络int-net1,子网为int-subnet1,虚拟机子网IP网段为/24,
网关为;
(3)创建云主机隧道网络int-net2,子网为int-subnet2,虚拟机子网IP网段为/24,
第4页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
网关为;
(4)添加名为ext-router的路由器,配置路由接口地址,完成隧道网络int-net1和外部
网络ext-net的连通。
使用ovs-vswitchd相关命令查询控制节点网桥br-ex的端口列表信息,依次将操作命令
和返回结果以文本形式提交到答题框。
10.dashboard配置(1分)
使用脚本安装dashboard服务,使用curl命令查询
0/dashboard/auth/login/。依次将操作命令和查询结果以文本形式提交到答
题框。
第二部分:PaaS服务平台(共5分)
任务一、PaaS平台搭建(5分)
1.容器平台搭建(2分)
容器平台架构如图2所示。
图2容器平台架构
根据PaaS平台的部署架构,PaaS平台部署在IaaS平台的2台云主机上。其中Server
云主机上部署Server节点和Registry节点,Client云主机上部署Client节点。每个云主机
配置如下:
(1)系统配置
第5页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
Server/Registry节点:2CPU,4G内存,60G硬盘;
Client节点:2CPU,4G内存,60G硬盘;
(2)操作系统:centos_7-x86_64;
(3)IP:Server和Client云主机ip动态分配;
(4)Server节点的主机名:Server;
(5)Client节点的主机名:Client。
根据配置要求,完成配置文件的自定义与修改,搭建容器平台。登录容器平台,通过
curl命令查询Rancher管理平台首页(自己创建的环境,非default)。依次将操作命令及返
回结果以文本形式提交到答题框。
2.应用模板部署(3分)
根据提供的软件包,通过“应用商店”部署Grafana,修改网页访问端口为9090,通过
curl命令访问服务首页。依次将操作命令及返回结果以文本形式提交到答题框。
第三部分:云计算平台运维管理(共35分)
任务一、IaaS云平台运维(20分)
IaaS平台运维准备工作:
按以下配置在云平台中创建云主机:
(1)名称:iaas_all;
(2)镜像文件:iaas-all;
(3)云主机类型:m1.large;
(4)网络1:int-net1,绑定浮动IP;
(5)网络2:int-net2。
1.MongoDB管理(2分)
登录“iaas_all”云主机,登录mongodb数据库。
(1)新建一个名为xiandian的数据库;
(2)使用for循环,向数据库xiandian下的集合student中插入100条数据:"_id":
第6页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
i,"name":"xiaoming","age":"21",其中循环变量为“i”;
(3)使用命令统计集合student中的数据条数;
(4)使用命令查询集合stduent中_id小于等于33、忽略前15个数据、并按照_id降序
排列的结果。
依次将操作命令及返回结果以文本形式提交到答题框。
2.nova管理(3分)
登录0/dashboard界面,创建一个名字为migration,flavor使用m1.medium,
镜像使用centos7的云主机。查看该云主机的详细信息,并将该云主机冷迁移到另一个计算
节点(controller节点既是控制节点也是计算节点,compute节点为计算节点,若原来在
compute节点,则迁移到controller,反之亦然。云主机原来所在的节点我们称之为源节点,
迁移过去的节点称之为目标节点。)最后将迁移的云主机启动并查看是否迁移了。将上述操
作命令和返回结果以文本形式提交到答题框,先提交源节点的操作命令,后提交目标节点的
操作命令。
3.cinder管理(2分)
登录“iaas-all”云主机,查看cinder后端存储空间大小,将cinder存储空间扩容10个
G大小,最后查看cinder后端存储空间大小。将上述操作命令和返回结果以文本形式提交到
答题框。
4.存储管理(2分)
登录“iaas-all”云主机,使用命令对磁盘/dev/vda进行分区,然后使用mdadm命令,
创建名字为md0、大小为10G、raid级别为5的磁盘阵列(磁盘数量使用raid5最低要求),
最后将md0格式化为ext4格式并查看该磁盘阵列的UUID。将上述操作命令和返回结果以
文本形式提交到答题框。
5.Ceilometer管理(2分)
登录“iaas-all”云主机,使用cirros-0.3.4-x86_64-disk.img镜像文件,创建名为cirros
的云主机,使用Ceilometer命令,查看该云主机有哪些meter,然后使用Ceilometer命令查
第7页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
看该云主机cpu使用率的最近2两条数据。
6.Keystone安全策略优化(3分)
使用提供的云安全框架组件,将0/dashboard中的keystone
安全策略从http优化至https,安装配置完成后,使用curl-L
0/dashboard命令查看上述安装配置优化后的结果;再使用
netstat-ntpl查看端口情况。依次将各操作命令与返回结果以文本形式提交到答题
框。
7.OpenStack参数调优(3分)
登录“iaas-all”节点,修改相关参数对openstack平台进行调优操作,相应的调优操作
有:
(1)预留前2个物理CPU,把后面的所有CPU分配给虚拟机使用(假设vcpu为16
个);
(2)设置cpu超售比例为4倍;
(3)设置内存超售比例为1.5倍;
(4)预留2048mb内存,这部分内存不能被虚拟机使用;
(5)预留10240mb磁盘,这部分磁盘不能被虚拟机使用;
(6)设置nova服务心跳检查时间为120秒。
修改完之后将配置文件中修改的字段以文本形式提交到答题框。
8.ceph管理(3分)
登录0/dashboard,使用centos7镜像创建三台云主机,搭建ceph分布式集
群存储,新建/opt/osd目录作为ceph存储后端,成功搭建ceph集群后,使用命令查看集群
状态。将查询命令和返回结果以文本形式提交到答题框
第8页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
任务二、容器运维(15分)
1.容器查询(2分)
在server节点,使用命令,查询私有仓库redistry中有哪些镜像。将以上操作命令及检
查结果填入答题框。
2.容器存储配置(2分)
(1)在容器server节点运行mysql:8.0镜像,设置数据库密码为xd_root,将server节
点的13306端口映射到容器3306端口;
(2)进入容器创建名为xd_db的数据库,创建名为xiandian,密码为xd_pass的用户,
设置此用户对xd_db数据库拥有所有权限和允许此用户远程访问;
(3)使用xiandian用户远程登录数据库并查询数据库内的数据库列表。
依次将操作命令及返回结果以文本形式提交到答题框。
3.容器综合(2分)
在容器server节点使用提供的nginx镜像启动一个名为nginx的容器,映射端口为80:80;
然后在/opt目录新建一个index.html文件,添加index.html文件中title值为:“Welcometo
XianDian!”,body主体中h1标签的值为:“thisiscontainer!”、p标签的值为:“Thankyou
forusingnginx!”,最后使用命令将index.html文件放到nginx服务的默认目录中,通过curl
命令查询nginx服务。依次将操作命令和返回结果以文本形式提交到答题框。
4.容器限制块设备I/O(3分)
在server节点,使用centos:latest镜像,创建名为blocklimit的容器。创建完之后进入容
器,使用dd命令,测试写入41MB数据所花的时间。(ddif=/dev/zeroof=testfile0bs=8k
count=5000oflag=direct)然后通过修改相应的Cgroup文件来限制写磁盘的速度为1024000
字节,最后使用dd命令测试写41MB花的时间来验证I/O是否限制了。将上述操作命令和
返回结果以文本形式提交到答题框。
第9页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
5.Dockerfile编写(3分)
在server节点,使用自带的centos镜像为基础镜像,构建apache+php+mysql架构的网
页访问服务php:latest,数据库使用iaas安装的mariadb环境,相关权限请自行授权。编辑
Dockerfile所需要的文件(build_table.sh,run.sh,test.php附件中提供),Dockerfile编写按
照下述要求:
1、使用提供的centos基础镜像,作者xianidan
2、删除系统yum源文件,采用ftp.repo作为系统默认yum源文件,设置/opt/为工作目
录
3、安装httpd、php、php-mysql、mysql软件包,在容器内新建/var/log/httpd/var/www/html
目录
4、设置环境变量MYSQL_ADDR,MYSQL_USER,MYSQL_PASS(根据实际环境定
义),系统编码采用en_US.UTF-8
5、添加test.php到/var/www/html目录,run.sh到/opt目录,build_table.sh到/opt目录,
设置后2个脚本具有可执行权限
6、执行/opt/build_table.sh脚本,(如果/bin/bash不能直接调用,使用绝对路径)
7、暴露80端口,开机运行run.sh脚本
dockerbuild上述Dockerfile文件,运行容器,端口80:80映射,使用curl命令访问该容
器首页http://ip/test.php,将上述安装要求编写的Dockerfile全文,build全过程,curl首页面
以文本的形式提交到答题框。
6.容器扩容(3分)
在server节点,使用centos:latest镜像,创建名为xiandian的容器,然后将容器xiandian
的卷空间值扩容至20G大小(不要求扩容文件系统),最后查看容器的卷空间值。将上述
操作命令和返回结果以文本形式提交到答题框。
第四部分:大数据平台(共15分)
任务一、大数据平台搭建(5分)
大数据平台的搭建采用分布式部署,部署在云平台的两台虚拟机上,在云主机1上部署
第10页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
大数据平台master节点,在云主机2上部署大数据平台slaver节点:
云主机1:
(1)名称:master;
(2)镜像文件:hadoop_master_centos7_x86_xiandian_images-v05.qcow2;
(3)类型:4CPU、8G内存、100G硬盘;
(4)网络1:int-net1,绑定浮动IP。
云主机2:
(1)名称:slaver;
(2)镜像文件:hadoop_slaver1_centos7_x86_xiandian_images-v05.qcow2;
(3)类型:4CPU、8G内存、100G硬盘;
(4)网络1:int-net1,绑定浮动IP。
1.主机名配置(1分)
使用cat命令查看云主机master和slaver的hosts文件。依次将操作命令及返回结果以
文本形式提交到答题框。
2.内存大页配置(1分)
检查云主机master和slaver的内存配置文件,查看TransparentHugePages状态。依次
将操作命令及返回结果以文本形式提交到答题框。
3.大数据平台环境配置(1分)
检查master节点ambari-server的运行状态,如未启动,则启动ambari-server服务。使
用curl命令在LinuxShell中查询http://master:8080界面内容。依次将操作命令及返回结果
以文本形式提交到答题框。
4.启动大数据平台(2分)
(1)启动大数据平台并登录http://{master-ip}:8080,用户名:admin,密码:admin;
(2)平台中已经安装了以下服务组件:HDFS、MapReduce2、YARN、Tez、Hive、HBase、
Pig、Zookeeper、Mahout。其中master节点Mariadb数据库用户密码配置如表3所示。
第11页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
表3数据库用户密码配置表
用户名密码
rootbigdata
ambaribigdata
hivebigdata
启动平台中安装的HDFS、MapReduce2、YARN、Zookeeper等服务;
(3)先后在master节点和slaver节点的LinuxShell中查看Hadoop集群的服务进程信
息。
依次将操作命令及返回结果以文本形式提交到答题框。
任务二、大数据平台运维(10分)
1.HDFS管理(2分)
(1)在HDFS文件系统的根目录下创建目录yidaoyun/file;
(2)将附件中的BigDataSkills.txt文件上传到yidaoyun/file目录中;
(3)查看HDFS中yidaoyun/file目录的文件列表信息;
(4)查询HDFS文件系统中/tmp目录下的目录个数、文件个数和文件总大小。
依次将操作命令及返回结果以文本形式提交到答题框。
2.HBase管理-修改(2分)
登录hbase数据库,创建一张名为member,列族为'address','info'的表,向该表插入数据
为:
'xiandianA','info:age','24'
'xiandianA','info:birthday','1990-07-17'
'xiandianA','info:company','alibaba'
'xiandianA','address:contry','china'
'xiandianA','address:province','zhejiang'
'xiandianA','address:city','hangzh
使用命令查询member表中xiandianA的所有info信息,将'info:age'的值改为99,并只
查询'info:age'信息。依次将操作命令和返回结果以文本形式提交到答题框。
第12页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
3.Mahout案例(2分)
使用Mahout挖掘工具对数据集user-item-score.txt(用户-物品-得分)进行物品推荐;将
txt文档放在hdfs的/data/mahout/project目录下(可自行创建);采用基于项目的协同过滤
算法和欧几里得距离公式、每位用户推荐的物品数为3、最大偏好值为4、最小偏好值为1;
将推荐输出结果保存到/data/mahout/project/output目录中,通过命令查询part-r-00000中的内
容。依次将执行推荐算法的命令和查询结果以文本形式提交到答题框中。
4.Spark案例-数组求和(2分)
登录“spark-shell”,定义一维整型数组
AA=[3,4,3,2,44,3,22,231,4,5,2,345,2,2,11,124,35,349,34],自定义函数sum(),根据
传入的整型数组名和数组的长度,求i为奇数的各AA[i]之和。依次将各操作命
令与返回结果以文本形式提交到答题框。
5.Spark案例-数据统计(2分)
在master节点,登录“spark-shell”交互界面。
现已给定数据如下(日期对应的登录客户):
2017-01-01a
2017-01-01b
2017-01-01c
2017-01-02a
2017-01-02b
2017-01-02d
2017-01-03b
2017-01-03e
2017-01-03f
根据数据可以看出:2017-01-01新增三个用户(a,b,c);2017-01-02新增一个用户(d);
2017-01-03新增两个用户(e,f),使用spark工具,统计每个日期新增加的用户数,最后
显示统计结果。将上述操作命令和返回结果以文本形式提交到答题框。(解题思路:对原始
数据进行倒排索引,统计列中每个日期出现的次数)
第13页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
第五部分:SaaS云应用开发(20分)
任务一、大数据案例开发(12分)
开发环境:Eclipse+JDK+Tomcat+Mysql+MongoDB+HBase+xueqing-client.zip+
xueqing-server.zip+xueqing-web.zip。
1.搭建开发环境和导入项目(1分)
检查已安装的MongoDB,HBase,MySQL和岗位网站服务,进行大数据学情应用开发
准备:
(1)导入三个MongoDB数据库目录employ,job_internet,question_survey;
(2)导入MySQL的xueqing-client项目的sql文件xueqing-client.sql;
在cmd中登录MongoDB数据库,提交查询所有数据库的截图到答题框。
在cmd中登录MySQL数据库,提交查询所有数据库的截图到答题框。
2.HBase建表操作(1分)
完成xueqing-server中HBase数据库建表操作,建立job_internet表(列簇为
PERCEPT_DATA、RAW_DATA、TAG_DATA)和job_cloud表(列簇为cloud)。
提交HBaseweb控制台界面截图和所有实现代码到答题框。
3.岗位学历需求可视化(2分)
爬取xueqing-web网站所有的岗位信息,对数据进行清洗,统计“云计算”岗位信息,
将统计数据保存至MongoDB之中。通过xueqing-client展示云计算岗位学历需求分布图表。
将统计图表的网页截图和相关代码提交到答题框。
4.岗位全国地区统计可视化(2分)
使用存储在HBase中job_internet、job_cloud的岗位数据,统计出“云计算”
的地区岗位需求信息;将统计数据保存至MongoDB中;对接xueqing-client界面
来展示不同地区云计算岗位需求量的直方图。将统计图表的网页截图和相关代码
第14页共17页
2019年山东省职业院校技能大赛(高职组)“云计算技术与应用”A卷
提交到答题框。
5.岗位分级聚类(3分)
使用存储在HBase中job_cloud的岗位数据,取岗位中薪资、学历和工作经
验等3类数据,转化成向量值进行岗位分级聚类,聚类中心为5;通过Eclipse
控制台输出所有聚类中心的信息和聚类中心包含的岗位总数。将控制台输出截
图、文本和相关代码提交到答题框。
(1)数据转
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论