云计算试验报告

1、云计算原理课程期末实践报告题目：Linux 集群、MapReduce 和 CloudSim实践成绩：学号：姓名：罗滔登录邮箱：任课老师：2022年11月12日目录实验一：AW禧份与访问治理P2P11实验二：AmazonRelationalDatabaseService P11P20实验三：Hadoop实验报告P21AWSf理限制台使用qwikLABS登录AW假设理限制台AWS IAM同介：00:3?;05=496 .在AWS1理限制台中,单击【效劳/Services,然后单击【IAM或身份与访问治理/lAMorldentity&AccessManagement 】.7 .在IAM限制台

2、的左侧面板中,单击【 用户/Users】.8 .找到“ userone ,然后单击其名称以显示有关该用户的详细信息.在用户详细信息中,找到有关该用户的 以下三方面的信息：a.已向该用户分配了一个密码b.该用户不属于任何组 c.目前没有任何策略与该用户关联“附加到该用户用户名：组密码最kawsstudent0201qlS-31262-84Hf14784e.0从a创立新用户用户操作LqlS-31262-S4f111 4784, qk-mi2b284f1f14784f4JaUEer口ng*&JB54【MK5QY 卜qls-31262-B4f1f147&4eT. 0从彳口root-qw

3、kl0201我们在处理您的请求时遇到以不错误：X User arn:aws-cfi:iam:623208120798:usefJaws&tudentis not autriorizedto perform: ism.ListX User: arn aws-cn iam :62220815C78e：u£erJawsstudent is not auttiorized to perforin： iam：Li£tX User arn:aws-cn:iam:6232QS120788:user/awsstudentis nol auttiorizedto peifcrni:

4、iam List9,现在,单击左侧导航窗格中的【组/Groups】.本实验的CloudFormation 模板还创立了三个组.在 IAM限制台中的【用户/Users】仪表板中可以看到,自动化CloudFormation 脚本在创立这些组时为其提供了唯一的名称.这些唯一名称包含以下字符串："EC2support “ EC2admin“S3admin完整组名的格式如下所示：EC2support -GA9LGREA7X4S从现在开始,我们在本实验中将使用上面这些简写名称来指代这些组.您可以在【组/Groups】仪表板中搜索子字符串,以便为后续实验操作确定正确的组.10 .单击“ EC2su

5、pport 对应的组名.其格式应与上面的类似.11 .向下滚动至组详细信息页面中的【权限 /Permissions】局部后,在【内联策略 /InlinePolicies 】局部,可以看到一个名称为"EC2supportpolicy 的策略与该组关联.在策略中,您可以规定将允许或拒绝对特定AW酶源执行哪些操作.您可以使用自定义策略,或通过选才I AWS6管策略来使用一组预定义的权限./EditPolicy ,使其显示在一个窗口中,以便您进行查12 .虽然我们不会更改此策略,但请单击【编辑策略看和滚动.请留意IAM策略中语句的根本结构.“ Action 局部指定了该效劳内的AWS1务和功

6、能.“ Resource 部分定义了该策略规那么所涵盖的实体范围,而“ Effect 局部那么定义了所需结果.更多有关定义IAM策略的信息,请访问“AWSIdentityandAccessManagement :权限和策略文档页面13 .单击另外两个组(“ EC2admin和“ S3admin),查看附加到这两个组的策略.您现在能否识别出附加到 这些组的策略所允许的权限？皆【二毋旬1口下去畦文分三前勺吊|有关irr同*畸至甘甘.安薛伯色,三为理书产川田南中的ML僵it肇IE名存vuitn. *eci : Tenamcjr"- -"default'*：I,匕UnT),

7、q"Wlilg11.Nl4)BDUrC«"： l"iM1：MM-!Cn：iK2 J W ： 11Hli1fc"nrfect"： ""Ail .LiH RifiOurrc fi,a! ,1P JEffect -5 'Allc-u-R尚不硼砒Ttl幽箪跟E脸记慎用18.完成后,再次单击左侧面板中的【组 /Groups】O各组的【用户/Users】列中应显示“ 1,表示各组中的用户数.设置自定义密码替换和设置自定义密码22.为“ userone 设置一个密码,然后在临时的记事本文件中记下该密码.24 .重复上述步

8、骤,为 "usertwo " 和 "userthree " 设置密码创立新用户用户名,组密码-awsstudent0I 1qls-31277-6c570ddi aO.1夕匚qlS-31277-8c570dd1a0.05Qlls-31277-6c57Cdd1aO.05-rool-qwkl0我们在处理您的请求时遇到以F错星：X User am:aws-cn:iam:583352025&25:usai/awsEtuient is not authorized to pei* User: am:aws-cn, i3i7i:.5B3352026625:us

9、&r/aws=tucienl is not authorized Io peiX User arn:aws-cn.iam:.583352026625.us&rZajws=1uclenlis not authorized to peiX User: am：aws-cn：iarn:.563355026625.us&rawsstudent is not authcrized to 口电X User: am:aw5-cn:iam：'583352025625:user.;aw3 Etude nt is not authorized to pel测试对S3的访问权限您在本实

10、验中使用的“ awsstudent 用户所拥有的权限寥寥无几,例如,您可以访问S3仪表板,但无法查看其中的存储桶.立即对此进行测试：25 .在主AWS空制台上,单击【效劳 /Services,然后单击【S3】.26 .您应该会看到三个存储桶.尝试单击存储桶以查看其内容-您将无法查看其内容.28.在主IAM仪表板上,在【欢送使用身份识别和访问治理 /WelcometoIdentityandAccessManagement 下方,您将看到IAM用户登录链接.复制此URL然后将其粘贴到临时记事本文件中.30 .现在,您的记事本文件中应包含登录URL完整的“ userthree 登录名和密码.在新的浏

11、览器中,使用这些信息以"userthree 的身份登录.31 .您应该会看到标准的AWS空制台.但是,在右上角,您的用户名不再是" awsstudent ",而是? TAM Management x +翻.：羲：,歌.K * H j®金金H迅雷迷电高山S个人中也- j 底值qls-31277-8C57Oddla02556c. * 支持qls-3l277-8c57Odd1aO255Sc3-iJserthree-7AMZJXGPHUUE 58335202662= 共虺入门3请参阅我们的文档或查看戏们的培训,以了 解更多有关AWS的信息.“userthree

12、.32 .现在,访问S3效劳仪表板.您可以看到之前的三个存储桶,但现在,作为“S3admin组的一局部,您可以查看这些存储桶、复制文件、创立新的存储桶和文件等.实验二：AmazonRelationalDatabaseService (P12P21)1 .登录AW潴理限制台登录之后,返回qwikLAB?32 .创立RelationalDatabaseService(RDS) 实例要开始创立第？一个AmazonRDS例,您需要 访问Amazon#理限制台上的 AmazonRD图标,然后使？RelationalDatabaseService 向导.7 .单击？首页上的AmazonRD图标并转到该限制

13、？面板.8 .单击“ LaunchaDatabaseInstance /启动数据库实例按钮来启动 RDS导.9 .单击MySQ数据库引擎类型对？面的“Select /选择按钮.10 .看到该数据库是否？用于？生产？目的的询问时,选择“开发测试单项选择按钮,然后单击“NextStep/下？一步.您是否汁包将此数据库用于生产目的7k 步牌t送择引隼货通工生产？苏理？指定赞,据库许咽信总弃置电配罡专魂设掠生文M/5QI创娃此次冽时.特多可用区部 餐和预贵IOPS有信用作里£认 值.开发,测试Q M/5QI 丁卖得将" 用.,号值相F：同口守定旧11.在接下来的“DBInstanc

14、eDetails /指定数据库详细信息屏幕上,按以下内容进 /数据库实例类 /多可？用区部署 /分配的存储空间:5/数据库实例标识符：RDSLab:/主？用户名AWSMaster/主密码:AWS1234512 .单击 “NextStep/下？一步.13 .在接下来的“ AdditionalConfig /配置？高级设置屏幕上,按以下内容进 数据库名称:RDSLab/公开访问：否/VPCS全组：选择包含？文本“qlstack 的平安组14 .在备份中,选择备份保存期为0天.15 .单击“ LaunchDBInstance/启动数据库实例.从亚马逊系统映像AMI创立AmazonLinux实例要开始

15、创立第？一个Amazon®例,您需要访问 Amazon治理限制台上的AmazonEC2B标,然后使？用向导16 .返回人亚箔理限制台(它在浏览器中仍是翻开的).17 .单击AWS理限制台？首页上的EC2图标.18 .单击"Instances /实例链接来创立实例.19 .单击“Launchinstance /启动实例按钮来开始该过程.20 .在第？一个对话窗？.口中,步骤1:选择？一个Amazon统映像,然后单击该 AMI旁边的 “Select /选.来选择 AmazonLinuxAMI实例.注意：确认是64位的映像.21 .步骤2：使实例类型保存默认设置,即.要继续,那么

16、单击“Next:Con巾gureinstanceDetails /下？一步：配置实例详细信息.22 .步骤3: ConfigureinstanceDetails/配置实例详细信息,我们将保存所有默认选项,并单击“ Next:AddStorage/下？一步：添加存储.23 .步骤4： AddStorage/添加存储,保存默认虚拟拟硬.单击“ Next:Taginstance /下？一 步：标签实例.注意：您可以在此轻松增加更多虚拟硬盘或更改硬盘？大？小.24 .步骤5: Taginstance /标.实例,使？标签实例界？面为实例命名.您将注意到左边？文本 框填充了标签的名字为Name右边.文本

17、框为空.在空？文,键？入名称,例如“EC2FreeLab' 并单击 “ Next:ConfigureSecurityGroup /下？一步：配置平安组.25 .步骤6: CoMigureSecuhtyGroup /配置平安组,接受默认平安组,由于它允许通过端？? 口 22(SSH)从任意位置连接此 Linux实例,单击“ ReviewandLaunch/审核和启.26 .步骤7：通过“ReviewinstanceLaunch /审核和启.动,您可以获取全部设置的概览. 单击“ Launch/启动以继续.27 . QwikLab？自动.您？生成的密钥.应.自动填第？二个下拉框.28 .单

18、击“ acknowledgement/确认复选框,声明.29 .现在,单.“Launchinstance /启.实例.30 .单击 “Viewinstances /查看实例.40.将ec2-user键？入HostName?段,然后将您复制到剪贴板板的 连接字符串粘贴到42.单击单词“ Auth选择“Auth类？而不是单词“ Auth旁边的+符号.43 .单击 “ Browse .44 .浏览到您稍早在本实验中保存.ppk?文件的位置.45 .选择您下载的.ppk?文件.46 .单击 “ Open .47 .在 PuTTYg户端,单击 “ Oped'.48 .出现提？示时,单击“Yes允

19、许PuTTY缓存效劳器的主机键.您已成功登录了 Linux主机!ZLECV I /50 .回到RD颤？面,选中并展开之前创立的 RD豉例.51 .记录下Endpoint /终端节点名字,？比方：52 .回到 LinuxEC2主机的终端,输？入以下命令：$mysql - h<endpoint>-p - uAWSMaster53 .在密码的提？示符下输？入AWS1234554 .然后在mysql>提？示符下输？入showdatabases;?并检查结果.55 .您现在已将MySQ喀户端连接到您新创立的 RDSS例.恭喜您！Hadoop云计算实验报告(P21-)1、实验目的在虚拟机

20、Ubuntu上安装Hadoop单机模式和集群；编写一个用Hadoop处理数据的程序,在单机和集群上运行程序.2、实验环境虚拟机：VMware9操作系统：Hadoop 和 Jdk 和 EclipseHadoop 集群：一台 namenode主机 master, 一台 datanode 主机 salve ,3、主要设计思路在ubuntu操作系统下,安装必要软件和环境搭建,使用eclipse编写程序代码.实现大数据的统计.本次实验是统计软件代理系统操作人员处理的信息量,即每个操作人员出现的次数.4、算法设计该算法首先将输入文件都包含进来,然后交由map程序处理,map程序将输入读入后切出其中的用户名

21、,并标记它的数目为 1,形成word,1的形式,然后交由reduce处理,reduce将相同key值也就是word 的value值收集起来,形成word,listof1的形式,之后再将这些 1值加起来,即为用户名出现的个数,最后将这个key,value对以TextOutputFormat 的形式输出到 HDFS43.5、安装实验环境安装ubuntu操作系统1翻开 VMware,在 Hometab 中单击“CreateaNewVirtualMachine ,2选才I custom,选择虚拟硬件版本,选择 ios文件,next ,3） 录入目标操作系统信息 ,包括Fullname、Uername和

22、Password , next ,4选择默认的选项,一般不做更改,最后确认信息,Finish ,5安装成功后,会看到如下画面,安装配置Samba安装samba主要为了实现与 windows操作系统的通讯,由于 server版本的ubuntu没有自带图形操 作界面,所以下载资料等操作不太方便,这也是安装samba的目的之一.1安装samba,输入如下命令：2安装vim3创立共享目录,并修改权限4） 配置samba.修改samba的配置文件/etc/samba/ ,将security=share ,并在文件的末尾追加如 下内容,5测试.在 windows实机中,通过ip访问ubuntu虚拟机,可以

23、见到 share文件夹安装配置JDK首先,下载java开发工具包JDK在本次试验中,我们下载白版本是.解压安装到/usr/lib/jvm/目录下,更名为 java-7-sun .配置环境变量/etc/environment ,使配置生效测试安装配置结果在单节点伪分布式环境下运行HADOOP1添加Hadoop用户并赋予sudo权限2安装配置SSH切换至hadoop用户,配置密钥,使得 hadoop用户能够无须输入密码,通过SSH访问localhost ,测试结果：3安装配置Hadoop首先下载Hadoop,解压缩到/opt/hadoop 目录下,更改目录名称为 hadoop.修改与hadoop相

24、关的配置文件在/opt/hadoop/conf 目录下,分别是,.在此不一一列举.4运行 Hadoop首先格式化HDFS启动单节点集群,通过jps查看,masterslave停止单节点集群,在多节点分布式环境下运行HADOOP1设置/etc/hosts 文件2设置节点之间无密码 SSH登陆验证配置SSH是否正确3修改集群配置文件修改 master的masters > slaves ,修改所有节点的,在此不一一列出.4在master上格式化 HDFS5启动和停止集群启动集群,在master上启动HDFS后,jps结果如下：masterslave在 master 上启动 mapreduce

25、后,jps 结果如下：masterslave停止集群6、运行程序1 .在单机上运行程序(1) 在 Eclipse 下,新建 map/reduce 工程(2) 新建一个java类UserNameCount,编写代码(3) 运行程序,结果如下：(4) 在eclipse中编译好源代码后,导出程序的jar包,供在集群上使用.2 .在集群上运行程序(1) 启动集群,通过jps命令查看master, slave上启动的效劳列表,结果如下:hadoot/bins2S5fi Jps2221 laskTraker1929 SetondaryNameKade ihadoorSubantti:/opT：/hadoi

26、3D/bin$ ssh slave Keltons Ubuntu 12.0 LTS GMU/Linux 3.2.0 23-gtntrit Docuiaenta-ion： n'Dps: /neip .ubuntu, ccn/ Mew release 114.04.2 ITS* available. Run ' do-release-upcrade * ta up-grade to ir.iLaai:Sat Miy 1 23i;3S 201B froml:adcjap 'iLun tu ： - E jp slb2b lasKL'racker 1444 DaaNode(2) 在集群环境下运行该程序jar包(),结果如下：(3) 查看集群环境下启动程序生成的结果,即 output文件,结果如下:(4) 数据统计结果在part-r-00000 中,具体内容如下,7、源代码:packagehadoop;importimportimport