云计算试验报告

1、云计算原理课程期末实践报告题目:Linux集群、MapReduce禾口CloudSim实践成绩：学号：姓名：罗滔登录邮箱：任课老师：许娟2016年11月12日-钉录实验AWS身份与访问管理(P2P11)(P11P20)实验二：AmazonRelationalDatabaseService实验三：Hadoop实验报告（P21）AWS管理控制台f|WlKUB3他常羽旧事使用qwikLABS登录AWS管理控制台在AWS!理控制台中，单击【服务/Services】，然后单击【IAM或身份与访问管理/lAMWfltAMitity&AccessManagement】。6. fikBttrWUrriT难iI

2、AM控制台的左侧面板中，单击【用户/Users】。以下三方面的信息:a. 耳衍”摧e龌”，然后单击其名称以显示有关该用户的详细信息。在用户详细信息中，找到有关该用户的已向该用户分配了一个密码该用户不属于任何组c.目前没有任何策略与该用户关联（“附加到”该用户）qk-31252?84f1fU784#f47a3-U5erone-SJ8754IWX5QY201从2从X201用户名二awsstudent口qls-31262-84f1f1八7S4e一1qls-3l262-B4f1f14734eqls-31262-B4f1f14764eroot-qwkl霜们在处理您的谓求时遭到以F错误：7. X1arn:

3、aws-cfi:iam:62320aiA0798:userJaws&tudentisnotautriorizedtoperform:iam:ListXUserarnaws-criiarn:622208120788userJawsstudentisnotauttiorizedtoperform:iam:LiXUserarn:aws-oi:iam:6232a3120738:user/awsstudentisnolauthorizedtoperfcrni:iamList现在，单击左侧导航窗格中的【组/Groups】。本实验的CloudFormation模板还创建了三个组。在IAM控制台中的【用户/U

4、sers】仪表板中可以看到，自动化CloudFormation脚本在创建这些组时为其提供了唯一的名称。这些唯一名称包含以下字符串：“EC2support”“EC2admin”S3admin”完整组名的格式如下所示：EC2support-GA9LGREA7X4S从现在开始，我们在本实验中将使用上面这些简写名称来指代这些组。您可以在【组/Groups】仪表板中搜索子字符串，以便为后续实验操作确定正确的组。8. 单击“EC2support”对应的组名。其格式应与上面的类似。11.向下滚动至组详细信息页面中的【权限/Permissions】部分后，在【内联策略/InlinePolicies的策略与该组

5、关联可以看到一个名称为EC2supportpolicy在策略中，您可以规定将允许或拒绝对特定AWS资源执行哪些操作。您可以使用自定义策略，或通过选择AWS托管策略来使用一组预定义的权限。虽然我们不会更改此策略，但请单击【编辑策略/EditPolicy】，使其显示在一个窗口中，以便您进行查看和滚动。请留意IAM策略中语句的基本结构。“Action”部分指定了该服务内的AWS服务和功能。“Resource”部分定义了该策略规则所涵盖的实体范围，而“Effect”部分则定义了所需结果。更多有关定义IAM策略的信息，请访问”AWSIdentityandAccessManagement:权限和策略”文档

6、页面。单击另外两个组RC2admin”和“S3admin”），查看附加到这两个组的策略。您现在能否识别出附加到这些组的策略所允许的权限？小aclilAhtAnnlyi*ARBHuncj:iMisMM-cn:k|j：膳：JLvi?严莓nrfectmw-leadlMljHKins:HR*fiOurrcEffect5刖av-ak18.完成后，再次单击左侧面板中的【组/Groups各组的【用户/Users】列中应显示“1”，表示各组中的用户数。设置自定义密码替换和设置自定义密码22.为“userone”设置一个密码，然后在临时的记事本文件中记下该密码。24. 重复上述步骤，为“usertwo”和“us

7、erthree”设置密码划建新用户g筛选条件O用户窖春乍awsstudent|1qls-31277-6c570dd1aO-.匚qlS-31277AC570ddl30.0组密码01|_1qls-31277-6c57Cdd1aO.0rool-qwkl我们在处理您的请求聘遇到以下错谩XUseram:aws-cn:iam:583352025625:usarAawsstudentisnotauthorizedtopeiXUser:arn:aws-cniam:5B3352026B25iuser/awsstuctenlisnotauthorizedIopeiXUseram:aws-cn:iam7583352

8、O20625:usei/aws;1utientIsnotauthorizedtopeiXUser:am:aws-cn.iamz:56335502S625.us&r/awsAudentisnotauthcrizedtopelXUser:arri:aws-cn:iam:58335202S625:user.;awsEtudentisno1authorizedIopei测试对S3的访问权限您在本实验中使用的awsstudent”用户所拥有的权限寥寥无几，例如，您可以访问S3仪表板，但无法查看其中的存储桶。立即对此进行测试：25. 在主AWS空制台上，单击【服务/Services】，然后单击【S3】。2

9、6. 您应该会看到三个存储桶。尝试单击存储桶以查看其内容-您将无法查看其内容。在主IAM仪表板上，在【欢迎使用身份识别和访问管理/WelcometoldentityandAccessManagement】下方，您将看到IAM用户登录链接。复制此URL然后将其粘贴到临时记事本文件中。30.现在，您的记事本文件中应包含登录URL完整的userthree”登录名和密码。在新的浏览器中，使用这31.您应该会看到标准的AWS空制台。但是，在右上角，您的用户名不再是awsstudent,而是些信息以userthree”的身份登录。qk-3l277-8c57Odd1aO255Sc3-LJ5erthree-7

10、AMZJXGPHUUE58335202662=入门S请参阅我门的艾档或查看我们的培训？以了吏多有黄AWS的信息。“userthree”。32.现在，访问S3服务仪表板。您可以看到之前的三个存储桶，但现在，作为“S3admi6组的一部分，您可以查看这些存储桶、复制文件、创建新的存储桶和文件等。实验二：AmazonRelationalDatabaseService(P12P21)登录AWS管理控制台登录之后，返回qwikLAB?A创建RelationalDatabaseService(RDS)实例要开始创建第？一个AmazonRD实例，您需要访问Amazor管理控制台上的AmazonRD图标，然后

11、使？RelationalDatabaseService向导。7. 单击？首页上的AmazonRD图标并转到该控制？面板。8. 单击“LaunchaDatabaselnstanee/启动数据库实例”按钮来启动RDS向导。9. 单击MySQ数据库引擎类型对？面的“Select/选择”按钮。10. 看到该数据库是否？用于？生产？目的的询问时，选择“开发测试”单选按钮，然后单击“NextStep/下？一步”。退每引军您是否出屯将此数据阵用于生产目的?开览嫌M桩建斗：M/5QIoM/5QI创逢此期？m特梦可用国却SfufftH上t冥侧特甘IOPS行儒用作割认用.?.专每相F:丘口吕寺门11.在接下来的“

12、DBInstanceDetails/指定数据库详细信息”屏幕上，按以下内容进？彳亍设置：12. /数据库实例类/多可？用区部署/分配的存储空间:5/数据库实例标识符：RDSLab:/主？用户名AWSMaster/主密码:AWS12345单击“NextStep/下?一步”。13. 在接下来的“AdditionalConfig/配置？高级设置”屏幕上，按以下内容进？行设置：/数据库名称:RDSLab/公开访问：否/VPC安全组：选择包含？文本“qlstack”的安全组在备份中，选择备份保留期为0天。14. 单击“LaunchDBInstanee/启动数据库实例”。15. 从亚马逊系统映像(AMI)

13、创建AmazonLinux实例要开始创建第？一个Amazon实例，您需要访问Amazon管理控制台上的AmazonEC图标，然后使？用向导返回AWS管理控制台(它在浏览器中仍是打开的)。16. 单击AWS管理控制台？首页上的EC2图标。17. 单击Instances/实例”链接来创建实例。18. 单击“Launchinstance/启动实例”按钮来开始该过程。19. 在第？一个对话窗？.口中，步骤1：选择？一个Amazon系统映像，然后单击该AMI旁边的“Select/选.”来选择AmazonLinuxAMI实例。注意:确认是64位的映像。步骤2:使实例类型保留默认设置，即。要继续，则单击“N

14、ext:ConfigurelnstanceDetails/下？一步：配置实例详细信息”。20. 步骤3:ConfigureinstanceDetails/配置实例详细信息，我们将保留所有默认选项，并单击“Next:AddStorage/下？一步：添加存储”。21. 步骤4:AddStorage/添加存储，保留默认虚拟拟硬。单击“Next:Taginstanee/下？一步：标签实例”。注意：您可以在此轻松增加更多虚拟硬盘或更改硬盘?大?小。步骤5:Taginstance/标.实例，使？标签实例界？面为实例命名。您将注意到左边？文本框填充了标签的名字为Name右边?文本框为空。在空？文，键？入名称

15、，例如“EC2FreeLab并单击“Next:ConfigureSecurityGroup/下？一步：配置安全组。步骤6:ConfigureSecurityGroup/配置安全组，接受默认安全组，因为它允许通过端？口22(SSH)从任意位置连接此Linux实例，单击“ReviewandLaunch/审核和启.22. 步骤7:通过“ReviewinstanceLaunch/审核和启.动”，您可以获取全部设置的概览。单击“Launch/启动”以继续。23. QwikLab？自动.您？生成的密钥.应.自动填第？二个下拉框。24. 单击“acknowledgement/确认”复选框，声明。25. 现在

16、，单.aLaunchinstance/启.实例。26. 单击“Viewinstances/查看实例。42.40.将ec2-user键?入HostName字段，然后将您复制到剪贴板板的连接字符串粘贴到单击单词“Auth”选择“Auth”类（？而不是单词“Auth”旁边的+符号）43. 单击“Browse”。44. 浏览到您稍早在本实验中保存.ppk?文件的位置45. 选择您下载的.ppk?文件。46. 单击“Oper”。47. 在PuTTY客户端，单击“Operf。48. 出现提？示时，单击“Yes”允许PuTTY缓存服务器的主机键。您已成功登录了PuTTYConfigurationLinux主

17、机！3SessionLoggingjTerrmnai-Keytjoand阴IFeatures白Window.Appearance-Behaviour-Trarslation-SelectionCaloursS-ConnectionDataPnoxy.Telnet-Rlfigini+SSH?SerialCategory；BasicoptionsforyourPuTTYsessionSpecifythedestinationyouwanttoconnecttoHostMarne(crIPaddness)Portec2-Liser(?ec2-&4-223-213-norlh-22Cannediort

18、ype:Load.saveordeleteastoredsessionSavedSessonEIDefaulSettnQSLoadSaveDHeteosewindoworexit-AlwaysNever?.Onlyoncleanext:RawJ1TelnetRlogin?:SSHCSerialAjOLTtOpenCaned50. 回到RDS页？面，选中并展开之前创建的RDS实例。50. 记录下Endpoint/终端节点名字，?比如：51. 回至VLinuxEC2主机的终端，输？入以下命令：$mysql-h-p-uAWSMaster在密码的提？示符下输？入AWS12345然后在mysql提？示符

19、下输？入showdatabases;?并检查结果。52. 您现在已将MySQ客户端连接到您新创建的RDS实例。恭喜您！Hadoop云计算实验报告（P21-）1、实验目的在虚拟机Ubuntu上安装Hadoop单机模式和集群；编写一个用Hadoop处理数据的程序，在单机和集群上运行程序。2、实验环境虚拟机：VMware9操作系统:Hadoop禾口Jdk禾口EclipseHadoop集群：一台namenode主机master，一台datanode主机salve,3、主要设计思路在ubuntu操作系统下，安装必要软件和环境搭建,使用eclipse编写程序代码。实现大数据的统计。本次实验是统计软件代理系

20、统操作人员处理的信息量，即每个操作人员出现的次数。4、算法设计该算法首先将输入文件都包含进来，然后交由map程序处理，map程序将输入读入后切出其中的用户名,并标记它的数目为1,形成word,1的形式，然后交由reduce处理，reduce将相同key值（也就是word）的value值收集起来，形成word,listof1的形式，之后再将这些1值加起来，即为用户名出现的个数,最后将这个key,value对以TextOutputFormat的形式输出UHDFS中。5、安装实验环境安装ubuntu操作系统1)打开VMware,在Hometab中单击”CreateaNewVirtualMachine

21、,2)选择custom，选择虚拟硬件版本，选择ios文件，next,3)录入目标操作系统信息，包括Fullname、Uername和Password,next,4)选择默认的选项，一般不做更改，最后确认信息，Finish,5)安装成功后，会看到如下画面,安装配置Samba安装samba主要为了实现与windows操作系统的通讯，由于server版本的ubuntu没有白带图形操作界面，所以下载资料等操作不太方便，这也是安装samba的目的之一。1)安装samba,输入如下命令:2)安装vim3)创建共享目录，并修改权限4)配置samba。修改samba的配置文件/etc/samba/，将secu

22、rity=share,并在文件的末尾追加如下内容,5)测试。在windows实机中，通过ip访问ubuntu虚拟机，可以见到share文件夹安装配置JDK/usr/lib/jvm/首先，下载java开发工具包JDK在本次试验中，我们下载的版本是。解压安装到目录下，更名为java-7-sun配置环境变量/etc/environment使配置生效测试安装配置结果在单节点（伪分布式）环境下运行HADOOP1）添加Hadoop用户并赋予sudo权限2）安装配置SSH切换至hadoop用户，配置密钥，使得hadoop用户能够无须输入密码，通过SSH访问localhost测试结果：3）安装配置Hadoop

23、列举。首先下载Hadoop,解压缩到/opt/hadoop目录下,更改目录名称为hadoop。修改与hadoop相关的配置文件（在/opt/hadoop/conf目录下），分别是,。在此不4）运行Hadoop首先格式化HDFS,启动单节点集群，通过jps查看，masterslave停止单节点集群，在多节点（分布式）环境下运行HADOOP1）设置/etc/hosts文件2）设置节点之间无密码SSH登陆验证配置SSH是否正确3）修改集群配置文件列出修改master的masters、slaves，修改所有节点的,在此不在master上格式化HDFS启动和停止集群启动集群，在master上启动HDFS

24、后，jps结果如下：masterslave在master上启动mapreduce后，jps结果如下:masterslave停止集群6、运行程序1.在单机上运行程序(1)在Eclipse下，新建map/reduce工程新建一个java类UserNameCount,编写代码(3)运行程序，结果如下：(4)在eclipse中编译好源代码后，导出程序的jar包，供在集群上使用(1) 2.在集群上运行程序启动集群，通过jps命令查看master,slave上启动的服务列表，结果如下(2) 在集群环境下运行该程序jar包()，结果如下：(3) 查看集群环境下启动程序生成的结果，即output文件，结果如下:数据统计结果在part-r-00000中，具体内