云计算实验报告(20210122104326)

1、云计算原理课程 期末实践报告 题目：Linux 集群、MapReduce 禾口 CloudSim 实践 成绩： 学号： 姓名：罗滔 登录邮箱： 任课老师：许娟 2016年11月12日 目录 实验一：AWS身份与访问管理(P2P11) 实验二：AmazonRelationalDatabaseService (P11P20) 实验三：Hadoop实验报告(P21) AWS管理控制台 使用qwikLABS登录AWS管理控制台 印II靭 IS-i - i i =- B 丁回 曲 ； 2 Hf -T時郎5 f|WlKUB3 他常羽IB事 AWS IAM向介 fikBttr iUrriT 耳占冋出嘏曷再节

2、性丹旳事书轴 6. 在AWS!理控制台中，单击【 服务/Services】，然后单击【IAM或身份与访问管理/ lAMorlde ntity1u tie nt Is not authorized to pei X User: am:aws-cn.iamz:56335502S625.usaws Etude nt i s no1 authorized Io pei 测试对S3的访问权限 您在本实验中使用的awsstudent ”用户所拥有的权限寥寥无几，例如，您可以访问S3仪表板，但无法查看 其中的存储桶。立即对此进行测试： 25. 在主AWS空制台上，单击【服务 /Services】，然后单击【

3、S3】。 26. 您应该会看到三个存储桶。尝试单击存储桶以查看其内容-您将无法查看其内容。 28. 在主IAM仪表板上，在【欢迎使用身份识别和访问管理 /WelcometoldentityandAccessManagement 】 下方，您将看到IAM用户登录链接。复制此URL然后将其粘贴到临时记事本文件中。 30.现在，您的记事本文件中应包含登录URL完整的userthree ”登录名和密码。在新的浏览器中，使用这 些信息以userthree ”的身份登录。 31.您应该会看到标准的AWS空制台。但是，在右上角，您的用户名不再是 awsstude nt ，而是 乍 TAM Managemen

4、tx + kA* 申4尼 迅睡理“ g 1迅蕾迷电黑“,B卒人申心.一 qls-31277-0C57Oddlaa2556c. * qk-3l277-8c57Odd1aO255Sc3-LJ5erthree-7AMZJXGPHUUE 58335202662= 入门S 请参阅我门的艾档或查看我们的培训以了 嚴吏多有黄AWS的信息。 “ userthree ”。 32.现在，访问S3服务仪表板。您可以看到之前的三个存储桶，但现在，作为“S3admi6 组的一部分，您可以查看这些存储桶、复制文件、创建新的存储桶和文件等。 实验二：Amazo nRelatio nalDatabaseService(P12

5、P21) 1. 登录AWS管理控制台 登录之后，返回qwikLAB? 2. 创建RelationalDatabaseService(RDS) 实例要开始创建第？一个AmazonRD实例，您需要 访问Amazor管理控制台上的 AmazonRD图标，然后使？RelationalDatabaseService 向导。 7. 单击？首页上的AmazonRD图标并转到该控制？面板。 8. 单击“ LaunchaDatabaselnstanee /启动数据库实例”按钮来启动 RDS向导。 9. 单击MySQ数据库引擎类型对？面的“ Select /选择”按钮。 10. 看到该数据库是否？用于？生产？目的

6、的询问时，选择“开发测试”单选按钮，然后单击 “ NextStep /下？一步”。 您是否 出屯将此数据阵用于生产目的？ 退毎引军 粧建斗： M/5QI 创逢此期?m特梦可用国却 S fufftH iops行儒用作割认 开览嫌M o M/5QI 上t冥侧特甘 用. .专毎相F：丘口呂寺门 11.在接下来 的“DBInstanceDetails /指定数据库详细信息”屏幕上，按以下内容进 ？行设置： /数据库实例类 /多可？用区部署 /分配的存储空间:5 /数据库实例标识符：RDSLab :/主？用户名AWSMaster /主密码:AWS12345 12. 单击“ NextStep /下？一步”

7、。 13. 在接下来的“ AdditionalConfig /配置？高级设置”屏幕上，按以下内容进 ？行设置：/ 数据库名称:RDSLab /公开访问：否 /VPC安全组：选择包含？文本“ qlstack ”的安全组 14. 在备份中，选择备份保留期为0天。 15. 单击“ LaunchDBInstanee /启动数据库实例”。 从亚马逊系统映像(AMI)创建AmazonLinux实例 要开始创建第？一个Amazon实例，您需要访问 Amazon管理控制台上的AmazonEC图标，然 后使?用向导 16. 返回AWS管理控制台(它在浏览器中仍是打开的)。 17. 单击AWS管理控制台？首页上的

8、EC2图标。 18. 单击“ Instances 实例”链接来创建实例。 19. 单击“ LaunchInstance 启动实例”按钮来开始该过程。 20. 在第？一个对话窗?. 口中，步骤1:选择？一个Amazon系统映像，然后单击该 AMI旁边的 “Select /选.”来选择 AmazonLinuxAMI实例。 注意:确认是 64位的映像。 21. 步骤2：使实例类型保留默认设置，即。要继续，则单击“ Next:ConfigurelnstanceDetails /下?一 步：配置实例详细信息”。 22. 步骤 3： ConfigureInstanceDetails /配置实例详细信息，我

9、们将保留所有默认选项， 并单击“ Next: AddStorage/下？一步：添加存储”。 23. 步骤4： AddStorage/添加存储，保留默认虚拟拟硬。单击“ Next:TagInstanee /下？一 步：标签实例”。 注意：您可以在此轻松增加更多虚拟硬盘或更改硬盘?大 ?小。 24. 步骤 5： TagInstance /标. 实例，使?标签实例界 ?面为实例命名。您将注意到左边 ?文本 框填充了标签的名字为Name右边文本框为空。在空？文，键？入名称，例如“ EC2FreeLab 并单击“ Next:Configure SecurityGroup /下?一步：配置安全组。 25.

10、 步骤 6： ConfigureSecurityGroup /配置安全组， 接受默认安全组， 因为它允许通过端 ? 口 22(SSH)从任意位置连接此 Linux实例，单击“ ReviewandLaunch/审核和启. 26. 步骤7：通过“ Review In sta nceLau nch /审核和启.动”，您可以获取全部设置的概览。 单击“ Launch/启动”以继续。 27. QwikLab?自动.您？生成的密钥.应.自动填第？二个下拉框。 28. 单击“ acknowledgement/确认”复选框，声明。 29. 现在，单 . “LaunchInstance /启 . 实例。 30.

11、 单击“ ViewInstances /查看实例。 40.将ec2-user键?入HostName字段，然后将您复制到剪贴板板的 连接字符串粘贴到42. 单击单词“ Auth ”选择“ Auth ”类（？而不是单词“ Auth ”旁边的+符号） 43. 单击“ Browse”。 44. 浏览到您稍早在本实验中保存.ppk?文件的位置 45. 选择您下载的.ppk?文件。 46. 单击“ Oper” 。 47. 在 PuTTY客户端，单击“ Operf。 48. 出现提？示时，单击“ Yes”允许PuTTY缓存服务器的主机键。 您已成功登录了 Linux主机! PuTTY Configurati

12、on 3 Session Logging j Terrmnai -Keytjoand 阴I Features 白 Window .Appearance -Behaviour -Trar slation -Selection Ca lours S- Connection - Data Pnoxy .Telnet -Rlfigin i+ SSH Serial Load. save or delete a stored session Saved SessonE ose window or exit - AlwaysNever . Only on clean ext Category； Basic

13、options for your PuTTY session Specify the destination you want to connect to Host Marne (cr IP addness)Port ec2-Liser(?e c2-?并检查结果。 54. 您现在已将MySQ客户端连接到您新创建的 RDS实例。恭喜您！ Hadoop云计算实验报告（P21-） 1、实验目的 在虚拟机Ubuntu上安装Hadoop单机模式和集群； 编写一个用Hadoop处理数据的程序，在单机和集群上运行程序。 2、实验环境 虚拟机：VMware9 操作系统： Hadoop 禾口 Jdk 禾口 Ec

14、lipse Hadoop 集群：一台 n ame node 主机 master，一台 data node 主机 salve ， 3、主要设计思路 在ubuntu操作系统下，安装必要软件和环境搭建，使用eclipse编写程序代码。实现大数据的统计。 本次实验是统计软件代理系统操作人员处理的信息量，即每个操作人员出现的次数。 4、算法设计 该算法首先将输入文件都包含进来，然后交由map程序处理，map程序将输入读入后切出其中的用户名， 并标记它的数目为 1，形成 的形式， 然后交由 reduce 处理， reduce 将相同 key 值( 也就是 word) 的 value 值收集起来，形成 的形

15、式，之后再将这些 1 值加起来，即为用户名出现的个数， 最后将这个对以TextOutputFormat 的形式输出到 HDFS中。 5、安装实验环境 安装 ubuntu 操作系统 1) 打开 VMware,在 Hometab 中单击CreateaNewVirtualMachine ， 2) 选择custom，选择虚拟硬件版本，选择 ios文件，next， 3) 录入目标操作系统信息 ，包括Full name、Uername和Password， n ext， 4) 选择默认的选项，一般不做更改，最后确认信息， Finish ， 5) 安装成功后，会看到如下画面， 安装配置 Samba 安装sam

16、ba主要为了实现与 windows操作系统的通讯，由于 server版本的ubuntu没有自带图形操 作界面，所以下载资料等操作不太方便，这也是安装samba的目的之一。 1) 安装samba,输入如下命令： 2) 安装 vim 3) 创建共享目录,并修改权限 4) 配置samba。修改samba的配置文件/etc/samba/ ，将security=share，并在文件的末尾追加如 下内容, 5) 测试。在 windows 实机中,通过 ip 访问 ubuntu 虚拟机,可以见到 share 文件夹 安装配置 JDK 首先，下载java开发工具包JDK在本次试验中，我们下载的版本是。解压安装

17、到/usr/lib/jvm/ 目录下,更名为 java-7-sun 。 配置环境变量 /etc/environment , 使配置生效 测试安装配置结果 在单节点(伪分布式)环境下运行 HADOOP 1) 添加 Hadoop 用户并赋予 sudo 权限 2) 安装配置 SSH 切换至 hadoop 用户， 配置密钥，使得 hadoop用户能够无须输入密码，通过SSH访问localhost , 测试结果： 3) 安装配置 Hadoop 列举。 首先下载Hadoop,解压缩到/opt/hadoop 目录下,更改目录名称为 hadoop。 修改与 hadoop 相关的配置文件(在 /opt/hado

18、op/conf 目录下)，分别是 , 。在此不 4) 运行 Hadoop 首先格式化 HDFS， 启动单节点集群， 通过 jps 查看， master slave 停止单节点集群， 在多节点(分布式)环境下运行 HADOOP 1) 设置 /etc/hosts 文件 2) 设置节点之间无密码SSH登陆 验证配置SSH是否正确 3) 修改集群配置文件 修改 master 的 masters 、slaves ，修改所有节点的 , ，在此不一一列出。 4) 在 master 上格式化 HDFS 5) 启动和停止集群 启动集群， 在master上启动HDFS后，jps结果如下: master slave

19、 在 master 上启动 mapreduce 后，jps 结果如下： master slave 停止集群 6、运行程序 1. 在单机上运行程序 （1）在 Eclipse 下，新建 map/reduce 工程 （2）新建一个java类UserNameCount,编写代码 （3）运行程序，结果如下： （4）在eclipse中编译好源代码后，导出程序的jar包，供在集群上使用。 2. 在集群上运行程序 （1）启动集群，通过jps命令查看master， slave上启动的服务列表，结果如下: radoor-Subunttihadooi?/bins 2S5fi Jps 丄btn 的ai3S 201B

20、from l:adcjap iLunt-li ： - E jp s lb2b lasKLracker 1444 DaaNode |丄竝乩Jo, （2）在集群环境下运行该程序jar包（），结果如下： （3）查看集群环境下启动程序生成的结果，即output文件，结果如下: （4）数据统计结果在part-r-00000中，具体内容如下， 7、源代码: packagehadoop; import import import import import import import import import import import import import import publicclassUserNameCount publicstaticclassUserNam