实训1 基础实训环境准备

实训2.1基础实训环境准备1.实训目的通过本实训对大数据实训环境配置做一个前期准备操作，了解各个节点之间的基础通信原理。2.实训内容该实训主要针对集群配置做前期的域名映射、SSH免密登陆工作，对SSH安全通信协议以及通信方式有所了解，对大数据服务组件之间安全通信有所了解。3.实训要求以小组为单元进行实训，每小组5人，小组自协商选一位组长，由组长安排和分配实训任务，具体参加实训内容中的实训过程。4.准备知识本实训任务可以配套大数据实训平台，由平台分发三台裸机服务器。如果没有使用大数据实训平台，则首先需要先你的电脑上安装好VMware或者VirtualBox等相类似的软件，然后装一台Centos7虚拟机，然后克隆三台出来，并配置好ip地址，可自行查阅相关资料，或者查看本书后面的附录页。同学们需要提前学习一些简单的Linux基础知识、网络基础知识、云计算基础知识，如果是学会配置虚拟机之间的网络等等，如基础比较薄弱，可以在老师的指导下进行学习。由于涉及面比较广，建议同学之间加多交流，打下良好基础，为后面的学习做准备。5.实训步骤（1）搭建集群服务器老师按照平台操作手册，分发给学生初始裸机环境。一共是三台服务器，一台是主节点，两台是从节点。角色、ip地址、用户名、密码等信息初始化情况如图2-3所示。角色ip地址cpu内存用户名密码master192.168.128.1312核1.5groothadoopslave1192.168.128.1322核1groothadoopslave2192.168.128.1332核1groothadoop图2-3所提供的服务器基本情况（2）MobaXterm的使用如果想要操作服务器，一般都会使用第三方工具进行连接操作，第三方工具如MobaXterm、XShell、SecureCRT等等，工具的使用大同小异，此处使用目前比较主流的MobaXterm，由于MobaXterm具有绿色版本，所以不需要安装，直接双击即可打开使用页面，如图所示2-4所示。图2-4MobaXterm软件首页（3）新建会话①点击页面中部的“Newsession”即可打开新建回话页面，此时默认选择是“SSH”类型，不需要选择，直接输入远程主机的ip地址（此时输入master的ip地址），然后勾选“指定用户名”，输入用户名（此时为root用户），其余保持默认不变，如图2-5所示。图2-5设置会话接着，点击窗口下方的“OK”按钮。此时会提示输入root用户密码，如图2-6所示。图2-6提示输入密码输入密码后，会提示是否保存密码，点击“Yes”，如图2-7所示。图2-7保存密码此后即可连接上master服务器，如图2-8所示。图2-8连接上服务器页面点击左上角菜单栏的“终端”，选择“打开新标签”，跟上面一样的操作连接上slave1和slave2节点，如下图2-17所示。图2-17各节点均需连接上连接好后，可以右击会话，将会话名称分别改为master、slave1、slave2，以方便辨识。修改master主机名（如果主机名已经修改好，可忽略此操作）命令格式：hostnamectlset-hostname主机名hostnamectlset-hostnamemaster

bash结果如图所示：图2-17修改主机名slave1、slave2的主机名也分别修改好。添加域名映射①先安装好加强版vi编辑器，使编辑页面更加美观在三台节点上执行：yuminstall-yvim提示以下页面则表示安装成功，如图2-所示：②使用vim命令编辑/etc/hosts文件在三台节点上执行：vim/etc/hosts然后添加三台主机ip地址和主机名映射关系，内容为：192.168.128.131master192.168.128.132slave1192.168.128.133slave2如图2-18所示。图2-18配置域名映射配置好之后可以通过主机名来代替ip进行一系列的操作。③保存退出后，使用cat命令查看配置的文件是否配置好：cat/etc/hosts如果查看到/etc/hosts文件里面有映射关系，则表示配置好了。如下图2-19所示。图2-19校验域名映射④同理，在slave1、slave2上也要配置好域名映射，域名映射的内容是一样的。（5）配置三台服务器的SSH免密码登录①生成服务器的密钥。在master上执行：ssh-keygen②输入之后连续按三次回车，则可以生成服务器的密钥，如图2-20所示。图2-20生成服务器密钥③在slave1、slave2上也要执行上面两步来生成密钥。（6）配置公钥到authorized_keys文件（slave1、slave2节点）①将master的公钥id_rsa.pub写入到authorized_keys文件。在master上执行：cd~/.sshcatid_rsa.pub>>authorized_keysls执行结果如图2-21所示。图2-21写入公钥到authorized_keys文件②将slave1的公钥id_rsa.pub写入到authorized_keys1文件，此处是authorized_keys1文件，因为等下要拷贝到master节点，所要需要做一下区分，使用其他文件名也可以。在slave1上执行：cd~/.sshcatid_rsa.pub>>authorized_keys1执行结果如图2-22所示。图2-22写入公钥到authorized_keys1文件③将slave2的公钥id_rsa.pub写入到authorized_keys2文件。在slave1上执行：cd~/.sshcatid_rsa.pub>>authorized_keys2执行结果如图2-23所示。图2-23写入公钥到authorized_keys2文件④将authorized_keys1文件拷贝到master节点，此处注意ip地址需要修改成自己的master节点的ip地址，所以也可以使用master节点的主机名代替。在slave1上执行：scpauthorized_keys1root@master:~/.ssh/执行结果如图2-24所示。图2-24拷贝slave1公钥到master⑤将authorized_keys2文件拷贝到master节点。在slave2上执行：scpauthorized_keys2root@master:~/.ssh/执行结果如图2-25所示。图2-25拷贝slave2公钥到master⑥此时，master上其实已经有了slave1和slave2的公钥。需要对公钥进行整合，然后再分发到slave1和slave2，这样才能实现各节点间能够进行免密码登录。 在master上执行：catauthorized_keys1>>authorized_keyscatauthorized_keys2>>authorized_keys执行步骤如图2-26所示。图2-26汇集三台服务器的公钥⑦查看authorized_keys文件是否已经有各节点的公钥。在master上执行：catauthorized_keys执行结果如图2-27所示。图2-27查看汇集结果⑧将master的authorized_keys文件拷贝到slave1、slave2节点的/root/.ssh/目录下，以达到互相可以免密码访问的目的。在master上执行：scpauthorized_keysroot@slave1:~/.ssh/scpauthorized_keysroot@slave2:~/.ssh/执行步骤如图2-28所示。图2-28分发公钥到slave1、slave2⑨测试免密码登陆校验的命令为（ssh后面有一个空格）：命令格式：ssh主机名ssh登录进去后，务必记得使用exit命令退出再测试其他节点。可以发现，从master节点ssh到master、slave1、slave2均不用输入密码（如出现需要输入yes/no，输入yes即可，下次再重新执行就不会再出现），表示免密码登录是成功的。校验结果如图2-29所示。图2-29校验master是否能够免密码登录slave1和slave2⑩测试slave1和slave2能否免密码登录到master，如果没有问题，也是可以免密码登录的，此处不再截图。6.实训总结前期的基础配置准备工作，为之后的环境搭建做好充分的准备。该实训主要通过SSH免密码登陆配置，使学生对实操节点之间的这种SSH通信方式有所感知。本实训课程对于初学者而言，最难的是没有接触过Linux操作，如果接触过的话上手会很快。其实也可以不使用XShell工具，但是为了刚好地操作，此处使用了远端登录工具，直接在Windows上就可以操作集群，如果没有使用工具，则应该直接进去操作集群。免密码登录是大数据集群的大前提，如果没有进行免密码，节点之间是无法进行友好通信的，而域名映射，是为了替代ip，方便集群的管理与相关配置的迁移等等。学习的时候，需要理解好实训的目的。每个人的用户名及ip都会有所不同，本书的用户名和ip需要特别留意，后期会一直使用，先记住以便不在学习中混淆。如果是自己搭建的虚拟机，可以取一个短的名字和设置一个便于记忆的ip，以便学习。最后，总结一下同学们在操作过程中比较容易遇到的错误：①如果是自己搭建的环境，可能会没有scp命令，此时可以自己安装一下。②需要特别注意的是，生成的公钥文件其实只有一行内容，在实操的时候，不要将authorized_keys里面的内容复制出来，然后再编辑，最好是跟着实