播客hadoop课程详细笔记--第1天

2建开发环我们的开发是在虚拟机下进行的。在windows操作系统中安装虚拟机软件，在虚拟机中linux操作系统称为“客户机”。我们使用的OracleVirtualBox作为虚拟机RedHat公司linux版本。虚拟机软件的安VirtualBox简VirtualBox号称是免费虚拟机软件中最强的，拥有丰富的特色和出色的性能，在虚拟机我们选择它的理由是十兆的安装程序，安装完成后也只有120多兆，太小巧了。功能简单实用。配置简单、克隆系统、共享文件、虚拟化等一样不免费。这是最大的VirtualBox安读者根据自己的电脑情况适合自己操作系统的安装程序，作者的系统是WindowsXP32位，以下截图是来自WindowsXP的。安装完成后，在电脑的“网络连接”中，会多出一个网络连接，如图2-12-点击桌面上的VirtualBox图标，就可以打开VirtualBox了，如图2-2所示2-定”命令，如2-3所示。2-一个磁盘空间较大的位置，如2-4所示。2-2-选择“扩展”选项，点击安装符号，选择一个扩展包进行安装，如图2-62-至此，虚拟机安装结操作系统的安该公司发布的Linux是基于开源产品的，如果我们使用是免费的，如果进行升级或者接收技术支持，那就需要了。RedHat主要应用于服务器领域，在服务器市场占有很大的我们使用虚拟机安装RedHat新建虚拟机并配置参数2-内存大小默认值是512，修改为1024，如图2-8所示，点击“下一2-设置是否创建虚拟硬盘，使用默认值，如图2- 所示，点击“创建”按钮2-选择虚拟磁盘类型，我们使用默认值，如图2- 所示，点击“下一步”按钮2-设置是否动态分配磁盘空间，使用默认值，如图2- 所示，点击“下一步”按钮2-设置磁盘文件大小和存放位置，使用默认值，如图2- 所示，点击“创建”按钮2-弹出窗口框关闭，如图2-13所示2-点击的设置，会弹出一个针对本操作系统设置的窗口，如图2- 所示2-选择“常规”选项，修改允许双向粘贴和拖放功能，如图2-15所示2-选择“”选项，增加光驱，如图2-16所示，点击“选择磁盘”，把我们的操作系统的iso文件选中2-这样系统启动的时候会从虚拟光驱引导，进行安装，这一步很重要选择“网络”选项，将网络连接方式修改为“仅主机适配器”，如图2- 所示2-点击弹出窗口框右下角的“确定”按钮，关闭弹出窗口框，如图2- 所示2-Host-Only连接方式，使得宿主机和客户机可以单独构造一个网络，不同于宿主机所在的网络。这样，两个网络完全。新搭建的网络的网段是192.168.56。操作系统的安装点击虚拟机的“启动”，就会弹出窗口，进入操作系统的安装界面，如图2- 示2-用鼠标点击窗口，然后按回车键，就进入了RedHat安装的引导过程宿主机操作。如果要退出独占，按组合键“Ctrl”+“Alt2-5中已经设置。如图2-20，询问是否检查磁盘，选择“Skip”，然后按回车键。如图221，点击“Next”2-如图2-21所示，选择点击“Next”按钮2-选择安装语言，读者可以根据自己的喜好选择，建议使用英文，如图2-22所示，点击2-选择键盘类型，这里使用默认值，如图2-23所示，点击“Next2-选择设备类型，这里使用默认值，如图2-24所示，点击“Next2-询问是否格式化磁盘空间，选择“Yes”，如图2-25所示，点击“Next2-小提示windows系统的空间数据丢失，只是对空间修改主机名称，我们使用“hadoop0”，如图2-26所示，点击“Next2-注意：在以后的章节中，会使用这里设定的主机名，如果读者不使用“hadoop0”，请选择时区，我们修改为“Asia/Shanghai”，如图2-27所示，点击“Next”按钮2-2-注意：该是以后登录linux系统时必须使用的，请读者牢记。这里的设置过于简单，是为了学习方便。在正式生产服务器中绝对不能这么设置，很容易被攻破，应该设置为数字、大小写字母、特殊符号的组合。警告过于简单，不用理会，点击“UseAnyway”按钮，如图2-29所示2-选择安装类型，我们使用默认值，如图2-30所示，点击“Next2-出现确认信息，询问这样做会造成磁盘数据丢失。由于是新的虚拟机磁盘，没有数据，我们同意，点击“iechagestoisk”按钮，如图2-31所示。2-“Customizenow2-32所示，点击“Next”按钮。2-在软件定制部分，我们选择安装MySQL数据库，如图2-33所示，在我们以后学习时会用到，点击“Next”按钮2-然后进入操作系统的安装过程，如图2-34，会持续很长时间，读者不要随时操作虚拟机，防止安装失败，请耐心等待。2-经过漫长的等待，终于安装完了，如图2- 所示，点击右下角的“Reboot”按钮2-系统的初始配置系统重启后进入系统初始配置页面，如图2-36所示，点击“Forward”按钮2-这是关于操作系统的使用协议，我们当然同意了，如图2- 所示，点击“Forward”钮2-进行软件的自动更新，我们没有联网，没有，不能更新，如图2-38所示，点击2-询问是否创建一个非管理员用户，如图2-39所示，我们不打算这里不创建，点击2-询问是否修改系统时间，我们不做修改，如图2-40所示，点击“Foward2-提示内存不足，我们不用例会理会，如图2-41所示，点击“OK”按钮2-2-系统加载刚才的配置信息，终于进入登录页面了，如图2-43所示2-点击“Other…”，输入用户名root，如图2-44所示，点击“Login2-输入wuchao，如图2-45所示，点击“Login”按钮2-注意：root用户具有最高权限，操作方便，本书所有操作都是以root用户进行的，实际工作中一般不会直接使用root用户。读者如果对linux权限不熟悉，请一定使用root用这样，就看到了RedHat的桌面，如图2-462-现右键菜单，如2-47所示。，2-点击“EditConnections…”，弹出窗口框，如图2-48所示2-选中连接，点击右侧“Edit…”，出现弹出窗口框，如图2-49所示2-左上角有个复选框，请选中，表示启用自动连接，然后点击右下角的“Apply…”，然后依次关闭弹出窗口。会发现桌面右上的红叉了，这表明网络已经连通了。是01，如图2-50所示。2-至此，RedHat安装完毕关于RedHat的 操作的只是，可以查看本书的附录部分 连接工具的安Putty作为连接linux的工具，支持SSH和 该软件不需要安装，直接打开使用即可，如图2-51所示2-HostNameRedHatip地址，其余设置使用默认值，然后点击最wuchao即可连接。本操作就是使用PieTTY完成的。文件传输工具的安WinSCP是一个Windows环境下SSH的开源SFTP客户端，同SCP协议。全球最大开源软件托管平台SourceForge。安装分成非常简单，按照提示一步步操作即可，中间没有需要做出选择、判断的地方。安装完成后，打开软件，点击右上方的“新建”按钮，如图-52所示，弹出新的窗口框，如图2-532-2-具就会连接的机器。如果成功，会看到如图2-54所示。2-可以使用该工具进行宿主机和客户机之间的文件传输，类似FTP。下面章节，在RedHat中使用的很多软件就是通过WinSCP从Windows传输过去的我们使用的版本是Oracle的jdk-6u24-linux-i586.binjdk移动到/usr/local下。进入到/usr/local下，通过“.”解压文件，如图2-55所示。2-解压缩完成后，我们可以查看到新产生的jdk1.6.0_24mvjdk，目的是方便以后，如图2-56所示。2-接下来把jdk令配置到环境变量中在linux下，有很多配置环境变量的地方，分为全局环境变量和局部环境变量。linux加载的时候，会先找全局环境变量，如果找不到，就找局部变量。本书中，我们只设置全局环境变量。2-export在文件最后增加以下内容，读者可以粘贴我的export环境下执行命令如下命令保存关闭后，需要在 我解释一下保存关闭后，需要在 个是PATH。对于环境变量的，使用“$”，多个环境变量之间的连接，使用“:”。大家在设置环境变量的时候，一定与windows下的操作区分开，不要。命令“source”是为了让现在使用“java-version”命令，如果看到如图2-58的输出，那就证明一切2-关闭RedHat内置一个文本行的管理工具，可以管理、ip地址、各类服务等信息的设置。使用setup命令调出该工具，如图2-59所示。注意：该工具不支持鼠标操作，以下所有操作都需要使用键盘2-选择“Firewallconfiguration”，然后按回车，你会看到如图2-60所示2-会看到中间的方括号中有“*，只需要按一下空格键，符号“*”就会。最后使用“ab”键移动到“OK回车，一步步退出就行了。那么，是否真的被关闭了哪？使用如图2-61中令验证2-在linux下称作“iptables”。该命令的含义是查看服务iptables的状态。如果提示信息如上图所示，说明已经被关闭。注意：的目的是关闭尽可能不用的端口，避免被，保证服务器运行安全。我们这里是实验环境，为了避免无谓的错误，选择关闭。在实际工作中，尽可能不这么做。因为hadoop集群之间通过主机名互相，所以必须设置dns解析。使用gedit编2-在文本最后追加一行，“01hadoop0ip与主机名之间使用空格分开，如图2-63所示2-保存并关闭编都是命令行，所以只能使用net了。net的缺点是通信不加密，非常不安全，只适合于内网。为解决这个问题，推出了加密的通信协议，即SSH。SSH的全称是SecureS，使用非对称，传输内容使用rsa或者dsa加密，可以有效避免网络。hadoop的进程之间通信使用ssh方式，需要每次都要输入。为了实现自动化操作，我们下面配置SSH的免登录方式。首先到用户主下，如图2-64所示2-现在执行命令，生成密钥，如图2-652-解释一下 rsa”表示使用rsa生成密钥，回车后，会提示三次输然后进入密钥文件夹，执行命令，如图2-66所示2-其中，命令“cpid_rsa.pubauthorized_keys”用于生成文件。至此，配置部分完注意：文件夹“.ssh”中的三个文件的权限，是有要求的，“自己之外的任何人对每个文件都没有写权限”。另外，“.ssh”文件夹是700权限。如果权限有问题，会造成SSH现在开始验证SSH无登录，如图2-67所示2-执行“sshlocalhost”意味着使用“ssh”通信协议主机“localhost”，第一次执行时需要确认；第二次不再确认了。这就是无登录。当登录到对方机器后，退出使用命令exit”。这两次操作时，注意观察主机名变化。读者可以执行命令“sshbook0”，验证dns对book0解析是否正确。注意：使用命令ssh时，一定要观察主机名的变化。很多同学在操作ssh时，由于大量的使用ssh登录退