![播客hadoop课程详细笔记--第1天_第1页](http://file4.renrendoc.com/view/a5b5c3f49e7a09ccd55a97e3bc861e53/a5b5c3f49e7a09ccd55a97e3bc861e531.gif)
![播客hadoop课程详细笔记--第1天_第2页](http://file4.renrendoc.com/view/a5b5c3f49e7a09ccd55a97e3bc861e53/a5b5c3f49e7a09ccd55a97e3bc861e532.gif)
![播客hadoop课程详细笔记--第1天_第3页](http://file4.renrendoc.com/view/a5b5c3f49e7a09ccd55a97e3bc861e53/a5b5c3f49e7a09ccd55a97e3bc861e533.gif)
![播客hadoop课程详细笔记--第1天_第4页](http://file4.renrendoc.com/view/a5b5c3f49e7a09ccd55a97e3bc861e53/a5b5c3f49e7a09ccd55a97e3bc861e534.gif)
![播客hadoop课程详细笔记--第1天_第5页](http://file4.renrendoc.com/view/a5b5c3f49e7a09ccd55a97e3bc861e53/a5b5c3f49e7a09ccd55a97e3bc861e535.gif)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
2建开发环我们的开发是在虚拟机下进行的。在windows操作系统中安装虚拟机软件,在虚拟机中linux操作系统称为“客户机”。我们使用的OracleVirtualBox作为虚拟机RedHat公司linux版本。虚拟机软件的安VirtualBox简VirtualBox号称是免费虚拟机软件中最强的,拥有丰富的特色和出色的性能,在虚拟机我们选择它的理由是十兆的安装程序,安装完成后也只有120多兆,太小巧了。功能简单实用。配置简单、克隆系统、共享文件、虚拟化等一样不免费。这是最大的VirtualBox安读者根据自己的电脑情况适合自己操作系统的安装程序,作者的系统是WindowsXP32位,以下截图是来自WindowsXP的。安装完成后,在电脑的“网络连接”中,会多出一个网络连接,如图2-12-点击桌面上的VirtualBox图标,就可以打开VirtualBox了,如图2-2所示2-定”命令,如2-3所示。2-一个磁盘空间较大的位置,如2-4所示。2-2-选择“扩展”选项,点击安装符号,选择一个扩展包进行安装,如图2-62-至此,虚拟机安装结操作系统的安该公司发布的Linux是基于开源产品的,如果我们使用是免费的,如果进行升级或者接收技术支持,那就需要了。RedHat主要应用于服务器领域,在服务器市场占有很大的我们使用虚拟机安装RedHat新建虚拟机并配置参数2-内存大小默认值是512,修改为1024,如图2-8所示,点击“下一2-设置是否创建虚拟硬盘,使用默认值,如图2- 所示,点击“创建”按钮2-选择虚拟磁盘类型,我们使用默认值,如图2- 所示,点击“下一步”按钮2-设置是否动态分配磁盘空间,使用默认值,如图2- 所示,点击“下一步”按钮2-设置磁盘文件大小和存放位置,使用默认值,如图2- 所示,点击“创建”按钮2-弹出窗口框关闭,如图2-13所示2-点击的设置,会弹出一个针对本操作系统设置的窗口,如图2- 所示2-选择“常规”选项,修改允许双向粘贴和拖放功能,如图2-15所示2-选择“”选项,增加光驱,如图2-16所示,点击“选择磁盘”,把我们的操作系统的iso文件选中2-这样系统启动的时候会从虚拟光驱引导,进行安装,这一步很重要选择“网络”选项,将网络连接方式修改为“仅主机适配器”,如图2- 所示2-点击弹出窗口框右下角的“确定”按钮,关闭弹出窗口框,如图2- 所示2-Host-Only连接方式,使得宿主机和客户机可以单独构造一个网络,不同于宿主机所在的网络。这样,两个网络完全。新搭建的网络的网段是192.168.56。操作系统的安装点击虚拟机的“启动”,就会弹出窗口,进入操作系统的安装界面,如图2- 示2-用鼠标点击窗口,然后按回车键,就进入了RedHat安装的引导过程宿主机操作。如果要退出独占,按组合键“Ctrl”+“Alt2-5中已经设置。如图2-20,询问是否检查磁盘,选择“Skip”,然后按回车键。如图221,点击“Next”2-如图2-21所示,选择点击“Next”按钮2-选择安装语言,读者可以根据自己的喜好选择,建议使用英文,如图2-22所示,点击2-选择键盘类型,这里使用默认值,如图2-23所示,点击“Next2-选择设备类型,这里使用默认值,如图2-24所示,点击“Next2-询问是否格式化磁盘空间,选择“Yes”,如图2-25所示,点击“Next2-小提示windows系统的空间数据丢失,只是对空间修改主机名称,我们使用“hadoop0”,如图2-26所示,点击“Next2-注意:在以后的章节中,会使用这里设定的主机名,如果读者不使用“hadoop0”,请选择时区,我们修改为“Asia/Shanghai”,如图2-27所示,点击“Next”按钮2-2-注意:该是以后登录linux系统时必须使用的,请读者牢记。这里的设置过于简单,是为了学习方便。在正式生产服务器中绝对不能这么设置,很容易被攻破,应该设置为数字、大小写字母、特殊符号的组合。警告过于简单,不用理会,点击“UseAnyway”按钮,如图2-29所示2-选择安装类型,我们使用默认值,如图2-30所示,点击“Next2-出现确认信息,询问这样做会造成磁盘数据丢失。由于是新的虚拟机磁盘,没有数据,我们同意,点击“iechagestoisk”按钮,如图2-31所示。2-“Customizenow2-32所示,点击“Next”按钮。2-在软件定制部分,我们选择安装MySQL数据库,如图2-33所示,在我们以后学习时会用到,点击“Next”按钮2-然后进入操作系统的安装过程,如图2-34,会持续很长时间,读者不要随时操作虚拟机,防止安装失败,请耐心等待。2-经过漫长的等待,终于安装完了,如图2- 所示,点击右下角的“Reboot”按钮2-系统的初始配置系统重启后进入系统初始配置页面,如图2-36所示,点击“Forward”按钮2-这是关于操作系统的使用协议,我们当然同意了,如图2- 所示,点击“Forward”钮2-进行软件的自动更新,我们没有联网,没有,不能更新,如图2-38所示,点击2-询问是否创建一个非管理员用户,如图2-39所示,我们不打算这里不创建,点击2-询问是否修改系统时间,我们不做修改,如图2-40所示,点击“Foward2-提示内存不足,我们不用例会理会,如图2-41所示,点击“OK”按钮2-2-系统加载刚才的配置信息,终于进入登录页面了,如图2-43所示2-点击“Other…”,输入用户名root,如图2-44所示,点击“Login2-输入wuchao,如图2-45所示,点击“Login”按钮2-注意:root用户具有最高权限,操作方便,本书所有操作都是以root用户进行的,实际工作中一般不会直接使用root用户。读者如果对linux权限不熟悉,请一定使用root用这样,就看到了RedHat的桌面,如图2-462-现右键菜单,如2-47所示。,2-点击“EditConnections…”,弹出窗口框,如图2-48所示2-选中连接,点击右侧“Edit…”,出现弹出窗口框,如图2-49所示2-左上角有个复选框,请选中,表示启用自动连接,然后点击右下角的“Apply…”,然后依次关闭弹出窗口。会发现桌面右上的红叉了,这表明网络已经连通了。是01,如图2-50所示。2-至此,RedHat安装完毕关于RedHat的 操作的只是,可以查看本书的附录部分 连接工具的安Putty作为连接linux的工具,支持SSH和 该软件不需要安装,直接打开使用即可,如图2-51所示2-HostNameRedHatip地址,其余设置使用默认值,然后点击最wuchao即可连接。本操作就是使用PieTTY完成的。文件传输工具的安WinSCP是一个Windows环境下SSH的开源SFTP客户端,同SCP协议。全球最大开源软件托管平台SourceForge。安装分成非常简单,按照提示一步步操作即可,中间没有需要做出选择、判断的地方。安装完成后,打开软件,点击右上方的“新建”按钮,如图-52所示,弹出新的窗口框,如图2-532-2-具就会连接的机器。如果成功,会看到如图2-54所示。2-可以使用该工具进行宿主机和客户机之间的文件传输,类似FTP。下面章节,在RedHat中使用的很多软件就是通过WinSCP从Windows传输过去的我们使用的版本是Oracle的jdk-6u24-linux-i586.binjdk移动到/usr/local下。进入到/usr/local下,通过“.”解压文件,如图2-55所示。2-解压缩完成后,我们可以查看到新产生的jdk1.6.0_24mvjdk,目的是方便以后,如图2-56所示。2-接下来把jdk令配置到环境变量中在linux下,有很多配置环境变量的地方,分为全局环境变量和局部环境变量。linux加载的时候,会先找全局环境变量,如果找不到,就找局部变量。本书中,我们只设置全局环境变量。2-export在文件最后增加以下内容,读者可以粘贴我的export环境下执行命令如下命令保存关闭后,需要在 我解释一下保存关闭后,需要在 个是PATH。对于环境变量的,使用“$”,多个环境变量之间的连接,使用“:”。大家在设置环境变量的时候,一定与windows下的操作区分开,不要。命令“source”是为了让现在使用“java-version”命令,如果看到如图2-58的输出,那就证明一切2-关闭RedHat内置一个文本行的管理工具,可以管理、ip地址、各类服务等信息的设置。使用setup命令调出该工具,如图2-59所示。注意:该工具不支持鼠标操作,以下所有操作都需要使用键盘2-选择“Firewallconfiguration”,然后按回车,你会看到如图2-60所示2-会看到中间的方括号中有“*,只需要按一下空格键,符号“*”就会。最后使用“ab”键移动到“OK回车,一步步退出就行了。那么,是否真的被关闭了哪?使用如图2-61中令验证2-在linux下称作“iptables”。该命令的含义是查看服务iptables的状态。如果提示信息如上图所示,说明已经被关闭。注意:的目的是关闭尽可能不用的端口,避免被,保证服务器运行安全。我们这里是实验环境,为了避免无谓的错误,选择关闭。在实际工作中,尽可能不这么做。因为hadoop集群之间通过主机名互相,所以必须设置dns解析。使用gedit编2-在文本最后追加一行,“01hadoop0ip与主机名之间使用空格分开,如图2-63所示2-保存并关闭编都是命令行,所以只能使用net了。net的缺点是通信不加密,非常不安全,只适合于内网。为解决这个问题,推出了加密的通信协议,即SSH。SSH的全称是SecureS,使用非对称,传输内容使用rsa或者dsa加密,可以有效避免网络。hadoop的进程之间通信使用ssh方式,需要每次都要输入。为了实现自动化操作,我们下面配置SSH的免登录方式。首先到用户主下,如图2-64所示2-现在执行命令,生成密钥,如图2-652-解释一下 rsa”表示使用rsa生成密钥,回车后,会提示三次输然后进入密钥文件夹,执行命令,如图2-66所示2-其中,命令“cpid_rsa.pubauthorized_keys”用于生成文件。至此,配置部分完注意:文件夹“.ssh”中的三个文件的权限,是有要求的,“自己之外的任何人对每个文件都没有写权限”。另外,“.ssh”文件夹是700权限。如果权限有问题,会造成SSH现在开始验证SSH无登录,如图2-67所示2-执行“sshlocalhost”意味着使用“ssh”通信协议主机“localhost”,第一次执行时需要确认;第二次不再确认了。这就是无登录。当登录到对方机器后,退出使用命令exit”。这两次操作时,注意观察主机名变化。读者可以执行命令“sshbook0”,验证dns对book0解析是否正确。注意:使用命令ssh时,一定要观察主机名的变化。很多同学在操作ssh时,由于大量的使用ssh登录退
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 六年级下册信息技术教案
- 教育实习总结
- 八年级语文《桃花源记》教案
- 保育员的职业道德教学课件
- 八年级物理滑轮教案
- 肇庆市广宁县石咀镇社区工作者招聘考试试题及答案2024
- 绍兴市新昌县澄潭街道社区工作者招聘考试试题及答案2024
- 码头工程安全管理策划书 (海上施工)
- 土地工程质量评估报告
- 多孔植生砼预制块护坡工程
- 高墩刚构桥施工电梯方案
- 不得不学的出入境英语
- 食品感官评价--第二章+食品感官评定条件
- (施工方案)墙面铲除抹灰施工方案方案
- 海尼曼G1内容梳理(1)
- 部编人教版二年级道德与法治上册第四单元 《我们生活的地方》单元解析
- 九年级数学培优辅差计划
- 乙醇-水精馏塔顶产品全凝器的设计
- 功夫熊猫英文介绍PPT课件
- 中南大学湘雅二医院心血管内科重点学科申报书
- 口腔专科医院消毒灭菌效果及环境卫生学监测制度(完整版)
评论
0/150
提交评论