第2章 Hadoop伪分布式安装

第2章Hadoop伪分布式安装2.1Linux操作系统嵌入式系统基本概念

Hadoop集群一般运行在Linux操作系统上，因此本节介绍Linux操作系统的基础知识，包括Linux的产生、Linux的组成、Linux的发行版本和Linux基本命令等。2.1.1概述嵌入式系统基本概念

Linux是一套可自由传播和免费使用的类Unix操作系统，是一个多任务、多用户、支持多线程和多处理器的操作系统。它能运行主要的Unix应用程序、工具软件和网络协议。它支持64位和32位硬件设备。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的网络操作系统。2.1.2Linux的组成嵌入式系统基本概念

Linux一般有4个主要部分：内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构，它们使得用户可以运行程序、管理文件和使用系统。2.1.2Linux的组成嵌入式系统基本概念

1.内核内核是操作系统的核心，具有很多最基本功能，它负责控制硬件设备、文件系统、进程调度以及其它工作，决定着系统的性能和稳定性。一个内核不是一套完整的操作系统。Linux内核由如下几部分组成：存储管理、CPU和进程管理、设备驱动程序、文件系统和网络管理，以及系统引导、系统调用等。2.1.2Linux的组成嵌入式系统基本概念

2.shellshell的原意是外壳，用来形容物体外部的架构。Linux系统的shell作为操作系统的外壳，为用户提供了使用操作系统的接口。它接收用户输入的命令并把它送入内核去执行，是一个命令解释器。另外，shell编程语言具有普通编程语言的很多特点，比如它也有循环结构和分支控制结构等，用这种编程语言编写的shell程序与其他应用程序具有同样的效果。2.1.2Linux的组成嵌入式系统基本概念

3.文件系统文件系统是操作系统的重要组成部分，也是用户同计算机系统打交道的最直接的载体，主要负责管理磁盘文件的输入输出。文件通过目录方式进行组织，目录结构是文件存放在磁盘等存贮设备上的组织方式。目录提供了管理文件的一个方便而有效的途径。2.1.2Linux的组成嵌入式系统基本概念图2-1Linux目录结构2.1.2Linux的组成嵌入式系统基本概念

4.应用程序经过多年的发展和积累，在自由软件世界中不断努力的软件开发人员为开发源码领域贡献了无数优秀的应用程序。Linux操作系统下的应用软件已经非常丰富，不仅功能全面，而且性能卓越。标准的Linux系统一般都有一套称为应用程序的程序集，它包括文本编辑器、编程语言、XWindow、办公套件、Internet工具和数据库等。2.1.3Linux的内核版本与发行版本嵌入式系统基本概念市面上存在着许多不同的Linux版本，但它们都使用了Linux内核。不同的厂商把发布的内核和相关的应用程序组织构成一个完整的操作系统，让普通用户可以简便地安装和使用Linux。这就是不同的发行版本。系统内核版本号与发行版本号是相对独的，发行版本号随着发布者的不同而不同。常见的Linux发行版本有RedHatLinux、CentOS及UbuntuLinux等等2.1.4Linux基本命令嵌入式系统基本概念

1.cd命令cd命令用于切换当前工作目录，它的参数是要切换到的目录的路径，可以是绝对路径，也可以是相对路径。“.”则是表示当前所在的目录，“..”则表示当前目录位置的上一层目录。例如：

cd/user/data#切换到目录/user/datacd./path#切换到当前目录下的path目录中

cd..#返回上层目录2.1.4Linux基本命令嵌入式系统基本概念

2.ls命令即list之意，用于显示指定工作目录下的文件及目录，它的参数较多，如：-a：显示所有文件及目录(.开头的隐藏文件也会列出)。-d：仅列出目录本身，而不是列出目录的文件数据。-h：将文件容量以较易读的方式（GB、KB等）列出来。-l：列出文件详细信息。-R：连同子目录的内容一起列出（递归列出），等于该目录下的所有文件都会显示出来。2.1.4Linux基本命令嵌入式系统基本概念上述参数可以组合使用，例如：ls-l#列出当前目录下的文件和目录的详细信息ls-aR

#列出当前目录和子目录下的所有文件3.pwd命令pwd命令用于显示当前目录的绝对路径。2.1.4Linux基本命令嵌入式系统基本概念

4.mkdir命令

mkdir命令用于创建目录。常用选项为-p，表示创建一个路径上不存在的目录。例如：mkdira#在当前目录下创建一个名为a的目录mkdir/temp#在根目录下创建一个名为temp的目录mkdir-pd1/d2/d3#在先前不存在的d1/d2/路径下创建目录d32.1.4Linux基本命令嵌入式系统基本概念

5.cat命令该命令用于查看文本文件的内容，后接要查看的文件名。例如：cat/user/data/a.txt#查看/user/data/路径下a.txt文件内容2.1.4Linux基本命令嵌入式系统基本概念

6.mv命令该命令用于移动文件、目录或更名，是单词move的缩写，它的常用参数如下：-f：如果指定移动的源目录或文件与目标的目录或文件同名，不会询问，直接覆盖旧文件。-i：若指定移动的源目录或文件与目标的目录或文件同名，则会询问是否覆盖，输入“y”表示覆盖，输入“n”表示取消该操作。-u：当源文件比目标文件新或者目标文件不存在时，才执行移动操作。2.1.4Linux基本命令嵌入式系统基本概念例如：

mva1b1#将文件a1改名为b1mva.txt/user/data#将当前路径下的a.txt移动到/user/data路径下2.1.4Linux基本命令嵌入式系统基本概念

7.cp命令该命令主要用于复制文件或目录，是单词copy的缩写，它可以把多个文件一次性地复制到一个目录下，它的常用参数如下：-f：覆盖已经存在的目标文件或目录，而不给出提示。

-i：与-f选项相反，在覆盖目标文件之前给出提示。

-p：连同文件的属性一起复制。

-r：递归复制，将指定目录下的所有文件与子目录一并复制2.1.4Linux基本命令嵌入式系统基本概念例如：cpa.txt/user/data#将当前路径下的a.txt复制到/user/data路径下

cpf1f2f3dir1#将文件f1、f2、f3复制到目录dir1中2.1.4Linux基本命令嵌入式系统基本概念

8.rm命令该命令用于删除一个文件或者目录。是单词remove的缩写，它的常用参数如下：

-f：就是force的意思，忽略不存在的文件，不会出现警告信息。-i：互动模式，在删除前会询问用户是否删除。-r：递归删除，常用于目录删除，递归地删除指定目录及下属的各级子目录和相应的文件，它是一个非常危险的参数，慎用。2.1.4Linux基本命令嵌入式系统基本概念例如：rm-ia.txt#删除当前目录下的a.txt，删除前询问是否删除rm-frdir#强制删除目录dir中的所有文件，并删除该目录2.1.4Linux基本命令嵌入式系统基本概念

9.tar命令该命令是linux下常用的打包程序，默认情况并不会压缩，如果指定了相应的参数，它还会调用相应的压缩程序（如gzip和bzip等）进行压缩和解压，常用参数如下：-c：新建打包文件。-ffilename：指定被处理的文件是filename-v：在压缩/解压过程中，显示正在处理的文件名。-x：从tar包中把文件提取出来。-z：支持gzip压缩/解压文件。2.1.4Linux基本命令嵌入式系统基本概念例如：tar-zxvfjdk-7u71-linux-x64.gz#解压jdk-7u71-linux-x64.gz2.1.4Linux基本命令嵌入式系统基本概念

10.ifconfig命令该命令用于显示或配置网络设备（网络接口卡）的命令，常用参数如下：-a：显示全部接口信息-s：显示摘要信息<interface>address：为网卡设置IPv4地址。例如：ifconfig#查看网络情况ifconfigeth0192.168.5.8netmask255.255.255.0#为eth0配置IPv4地址2.1.4Linux基本命令嵌入式系统基本概念

11.shutdown命令该命令可以用