Hadoop大数据平台构建与应用(工作手册式)（微课版） 课件 7.1 Sqoop安装与配置

Sqoop安装与配置主讲：李强任务描述因为Sqoop是一个用于在关系数据库服务器和Hadoop系统之间传输数据的工具，其中Hadoop系统主要是HDFS、Hive和HBase等，所以Sqoop安装后的配置主要就是针对这几个的环境变量的配置工作以及更新所需的Hive和HBase的程序包。任务分析由于Sqoop2偏向服务化，特别是架构稍复杂，配置部署很繁琐，Sqoop1在功能上完全可以满足基本的需求，所以本项目使用Sqoop1中的Sqoop1.4.7版本。本任务只在master节点上进行安装配置和应用即可。7.1.1安装Sqoop组件1．解压安装文件本手册所使用的版本是Sqoop1.4.7，可以从Sqoop官网下载。下载好的安装包都需上传到指定目录下，本手册指定为/root/目录，使用ls命令可以查看上传的安装包（具体上传方式请参考项目1），如图7-1所示。使用tar命令解压Sqoop到/usr/local/src文件夹，并切换到安装目录下查看，可以使用ls查看解压后的效果，如代码7-1所示，效果如图7-2所示。代码7-1解压安装包图7-1查看安装包tar-zxfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/src/cd/usr/local/src/ls图7-2查看解压好的安装包2．修改文件夹名称由于解压后的文件夹名称带有比较复杂的版本号，为了简化后续配置，此处修改文件夹名称。使用mv命令将解压的sqoop-1.4.7.bin__hadoop-2.6.0目录重命名为sqoop，如代码7-2所示，效果如图7-3所示。代码7-2重命名文件夹图7-2查看解压好的安装包tar-zxfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/src/cd/usr/local/src/ls3．修改环境变量文件为了可以在任何目录下直接执行Sqoop的相关命令，可以在环境变量文件中添加Sqoop的环境变量。参考项目2，使用“vi/root/.bash_profile”将如表7-1所示的配置信息添加到/root/.bash_profile文件的末尾，保存退出。表7-1环境变量文件的添加内容#setsqoopenvironmentexportSQOOP_HOME=/usr/local/src/sqoopexportPATH=$PATH:$SQOOP_HOME/binexportCLASSPATH=$CLASSPATH:$SQOOP_HOME/lib4．生效环境变量文件为了刷新环境变量文件的配置，需要在master节点执行下面的命令使得环境变量文件生效，如代码7-3所示。代码7-3生效环境配置文件source/root/.bash_profile7.1.2修改Sqoop配置文件1．修改sqoop-env.sh文件sqoop-env.sh是Sqoop命令执行时去加载HadoopHDFS环境变量，Hive和HBase环境变量的核心配置文件。由于/usr/local/src/sqoop/conf目录里的是配置模板文件，需要复制为sqoop-env.sh，使用代码7-4的代码复制并修改文件内容。代码7-4修改sqoop-env.sh图7-4Sqoop配置文件修改项cd/usr/local/src/sqoop/confcpsqoop-env-template.shsqoop-env.shvisqoop-env.sh打开这个配置文件后，需要修改的环境变量配置项如图7-4所示。1．修改sqoop-env.sh文件该文件中需要修改的图上的四处设置：首先将每个配置项前面的#去掉；HADOOP_COMMON_HOME和HADOOP_MAPRED_HOME均为Hadoop的安装目录；HBASE_HOME为HBase安装目录；HIVE_HOME为Hive安装目录，具体设置参考内容如表7-2所示。表7-2文件的添加内容exportHADOOP_COMMON_HOME=/usr/local/src/hadoopexportHADOOP_MAPRED_HOME=/usr/local/src/hadoopexportHBASE_HOME=/usr/local/src/hbaseexportHIVE_HOME=/usr/local/src/hiveexportHCAT_HOME=/usr/local/src/hive/hcatalog#此项为新增的配置项2．复制MySQL和Hive的驱动程序包为了使Sqoop能够连接MySQL数据库，需要将mysql-connector-java-8.0.21.jar文件放入Sqoop的lib目录中，该Jar文件的版本需要与MySQL数据库的版本相对应，否则Sqoop导入数据时会报错。（MySQL8.0.21对应的是mysql-connector-java-8.0.21.jar版本）。为了使Sqoop能够连接Hive，需要将Hive组件/usr/local/src/hive/lib目录下的hive-common-3.1.2.jar也放入Sqoop安装路径的lib目录中。使用代码7-5进行复制到/usr/local/src/sqoop/lib/，另外复制之前需要先查看读者本地的驱动包版本，不要照抄本手册。代码7-5复制程序包cp/root/mysql-connector-java-8.0.21.jar/usr/local/src/sqoop/lib/cp/usr/local/src/hive/lib/hive-common-3.1.2.jar/usr/local/src/sqoop/lib/cp/usr/local/src/hive/lib/hive-exec-3.1.2.jar/usr/local/src/sqoop/lib/7.1.3测试安装1．启动Hadoop集群执行Sqoop前需要先启动Hadoop集群，参考项目2在master节点执行start-all.sh启动，并使用jps查看Java进程是否正常，此处不再详述。2．测试连接使用代码7-6中的Sqoop命令连接MySQL，该命令的几个参数说明如下。（1）list-databases：表示显示连接上的MySQL服务器的数据库名称。（2）--connect：MySQL数据库连接URL，此处为：“jdbc:mysql://master:3306/sqoop_db”。（3）--username：MySQL数据库的用户名，此处为“root”。（4）-P：root用户的密码，在交互中输入“Password123$”。（MySQL数据库root用户的密码，请读者根据实际情况修