大数据集群配置过程-hive篇

大数据集群配置过程—hive篇JDDC_SEED_BIGDATA2015-01-15修改历史修改日期担当者审阅人版本号新增2015-01-18孙云涛V1.01.概述本篇文档主要讲解hive的安装过程。Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。因为hbase和hive其底层所使用都是应用hadoop的两个核心部分—dfs和mapreduce。在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引起jar包不支持而导致的jar包替换或jar包重新编译等问题。Hadoop、hbase、hive的版本匹配信息如下：分布式平台软件选型（Hadoop）软傩最新版（曷手）稳定版三（推荐）（言方）稳定版一（'吕方）Hadoop2.5.0'2.2.00.2HBase6.00.兆.50.90.3ZooKeeper.53.4.63.M撵Pig0.13.00.13.00.9.0Hive0.13.1、Chukwa0.5.00.5.0Q-4.0sqoop.2说明：红色为必选。建议采用最新版由于我们所使用的操作系统centos6.5是32位，而且安装的hadoop是hadoop2.2.0，所以本次安装的hive版本是0.12.0切记，在安装hbase之前一定先安装hadoop，而且要确保hadoop中的HDFS和MAPREDUCE都是可以正常使用的。2.正文与hadoop和hbase不同，hive在安装的过程中不需要把hive的包分别发布到个节点上，只需要在namenode节点上hive包进行配置，但需要在配置的过程中指定各个datanode节点的主机名。2-1下载安装mysql本次将Hive配置成Server模式，并且使用MySQL作为元数据数据库。原则上MySQL不必要非得安装在namenode节点上，可以装在一个单独的服务器上，并进行远程联接。本次技术检证，由于资源有限，把mysql安装在namenode节点上。下载MySQL-5.6.22-1.linux_glibc2.5.i386.rpm-bundle.tar，参考下载地址/downloads/。具体的安装以及root初始密码的修改请参考《linux下MySQL安装及设置》和《MySQL修改root密码的各种方法整理》这两篇文档。2.2创建Hive元数据库创建数据库hive：createdatabaseifnotexistshive;创建数据库用户hive：createuserhiveidentifiedby'hive2015';授权可以访问数据库hive的主机和用户：grantallonhive.*to'hive'@'hadoop01'identifiedby'hive2015';grantallonhive.*to'hive'@'hadoop02'identifiedby'hive2015';grantallonhive.*to'hive'@'hadoop03'identifiedby'hive2015';grantallonhive.*to'hive'@'hadoop04'identifiedby'hive2015';2.3安装以及配置hive下载hive-0.12.0-bin.tar.gz，参考下载地址/downloads.htmlo下载之后，把安装包放在/home/hadoop/source/目录下。[root@hadoop02~](cd/home/hadoop/source[root@hadoop02source]JIItotal938404-rw-r--r-rw-1—rdrwxr-xr-rw-1—rdrwxr-xr-rw-r--rdrwxr-xr-x-rw-r--r--Irwxrwxrwxdrwxr-xr-rw-r--r-rw-r--r-rw-1—rdrwxr-xr-rw-r--r-rw-r--r-rw-1—r-rw-1—r-vii-r—r-rw-r--r---rw-r--r---rw-r--r---rwxrwxrwx-rwxrwxrwx-rw-r--r---rwxrwxrwx-rw-r--r--111111018111011141111111111111rootroot67974root67974rootrootrootrootrootrootroot7155rootroot715571557155715571557155rootrootrootrootrootrootrootrootusersrootusersrootrootrootrootrootrootrootwheeIrootrootwheeIwheeIwheeIwheeIwheeIwheeIrootrootrootrootrootroot29662871409682738664409610922307340967936750415409665662469310026240228944524096381115341901381126954148805086523677675294229745247084463442463533441863DecDecDecDecJanJanJanJanJanJanJanJanNovOctJanNovNovNovNovNovNovDecJanJanJanJanJan282828247676242491424171424242424242425771471854configinfc.txtconfiginfc.txthadoop-2.0.0-aIphahadoop-2.0.0-aIpha.tar.gzhadoop-2.2.0hadoop-2.2.0.tar.gz06hbase-0.96.2-hadoop257hbase-0.96.2-hadoop2-bin.tar.gz25hive->hive-0.12.0-bin07hiE.1L0-bin13hi作-CL』-bin.tar~.空I10MySQL-5.6.22-1.Iinux_gIibc2.5.i386.rpm-bundle.tar24MySQL-client-5.6.22-1.Iinux_glibc2.5.i386.rPm05mysqI-conrector-java-S.1.34mysqI-connector-java-5.1.34.tar.gzMySQL-deveI-5.6.22-1.Iinux_gIibc2.5.i336.rpmMySQL-embedded-5.6.22-1.Iinux_glibc2.E.i38G.rpmMySQL-server-5.6.22-1.Iinux_gIibc2.5.i386.rpmMySQL-shared-5.6.22-1.1inux_gIibc2.5.i386.rpm26MySQL-shared-compat-5.6.22-1.Iinux_gIibc2.5.i386.rpm26MySQL-test-5.6.22-1.Iinuscglibc2.5.i386.rpm00profile.txtscp_hadoop.sh22scp_hbase.sh29scp_hive.shscp_profile.sh02zookeeper.out执行以下命令：tarzxvfhive-0.12.0-bin.tar.gz执行完成上述命令会么生一个hive-0.12.0-bin的目录[rootWhadoLipU2~]1cd/home/hadoop/source[rootWhadrinpU2source]J11total938404-^|'|-r—-r--1rootroot2966Dec2815:54configinfc.txt-nrr—-r--1rootroot2871Dec2815:17configinfc.txtdr_,iiii:：＜r—:：＜r-:：■：:1167974users4096Dec2815:14hadoop-2.0.0-aIpha-^|'|-r—-r--1rootroot82738GG4Dec2414：18hadoop-2.0.0-aIpha.tar.gzdr_,iiii:：＜r—:：＜r-:：■：:1U67974users4096Jan714:42hadoop-2.2.0-nrr-T--1rootroot109223073Jan619:43hadoop-2.2.0.tar.gzdr_,iiii:：＜r—:：＜r-:：■：:0rootroot4096Jan715:06hbase-0.96.2-hadoop2-rwr--r--1rootroot79367504Jan619:57hbase-0.96.2-hadoop2-bin.tar.gz1rwxrwxrwx1rootroot15Jan2415:25hive-＞hive-。.12』-bindr'ivxr-xr-x10rootroot4叩5Jan2415；叮|hiv§-0.12』-bin1-r—-r--1rootroot65662469Jan915:13hive-0.12.0-bin.tar.gz-n/-r--r--1rootroot310026240Jan1414:10MySQL-5.6.22-1.1i1ibc2.5.i386.rpm-bund1e.tar-^|'|-r—-r--17155wheel22894452Nov2412:24MySQL-client-5.6.22-1.1inux_glibc2.5.i386.rPmdr—:：■：:r-:：■：:4routrout409HOct1714：05mysq1-cunnector-j5.1.34-r—-r--1rootroot3811153Jan1416:18mysq1-connector-iava-5.1.34.tar.gz-n/-r--r--17155wheel4190138Nov2412:24MySQL-deve1-5.6.22-1.1inux_g1ibc2.5.i336.rpm-^|'|-r—-r--17155wheel112695414Nov2412：25MySQL-embedded-5.6.22-1.1inux_g1ibc2.E.i386.rpm-^|'|-r—-r--17155wheel88050865Nov2412:25MySQL-server-5.6.22-1.1inux_g1ibc2.5.i386.rpm■削17155wheel2367767Nov2412:26MySQL-shared-5.g.22■1.1inu)cg1ibc2.5.i386.rpm-n/-r--r--17155wheel5294229Nov2412:26MySQL-shared-compat-5.6.22-1.1inux_g1ibc2.5.i386.rpm-rwr--r--17155wheel74524708Nov2412；26MySQL-test-5.6.22-1.1inuscglibc2.5.i386.rpm-^|'|-r—-r--1rootroot446Dec2510:00profile.txt-「"「'"「卅：：■::1rootroot344Jan713:41scp_hadoop.sh-■::1rootroot246Jan714:22scp_hbase.sh-^|'|-r—-r--1rootroot353Jan1416:29scp_hive.sh-1routrout344Jan713:42scp_prufile.sh-nrr—-r--1routrout1863Jan1816:02zuukeeper.outrii■创建hive包的联接ln-s/home/hadoop/source/hive-0.12.0-bin/./hive在/etc/profile中新追加以下内容exportHIVE_HOME=/home/hadoop/source/hiveexportPATH=$HIVE_HOME/bin:$PATH安装MySQL-Connector，下载网址：/downloads/connector/。选择“Connector/J”，接着选择“PlatformIndependent"，本文下载的是“mysql-connector-java-5.1.30.tar.gz”。压缩包“mysql-connector-java-5.1.30.tar.gz”中有个mysql-connector-java-5.1.30-bin.jar，解压后将mysql-connector-java-5.1.30-bin.jar上传到Hive的lib目录下(/home/hadoop/source/hive-0.12.0-bin/lib/)，这个是MySQL的JDBC驱动程序。修改hive的配置文件(各配置文件位置：/home/hadoop/source/hive-0.12.0-bin/conf/)根据原来的几个模板文件，生成hive需要使用的配置文件，执行以下各个命令：perties修改hive-site.xml修复BUG该文件有个语法BUG，需要修改，进入到hive-site.xml的第2000行，该行内容为：<value>auth</auth>，明显的语法错误，需要将“auth”改成“va山e”。修改javax.jdo.option.ConnectionURL将值设置为：jdbc:mysql://hadoop02:3306/hive?characterEncoding二UTF-8。修改javax.jdo.option.ConnectionDriverName将值设置为：com.mysql.jdbc.Driver。修改javax.jdo.option.ConnectionUserName将值设置为访问hive数据库的用户名hive：<value>hive</value>。修改javax.jdo.option.ConnectionPassword将值设置为访问hive数据库的密码：<value>hive2015</value>。修改hive.metastore.schema.verification该值试情况进行修改。修改hive.zookeeper.quorum将值设置为：hadoop01,hadoop03,hadoop04ZooKeeper被安装在这三台机器上。修改hive.metastore.uris将值设置为：thrift://hadoop02:9083,9083为Hive元数据的RPC服务端口。修改hive.metastore.warehouse.dir将值设置为：/home/hadoop/source/hive/warehouse，注意启动前，需要创建好该目录(/home/hadoop/source/hive/warehouse)。修改hive.server2.thrift.bind.host设置为hadoop02。修改perties:修改日志文件存放目录hive.log.dir=/home/hadoop/source/hive/logs如果没有home/hadoop/source/hive/logs这个目录，需要创建一下。修改perties:修改日志文件存放目录hive.log.dir=/home/hadoop/source/hive/logs/exec如果没有/home/hadoop/source/hive/logs/exec这个目录，需要创建一下。2.4启动运行hive1）初始化metastore安装配置好后，在启动Hive服务端之前，需要在服务端执行一次“schematool-dbTypemysql-initSchema”，以完成对metastore的初始化。2）启动metastore执行命令：hive--servicemetastore&3）启动Hive服务执行：hiveserver2&。4）进入Hive命令行操作界面（类似于mysql）执行：hive[rootOhidMpdlcorif]1hive15/01/2313:44:29[M=D16/01/2313冲;网[M=0[MTi15/Q1/2313冲：网[MT15/01/28胡冲洒[M=015/01/231七4ik网[hFD15/01/2313:44:28[M=DCtrifisjuniianadeprecbtian]CcEisuretlon,.Ion;Ccrifi(uratIan.depretatIan^Confiion.deprecblian：ConfIsureitlDn.dBPKBCEitlDn;Confi(urailan.depreEbtIanjCorifiwjurai.i[in-deprecbtian：rupr^di.imludii.recursivc-itdeF-recBteduinstebd.ruprodiKWi.irF^-riifiIe-ir^-utforiBtainputsdi-recursive和rx九峻扣iLwizeisdewEistHd,In就网thrupred.nin.spIit.£ini£depruated.Tnstcfid^rup「«[rootOhidMpdlcorif]1hive15/01/2313:44:29[M=D16/01/2313冲;网[M=0[MTi15/Q1/2313冲：网[MT15/01/28胡冲洒[M=015/01/231七4ik网[hFD15/01/2313:44:28[M=DCtrifisjuniianadeprecbtian]CcEisuretlon,.Ion;Ccrifi(uratIan.depretatIan^Confiion.deprecblian：ConfIsureitlDn.dBPKBCEitlDn;Confi(urailan.depreEbtIanjCorifiwjurai.i[in-deprecbtian：rupr^di.imludii.recursivc-itdeF-recBteduinstebd.ruprodiKWi.irF^-riifiIe-ir^-utforiBtainputsdi-recursive和rx九峻扣iLwizeisdewEistHd,In就网thrupred.nin.spIit.£ini£depruated.Tnstcfid^rup「«di.ninhs=>|jI,.ize-iF*riimdeprecblsduiwr&liiirir：3PHl,si2«.rer.rcrt：is：depr-ggeted.UBBwr豉也*irpjlJ|leirp.itIt,l6KSl祯userupr*l_E*_input.fileirputfc-nut.splILulnsiTEInslmd：,rupr^diKe-iir^-ulifile-irf-utfariblaS：Iidiin?iz«i.p?rbr-ickusirtt.ii..flleirp_tforget,$pIIt.ilngi曲「pemitarwpred.redjot-tisksis：deprecated.Tnstebd^usenfiprtdj«-jah.reductsrupr^durodLK^^l-isk?.iexecutianisdeprec^ilKluInsipid：.rAF-reduce.reduce^speculative查看有哪些表hishowtables>；UL_inviteepokesIImetaken：1.854seconds,Fetched：2rowts)hive>|注：invites和pokes这两个表是在技术检证时创建的，建表脚本如下：CREATETABLEpokes(fooINT,barSTRING)；CREATETABLEinvites(foINT,barSTRING)PARTITIONEDBY(dsSTRING);导入数据的语法如下：LOADDATALOCALINPATH'/home/hadoop/source/hive/examples/files/kv2.txt'OVERWRITEINTOTABLEinvitesPARTITION(ds=’2014');注：hive目前还不支持insertinto语法。查看表里的信息hive>SE-Ieci*frmirwitesvhe-refo=hive>SE-Ieci*frmirwitesvhe-refo='2^4-'；intelWepRaijceJobs-iLaunchIJobIaulof1bknberDfreduceta.skiissettoDsincethere'snoredjtearer&ioKCIsespsthaintalnsrultipleSLF^Jblrrilnss.SlfaJ:Fcurdbirdingin[Jar:f11e:/horie/r^iw/sftjrcei^dw-2.2.0/share/r(8idoDp/™riQriMIb/sIf4J-1j12-1□715.jarMors/sIf4j/1ifIZStaiIcLafeisrBincfer-cIesELF4J：Fojrdbindingin[Jh「叶ic!j^nrt/l-AdDflp|,l5oijKic?=/hiue-0.12.0-hinIib/aIf4-j-1a;4-j12-1.G.1.j-ar!/□rf/sIf4j/irpI/StiELoctTerBinir.clasa]汹http^//wv.3lf4J,orEr/co(fe3.htiril.llrijll：ipledblrrilnssfaranewpl^r^tIon,SLF垢IlrJbindintisof[ote.51f4J-iripI..Lds^jLoEE^rFaclory]IE/DI/2B13：^!4215/1?：柱:焰]efw「ins，IG/DI/2B13：iE：!4=!rins.15/DI/2B13:48:43IE/DI/2D13：1£：43I5/DI/2B13：+E：4315/DI/2613:4B:4SIE/DI/2BI5/DI/2B13：+E：4315/0I/2B13:48:43EBttutionIo;di：yXlFtJutI.Hati,■.•eCJodd-abder!Unobl±holu.dnativc-hadoapihr&iyForj*aurpldiFam...usin;buiHin-jbvicvhereopplitable呻conf.GanflEureiIan：flIh：Aip7root/hi™_205-01-28LI3-41_139LJ821565161583B871812-1/-1ocft1-100D2/Jobconf.MillenattaiPttoawrrlVXlFfJtmf.Ekinficuratian!fiIE!/trp./™t/hi^2n15-0I-28_I3-4S-41_139_921565161593597IB12-1/-IotaI-IDOD2/jdKEof.Mil!anattenpttoautrri]NFOConFisLir^lionadBprKBition：INFOConfifijraticn.deprn&ca'Linn!]NFOCcnfiguneitIon.deprea&tinn：]NFOConFia-iadeprKBition!]NFOConficn.depKecbtinn!]NFOCcnfiguneitIon.dep