第八数据仓库深入

1、2016-6-181IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURE2016-6-182IT教育品牌学习目标EDUCATION TO CREATE A BRIGHT FUTURE 掌握Hive基本操作（库、表） 掌握Hive数据类型 掌握Hive数据导入导出 熟练使用Hive的select分析 熟悉UDF编程2/362016-6-183IT教育品牌课程大纲EDUCATION TO CREATE A BRIGHT FUTUREHive数据库操作Hive表的操作Hive数据类型Hive数据迁移Hive常见HiveUDF编程3/362016-6-184IT教育品牌本

2、课任务EDUCATION TO CREATE A BRIGHT FUTUREHive数据库操作Hive表的操作Hive数据类型Hive数据迁移Hive常见HiveUDF编程4/362016-6-185IT教育品牌Hive数据库操作EDUCATION TO CREATE A BRIGHT FUTURE默认数据库default使用#hive命令后，不使用hiveuse ，系统默认的数据库。可以显式使用hive use default;创建一个新库5/362016-6-186IT教育品牌Hive数据库操作EDUCATION TO CREATE A BRIGHT FUTURE数据库操作：hive cr

3、eate database db_hive_01; hive show databases;hive use databases;hive desc database extended db_hive_01; hive drop database db_hive_01; cascade;6/362016-6-187IT教育品牌本课内容EDUCATION TO CREATE A BRIGHT FUTUREHive数据库操作Hive表的操作Hive数据类型Hive数据迁移Hive常见HiveUDF编程7/362016-6-188IT教育品牌Hive表的创建EDUCATION TO CREATE A

4、 BRIGHT FUTURE创建表语法：8/362016-6-189IT教育品牌Hive表的创建EDUCATION TO CREATE A BRIGHT FUTURE创建表语法：9/362016-6-1810IT教育品牌Hive表的创建EDUCATION TO CREATE A BRIGHT FUTURE员工表：部门表：create table emp(create table dept(empno int,deptno int,ename string,dname string,job string,loc stringmgr int,)hiredate string,row format

5、delimited fields terminated by t;sal double,comm double, deptno int)row format delimited fields terminated by t;10/362016-6-1811IT教育品牌Hive表的创建EDUCATION TO CREATE A BRIGHT FUTURE加载数据LOCAL：从本地文件加载数据到hive表；否则从HDFS加载数据到hive表； OVERWRITE：是否覆盖表中已有数据；load data local inpath /emp.txt overwrite into table emp;

6、 load data local inpath /dept.txt overwrite into table dept;11/362016-6-1812IT教育品牌Hive表的创建EDUCATION TO CREATE A BRIGHT FUTURE删除表删除表数据12/362016-6-1813IT教育品牌Hive表的创建EDUCATION TO CREATE A BRIGHT FUTUREHive两种表类型 管理表（内部表） 外部表创建管理表hivecreate table inner_table (key string);13/362016-6-1814IT教育品牌Hive表的创建EDU

7、CATION TO CREATE A BRIGHT FUTURE外部表创建语法14/362016-6-1815IT教育品牌Hive表的创建EDUCATION TO CREATE A BRIGHT FUTURE外部表案例15/362016-6-1816IT教育品牌Hive表的创建EDUCATION TO CREATE A BRIGHT FUTURE管理表内部表也称之为MANAGED_TABLE；默认在/user/hive/warehouse下，也可以通过location指定； 删除表时，会删除表数据以及元数据；外部表外部表称之为EXTERNAL_TABLE；在创建表时可以指定目录位置(LOCAT

8、ION)； 删除表时，只会删除元数据删除表数据；16/362016-6-1817IT教育品牌Hive表的创建EDUCATION TO CREATE A BRIGHT FUTURE分区表分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段，可以一个，也可以多个。分区表的意义在于优化。时尽量利用分区字段。如果不使用分区字段，就会全部扫描。17/362016-6-1818IT教育品牌Hive表的创建EDUCATION TO CREATE A BRIGHT FUTURE分区表案例18/362016-6-1819IT教育品牌Hive表的创建EDUCATION TO CRE

9、ATE A BRIGHT FUTURE创建表完整语法CREATE EXTERNAL TABLE IF NOT EXISTS db_name.table_name(col_name data_type COMMENT col_comment, .)COMMENT table_commentPARTITIONED BY (col_name data_type COMMENT col_comment, .) CLUSTERED BY (col_name, col_name, .)SORTED BY (col_name ASC|DESC, .) INTO num_buckets BUCKETSSKEW

10、ED BY (col_name, col_name, .) ON (col_value, col_value, .), .|col_value, col_value, .)STORED AS DIRECTORIES ROW FORMAT row_formatSTORED AS file_format | STORED BY WITH SERDEPROPERTIES (.) LOCATION hdfs_pathTBLPROPERTIES (property_name=property_value, .)AS select_statement

11、(Note: not supported when creating external tables.)19/362016-6-1820IT教育品牌本课内容EDUCATION TO CREATE A BRIGHT FUTUREHive数据库操作Hive表的操作Hive数据类型Hive数据迁移Hive常见HiveUDF编程20/362016-6-1821IT教育品牌Hive数据类型EDUCATION TO CREATE A BRIGHT FUTURE21/36基本数据类型类型描述示例TINYINT1个字节（8位）有符号整数1SMALLINT2字节（16位）有符号整数1INT4字节（32位）有符号

12、整数1BIGINT8字节（64位）有符号整数1FLOAT4字节（32位）单精度浮点数1.0DOUBLE8字节（64位）双精度浮点数1.0BOOLEANtrue/falsetrueSTRING字符串xia,”xia”2016-6-1822IT教育品牌Hive数据类型EDUCATION TO CREATE A BRIGHT FUTURE22/36复杂数据类型类型描述示例ARRAY一组有序字段。字段的类型必须相同Array(1,2)MAP一组无序的键/值对。键的类型必须是原子的，值可以是任何类型，同一个的键的类型必须相同，值得类型也必须相同Map(a,1,b, 2)STRUCT一组命名的字段。字段类

13、型可以不同Struct(a,1,1, 0)2016-6-1823IT教育品牌本课内容EDUCATION TO CREATE A BRIGHT FUTUREHive数据库操作Hive表的操作Hive数据类型Hive数据迁移Hive常见HiveUDF编程23/362016-6-1824IT教育品牌Hive表的操作EDUCATION TO CREATE A BRIGHT FUTURE24/362016-6-1825IT教育品牌Hive表的操作EDUCATION TO CREATE A BRIGHT FUTURE数据导入六种方式加载本地文件到hive表加载hdfs文件到hive中加载数据覆盖表中已有的

14、数据创建表时通过select加载创建表通过insert加载创建表的时候通过location指定加载25/362016-6-1826IT教育品牌Hive表的操作EDUCATION TO CREATE A BRIGHT FUTURE数据导出四种方式26/362016-6-1827IT教育品牌本课内容EDUCATION TO CREATE A BRIGHT FUTUREHive数据库操作Hive表的操作Hive数据类型Hive数据迁移Hive常见HiveUDF编程27/362016-6-1828/3628IT教育品牌Hive常见EDUCATION TO CREATE A BRIGHT FUTURE2

15、016-6-1829IT教育品牌Hive常见EDUCATION TO CREATE A BRIGHT FUTURESelect基本语法SELECT ALL | DISTINCT select_expr, select_expr, .FROM table_reference WHERE where_condition GROUP BY col_list CLUSTER BY col_list| DISTRIBUTE BY col_list SORT BY col_listLIMIT number29/362016-6-1830IT教育品牌Hive常见EDUCATION TO CREATE A B

16、RIGHT FUTUREselect常见子句30/362016-6-1831IT教育品牌Hive常见EDUCATION TO CREATE A BRIGHT FUTUREHive中select新特性Order By全局排序，一个Reduce Sort By每个reduce内部进行排序，全局不是排序Distribute By类似MR中partition，进行分区，结合sort by使用Cluster By当distribute和sort字段相同时，使用方式31/362016-6-1832IT教育品牌本课内容EDUCATION TO CREATE A BRIGHT FUTUREHive数据库操作H

17、ive表的操作Hive数据类型Hive数据迁移Hive常见HiveUDF编程32/362016-6-1833IT教育品牌HiveUDF编程EDUCATION TO CREATE A BRIGHT FUTUREHive自带了一些函数，比如:max/min等，但是数量有限，可以通过自定义UDF来方便的扩展。UDF函数可以直接应用于select语句，对结构做格式化处理后，再输出内容。编写UDF函数的时候需要注意以下几点：自定义UDF需继成org.apache.hadoop.hive.ql.UDF 需要实现evaluate函数，evaluate函数支持重载UDF必须要有返回类型，可以返回null,但是

18、返回类型不能为void； UDF中常用Text/LongWritable等类型，不推荐使用java类型；33/362016-6-1834IT教育品牌HiveUDF编程EDUCATION TO CREATE A BRIGHT FUTURE实现步骤把程序打包放到目标上去；进入hive客户端，添加jar包：hiveadd jar /run/jar/udf_test.jar;创建临时函数：hiveCREATE TEMPORARY FUNCTION add_example AS hive.udf.Add;HQL语句：销毁临时函数：hive DROP TEMPORARY FUNCTION add_example;注：UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF34/362016-6-1835IT教育品牌HiveUDF编程EDUCATION TO CREATE A BRIGHT FUTUREUDF几种类型UDF(User-Defined-Function)一进一出UDAF(User-Defined Aggregatio