大数据跳槽hive相关笔记一

主讲 教 品EDUCATIONTOCREATEABRIGHT 大数据平台架构与ETL/ Hive结构体系介绍/ 项目案例分析 I 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHT牌EDUCATIONTOCREATEABRIGHT 的数据统计，后称为ApacheHive为一个开源项目Hive是一个基于Hadoop文件系统之上的能：数据ETL（抽取、转换和加载）工具、数据 HiveSQLHiveQL.HiveQL允许用户进行和SQL相似的操作，并提供简单的SQL查询功能。还允许开发人员方MapperReducerSQL语句转换为MapReduce任务运行，这对MapReduce框架来说是一个强有力的支持。 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHTCLI(hives

教 品EDUCATIONTOCREATEABRIGHT判定为聚合的字段在groupby中是否有出现)；将AST

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHT

教 品EDUCATIONTOCREATEABRIGHTHive的数 基于Hadoop 格

数据库、文件、表、视图、索引

教 品EDUCATIONTOCREATEABRIGHTApacheApacheDerby是一个完全用java编写的数据库，Derby是一个Opensource的产品，基于ApacheLicense2.0分发。 ApacheDerby非常小巧，部分derby.jar只 教 品EDUCATIONTOCREATEABRIGHTmysql>selectUser,Host,Passwordfrom设 登录权mysql>grantallprivilegeson*.*to'root'@'%'identifiedby'123456'withgrantmysql>deletefromuserwhereuser='root'andmysql>flush重启mysqldservicemysqld 教 品EDUCATIONTOCREATEABRIGHTConfiguration 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHTCreate/Drop/Alter 教 品EDUCATIONTOCREATEABRIGHTCreate/Drop/Alter 教 品EDUCATIONTOCREATEABRIGHTShow 教 品EDUCATIONTOCREATEABRIGHTDescribe 教 品EDUCATIONTOCREATEABRIGHTCreateCreatecreatetableemp(empnoint,enamestring,jobstring,mgrint,hiredatestring,saldouble,commdouble,deptnoint)rowformatdelimitedfieldsterminatedby'\t';

createcreatetabledept(deptnoint,dnamestring,loc)owformatdelimitedfieldsterminatedby'\t';EDUCATIONTOCREATEABRIGHTCreateTable线教 品EDUCATIONTOCREATEABRIGHTCreateTableAsSelect 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHT外部表External内部表也称之为默 Ø外部表称之为Ø在创建表时可以自己指 位置Ø 教 品EDUCATIONTOCREATEABRIGHT外部表External 教 品EDUCATIONTOCREATEABRIGHT分区表Partitioned 下的所有文件，这有时会非常的耗时，如果我们知道这些数据的某些特征，可以事先对他们进行 ，在数据量非常大的时候，这样节省大量的时间，这种把表中的数据分散到子个 字，别分区表是hive中一种常见的优 教 品EDUCATIONTOCREATEABRIGHT分区表Partitioned

pDcreatetablepDdeptno)ROW 教 品EDUCATIONTOCREATEABRIGHT分区表Partitioned 教 品EDUCATIONTOCREATEABRIGHT分区表Partitioned 教 品EDUCATIONTOCREATEABRIGHT分区表Partitioned 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHTHiveData 教 品EDUCATIONTOCREATEABRIGHTHiveData 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHTAOrderAOrderBy全局排序，一个BDCCDistributeBy类似MR中partition，进行分区，结合sortby使用 教 品EDUCATIONTOCREATEABRIGHT lview, 教 品ATIONTOCREATEABRIGHT 教 品EDUCATIONTOCREATEABRIGHThiveserver2--hiveconf (beeline--help查看参数信息beeline-ujdbc:hive2://hadoop001:10000/default-nbeeline-ujdbc:hive2://hadoop001:1400