第16周系统框架之分布式林林种种

法律【

】

和幻灯片为炼数成金网络课程的教学资料，所有资料只能在课程内使用，不得在课程以外范围散播，违者将可能被法律和经济责任。课程详情炼数成金培训http:

福富应用性能调优团队成员、、黄维新、关于老师当前课程进度上周回顾来来来，先一起回顾一下……上周课程综述上周作业回顾本周课程的主要内容OracleOracle–ExaData架构图Mysql应用系统架Mysql–安装部署应用系统架Mysql–数据库设计应用系统架DATAGURU专业数据Mysql–分库分表应用系统架Mysql-数据库优化概括本周课程的主要内容Hbase-原理Hbase–设计Hbase–表的设计Hbase-协处理器Hbase–其他插件Hbase–Hadoop生态圈Hbase–部署Hbase–应用案例应架 优化

案

张

志Hbase应用-简单操作实例Hbase应用-协处理器的应用Hbase应用-安装Hive整合HBaseHive整合Hbase-修改环境变量Hadoop

，Hive会使用到其下的一些配置Hive的主Hive整合Hbase-元数据库配置(MySQL)在MySQL中新建一个数据库，注意Hive使用latin1字符集创建Hive的用户给hive用户赋予这个库的最高权限刷新权限缓存记得把传到Hive库下应用系Hive整合Hbase-修改配置文件连接到刚才配置的MySQL数据库使用MySQL的JDBC客户端MySQL用户名

MySQL因为Hbase中用了

zookeeper，Hive也通过zookeeper连接Hbase，这里配置zookeeper的IP和端口Hive整合Hbase-添加Hbase依赖包[hadoop@sys01

~]$

find

$HBASE_HOME/lib

-name

hbase\*.jar

-o

-name

htrace-\*.jar/home/hadoop/hbase-0.98.11/lib/hbase-server-0.98.11-hadoop2-tests.jar/home/hadoop/hbase-0.98.11/lib/hbase-it-0.98.11-hadoop2-tests.jar/home/hadoop/hbase-0.9

mon-0.98.11-hadoop2-tests.jar/home/hadoop/hbase-0.98.11/lib/hbase-checkstyle-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-annotations-0.98.11-hadoop2.jar/home/hadoop/hbase-0.9

mon-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-protocol-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-client-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/li/home/hadoop/hbase-0.98.11/libpat-0.98.11-hadoop2.jarpat-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-prefix-tree-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-server-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-testing-util-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-thrift-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-rest-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-s

-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-it-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/hbase-examples-0.98.11-hadoop2.jar/home/hadoop/hbase-0.98.11/lib/htrace-core-2.04.jar把Hbase下的这些库到:$HIVE_HOME/lib/以及:$HADOOP_HOME/shared/Hadoop/yarn/两个

下，然后重启一下YARN（stop-yarn.sh、start-yarn.sh）Hive整合Hbase-启动Hive1、以交互模式启动--以命令方式操作hive[hadoop@sys01

conf]$

hiveLogging

initialized

using

configuration

in

file:/home/hadoop/hive-0.13.1/conf/hive-pertieshive>2、以服务模式启动--由客户端连接，在客户端中执行命令(支持很多语言的客户端，比如java-jdbc）[hadoop@sys01

conf]$

hiveserver2Starting

HiveServer2应用系统架优化方法案例实战

讲黄维新Hive整合Hbase-从Hive创建表在Hive交互模式下建一个名为hbase_xyz的表，

到Hbase里的xyz表，注意建表几个参数，指明了关系。下检查，这个表到Hbase

s果然生成了Hive整合Hbase-从Hive创建表这种方式建表的三个Hive整合Hbase-使用HBase已经存在的表在Hbase

s

里创建一张名为hive_ext_table的表。往hive_ext_table表里写入一些数据。Hive整合Hbase-使用HBase已经存在的表使用外部表的方式，将Hbase中的hive_ext_table

到hive里查询一条试试，查出了Hbase里写入的信息。应用系Hive整合Hbase-JDBCHive导入hive的客户端后，

就可以像普通jdbc程序一样

hive数据库了。这个select()的执行结果如这样：log4j:WARN

No

appenders

could

be

foundfor

logger(

.apache.thrift.transport.TSaslTransport).log4j:WARN

Please

initialize

the

log4jsystem

properly.log4j:WARN

Seeml#noconfig

for

more

info.{

t:1}Hive整合Hbase-GroupBy是如何执行的看到Hive启动了一个mapreduce任务，可以从这个URL

任务执行情况日志里也可以看到任务的执行过程任务执行完后的统计信息配置MavenDubbo源码项目是由Maven构建的，编译源码前， 需要配置Maven这里使用NetBeansIDE带的Maven来配置。找到配置文件D:\NetBeans\7.4\java\maven\conf\settings.xml，修改以下两项Maven 的jar包位置：<localRepository>D:\NetBeans\7.4\java\maven\repo</localRepository>Maven连接

的

：<proxy><id>optional</id><active>true</active><protocol>http</protocol><username></username><password></password><host></host><port>11111</port><nonProxyHosts>localhost||192.168.*</nonProxyHosts></proxy>M编译项目set

JAVA_HOME=D:\Java\jdk1.set

MAVEN_HOME=D:\NetBeaset

PATH=%JAVA_HOME%;%cd

E:\Workspace\netbeans\due:然后执行mvn

package-Dmave取出依赖包mvn

dependency:copy-dependencies

-o/dependency部署Dubbo控制台部署完成后首页如下：部署Dubbo

台控制台需要构建dubbo-monitor-simple子项目cd

E:\Workspace\netbeans\dubbo-master\dubbo-simple\dubbo-monitor-simplee:创建项目，导出依赖包根据前边所介绍内容，接下来

一起来动手做下，Everybody，动起来！！！本周课程的主要内容其他分布式架构炼数成金逆向

式网络课程Dataguru（炼数成金）是专业数据分析，提供教育，，内容，社区，，数据分析业务等服务。的课程采用新兴的互联网教育形式，独