实训13 Flume的安装与部署

实训6.1Flume的安装与部署1.实训目的通过本实训理解Flume的概念、理解Flume的特点与结构、认识并了解Telnet的用途。2.实训内容通过本实训，学会安装Flume和Telnet的安装与部署。3.实训要求以小组为单元进行实训，每小组5人，小组自协商选一位组长，由组长安排和分配实训任务，具体参考实训操作环节。小组成员较简单，不需要特殊的要求，确保JDK安装完成与有简单的Linux基础就行。4.准备知识（1）Telnet简介是TCP/IP协议族中的一员，属于应用层协议，是Internet远程登录服务器的标准协议和主要方式。Telnet服务属于典型的客户机/服务器模型，当用Telnet登录远程计算机的时候，实际上启动了两个程序：运行在本地计算机的Telnet客户端程序；运行在登录的远程计算机上的Telnet服务程序。（2）Telnet的意义①建立与远程主机的TCP连接。默认端口为23号端口，如果远程主机上的Telnet服务器软件一直在这个端口上侦听到连接请求，则这个连接便会建立起来。②以终端方式为用户提供人机界面。③将用户输入的信息通过Telnet协议传送给远程主机。④接受远程主机发送来的信息，并经过适当的转换显示在用户计算机的屏幕上。5.实训步骤（1）安装和配置Flume①安装包准备将apache-flume-1.10.1-bin.tar.gz压缩包上传至master节点的/root/package目录下。解压apache-flume-1.10.1-bin.tar.gz，这里解压到/opt/software目录下：cd/root/packagetar-zxvfapache-flume-1.10.1-bin.tar.gz-C/opt/software/②配置Flume配置环境变量：vim/etc/profile添加以下内容：exportFLUME_HOME=/opt/software/apache-flume-1.10.1-binexportPATH=$PATH:$FLUME_HOME/bin使配置生效：source/etc/profile修改Flume的配置文件($FLUME_HOME/conf)：cd/opt/software/apache-flume-1.10.1-bin/confcpflume-env.sh.templateflume-env.shvimflume-env.sh添加JAVA_HOME的配置。如图6-17所示。exportJAVA_HOME=/opt/software/jdk1.8.0_161③校验Flumeflume-ngversion 可以查看到Flume的版本，则表示Flume已经安装成功。结果如图6-18所示。图6-18查看Flume版本号（2）安装Telnet①安装准备新建文件夹telnet并上传三个文件mkdir-p/root/package/telnetA.xinetd-2.3.14-39.el6_4.x86_64.rpmB.telnet-0.17-47.el6.x86_64.rpmC.telnet-server-0.17-47.el6.x86_64.rpm②按顺序依次进行安装安装xinetd-2.3.14-39.el6_4.x86_64.rpm：cd/root/package/telnetrpm-ivhxinetd-2.3.14-39.el6_4.x86_64.rpm安装telnet-0.17-47.el6.x86_64.rpm：rpm-ivhtelnet-0.17-47.el6.x86_64.rpm安装telnet-server-0.17-47.el6.x86_64.rpm：rpm-ivhtelnet-server-0.17-47.el6.x86_64.rpm安装结果如图6-19所示。图6-19安装结果显示示意图查看是否安装rpm-qtelnetrpm-qtelnet-server 显示已经安装。如图6-20所示。图6-20查看安装结果③配置Telnet将disable项的yes修改为no。如图6-21所示。vim/etc/xinetd.d/telnet图6-21修改参数重启服务systemctlrestartxinetd ④测试Telnet此时在$FLUME_HOME/conf目录下编写一个Flume配置文件，cd/opt/software/apache-flume-1.10.1-bin/confvimexample.conf添加内容如下：a1.sources=r1a1.sinks=k1a1.channels=c1a1.sources.r1.type=netcata1.sources.r1.bind=localhosta1.sources.r1.port=44444a1.sinks.k1.type=loggera1.channels.c1.type=memorya1.sources.r1.channels=c1a1.sinks.k1.channel=c1使用以下命令运行一个agent实例：flume-ngagent--conf$FLUME_HOME/conf--conf-file$FLUME_HOME/conf/example.conf--namea1-Dflume.root.logger=INFO,console此agent实例启动后将会监听44444端口。显示效果，如图6-22所示。图6-22启动agent实例测试44444端口是否可以连通此时，重新打开一个终端，执行以下命令。如出现图6-23所示的效果，则表示可以连通。telnetlocalhost44444图6-23测试44444端口是否可以连通此时可以继续在此终端向44444端口发送内容。比如此处输入hadoop和bigdata，按回车键则可以发送内容。如图6-24所示。图6-24向44444端口发送内容此时返回启动agent的终端，可以看到Flume采集过来的数据。如图6-25所示。图6-25查看Flume采集到的内容6.