大数据实验1——一个简单的flume实验

1、大数据实验 1 一个简单的 flume 实验一、概况这次只是想做一个简单的 flume 实验，为了后面的事情打基础。 思 路很简单，无论怎样，尽可能简单的完成一个 flume 实验。无论怎样， 利用实验，先熟悉了 flume 的使用。查了写资料，最终结果如下：1. 一个virtualbox虚拟机下安装centos系统2. 安装必要的几个软件3. 从命令行发出了一些简单的字符4. 在控制端显示这些字符证明flume可用二、执行步骤具体步骤如下：1. virtualbox 下安装 centos系统。这个步骤其实没什么可以记录的，ce ntos用的是6.5的版本，安装 过程中选择的 “开发工作站 ”

2、尽可能的多装一些东西，英文版，个人习 惯。需要记录的是在调整网络的时候，虚拟机用的是NAT连接网络，保证虚拟机可上网就好了2. 安装几个必要的软件最终实现的时候，用了 telnet ，这是没有默认安装的，实际上应该只用到了 telnet的客户端，但我不管什么，都安装了，毕竟是一个实 验，核心是flume，其他无所谓。命令如下：rpm -qa | grep telnet#查看是否有安装 telnetyum list | grep telnet#查看yum安装列表中是否有tel net安装yum install xinetd#据说是teln et依赖的，没有仔细研究yum install teln

3、et#应该是tel net客户端吧？yum in stall tel net-server# 应该是 tel net 服务器端吧?# 启动服务service xinetd restart# 重启 xin etd#关闭防火墙，后面用到 telnet localhost ，可能会被防火墙拦截， 没有仔细研究配置，反正是实验，直接关闭serviceiptables stop3. 安装 flume下载flume，从flume网站下载，我用的是1.6.0版本解压flume,在flume的bin目录下执行flume-ng version可以查看flume版本另外，由于开发工作站版本，所以安装了 java，

4、否则还需要再安装 java写一个 flume 配置文件，文件内容如下：a1.sinks = k1a1.channels = c1a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444a1.sinks.k1.type = loggera1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100a1.sources.r1.channels = c1a1.sinks.k1.channel = c1另外，注意，写配置文件的时候，单词后面是否是复数，我就是有些地方忘记了 S以及有些地方多加了 S导致调试了很长时间。把配置文件存储到flume的conf目录下，命名为example.conf文件 执行命令： bin/flume-ng agent -confconf-conf-file ./conf/example1.conf -name a1-Dflume.root.logger=INFO,conSol