20.移动业务感知项目第二部分idc二

1、IDC项目（二） 课程大纲数据采集脚本处理程序处理HUE应用总结说明 数据采集是项目中很重要的一环，在大批量的hadoop数据中，数据采集部分没有做好相关的把控和优化，会导致项目后续处理流程的时延增加、数据缺失、经常性补采等问题。IDC项目数据采集有三种处理方式使用shell脚本对数据进行put（写定时shell脚本）使用程序对数据进行put使用flume对数据进行put（项目三期）数据采集Shell脚本put数据： 本项目中节点数小于25的集群均采用put方式,大于25的采用程序put(部分省份与下游厂商有关系，不同厂商分析的指标不一样)优点： 1、开发简单，周期短 2、灵活性高，便于维护

2、3、补采数据时也方便缺点 1、不能动态检测文件新文件，只能机械的使用定时处理 2、实际使用中对于批量小文件数据put性能效率不高（发多次请求）shell脚本处理Shell脚本put数据： 采用此方式采集数据，尤为需要注意点有：1、原始数据的存储方式（通常以目录形式存储一个阶段的数据）2、数据的时间延迟3、按照时间定义目录名4、如何验证数据的完整性开发思想：1、编写shell脚本，定时调度进行put2、取当前时间减去对应的延迟处理时间，put上一个时间间隔的数据3、put过程中注意检验数据完整性（本项目由C+编写的接收程序，接收完成生产对应的.ok数据文件）shell脚本处理Shell脚本put

3、数据： shell脚本部署：1、创建 /watcher/目录2、编写putDataToHDFS.sh脚本3、配置crontab,内容如下：15 * * * * sh -xb /home/superman/idc/watcher1/test.sh 2&1 /home/superman/idc/watcher1/test.logshell脚本处理功能描述 动态监控数据目录的变化，将数据目录中新添加的文件，put的HDFS的对应目录。具体实现 使用JNotify完成动态监控功能。 JNotify是一个 Java 开发的用来监控文件系统事件的工具。能够监听文件夹下的文件的创建、删除、修改等功能。和ha

4、doop结合很好的解决了自定义数据采集中需要完成的文件新文件监听、文件合并、上传HDFS等功能程序处理程序开发1、创建工程filewatcher2、导入jnotify-0.94.jar包或者引人源码（方便修改）3、根据数据上来的文件格式可能需要一些工具类，本项目需要引入解压工具（原始数据是以压缩方式上来）程序部署 1、当前目录创建idc/watcher目录2、将程序打成相应的jar包（ filewatcher.jar ）和libjnotify.so一同放在idc/watcher目录下3、需要将libjnotify.so文件放入/opt/cloudera/parcels/CDH/lib/hado

5、op/lib/native/目录下（可以在下一步的脚本中写）4、本地创建目录如/srcdata/idcdata，HDFS下创建 idc/accesslogs/目录5、 idc/watcher目录下启动监控程序，启动命令如下（在命令后加符号&即可后台处理）启动命令：hadoop jar filewatcher.jar /accesslogs idccache/ 5 hour程序处理要点总结1、脚本put方式在put多个文件时和少量文件时，效率上有一定的差距，所以数据文件较多时尽量合并后再进行put2、脚本方式进行合并没有使用程序方式进行put方便控制3、脚本方式开发简单、灵活4、使用程序可以动态监控需要上传的目录下文件，脚本方式只能使用定时方式，易用性上略有不足问题总结什么是HUEHue是一个开源的Apache Hadoop UI系统。由Cloudera Desktop演化而来 由cloudera公司贡献给Apache，使用Python进行开发，使得web成为hadoop 系统的控制台，可以在HUE web系统中和hadoop组件进行交互。HUE的作用 1、作为HDFS的文件浏览器*2、Hive编辑器来开发和运行Hive查询*3、支持Metastore浏览器，可以访问Hive的元数据* 4、Impala的应用进行交互式