RedHat日志集中管理.ppt

1、Red Hat Enterprise 5.4之cacti+syslog-ng,Copyright 2011 Red Hat, Inc.All rights reserved,学习目标,通过本章的学习，你能够了解一下以下内容： 构建Cacti监测系统 Cacti监控Windows,Linux,Cisco设备 Syslog-ng的原理 Syslog-ng的安装与配置 Snare的安装与配置 了解整个安装流程与配置过程 训练Linux,Windowns系统间日志集中管理 将日志导入数据库和通过网页来发布日志,Copyright 2011 Red Hat, Inc.All rights reserve

2、d,一构建Cacti监控系统,配置被监测端Linux 配置被监测端Windows 配置被监测端Cisco设备 配置监测服务端,Copyright 2011 Red Hat, Inc.All rights reserved,配置被监测端Linux,安装net-snmp软件包 先安装依赖包 lm_sensors-2.10.0-3.1.i386.rpm 再安装 net-snmp-5.3.1-14.el5.i386.rpm 配置及启动snmpd服务,将default改为允许向本机查询监测数据的Cacti服务端主机地址,SNMP的组识别字串，作用类似于密码,将systemview改为all，提供所有SN

3、MP访问权限,去掉此行开头的# 注释符号,rootserver # service snmpd start rootserver # chkconfig -level 35 snmpd on,rootserver# vi /etc/snmp/snmpd.conf com2sec notConfigUser cactiservers ip publicsvr access notConfigGroup any noauth exact all none none view all included .1 80,Copyright 2011 Red Hat, Inc.All rights rese

4、rved,配置被监测端Windows,在Windows服务器上安装并开启Snmp服务,Copyright 2011 Red Hat, Inc.All rights reserved,配置被监测端Cisco设备,启用SNMP Read-Only的共同体名 Read-Write的共同体名 Route(config)# snmp-server community publicsrv RO Route(config)# snmp-server community private RW 将SNMP的Trap事件发往指定的网络管理工作站 Switch(config)#snmp-server host ca

5、ctisers ip public 启用SNMP的Trap陷阱配置Trap事件 Switch(config)#snmp-server enable traps config,Copyright 2011 Red Hat, Inc.All rights reserved,配置监测服务端,AMP平台，从RHEL5光盘中安装下列软件包 httpd、mysql、mysql-server、mysql-connector-odbc php、php-mysql、php-common、php-pdo SNMP数据采集工具 lm_sensors、net-snmp、net-snmp-utils RRDTool引擎

6、 下载软件包：rrdtool-1.2.27.tar.gz 配置：./configure -prefix=/usr/local 编译安装： make mysql grant all on cactidb.* to cactiuserlocalhost identified by 1234; mysql quit rootlocalhost html# mysql -u cactiuser -p cactidb cacti/cacti.sql,Copyright 2011 Red Hat, Inc.All rights reserved,调整httpd服务的配置,修改cacti目录中的includ

7、e/config.php配置文件,rootlocalhost # vi /var/www/html/cacti/include/config.php ,Copyright 2011 Red Hat, Inc.All rights reserved,调整httpd服务的配置,确认网页目录及字符集设置，然后重启httpd服务,rootlocalhost # vi /etc/httpd/conf/httpd.conf Listen 80 DocumentRoot /var/www/html/cacti Options None AllowOverride None Order allow,deny

8、Allow from all DirectoryIndex index.php index.html AddDefaultCharset utf-8,Copyright 2011 Red Hat, Inc.All rights reserved,初始化Cacti监测系统,访问监测服务器主机的Cacti管理界面 http:/servers ip/index.php,Copyright 2011 Red Hat, Inc.All rights reserved,使用Cacti监测系统,1.登录Cacti管理平台 2.设置RRDtool工具的版本和中文字体路径 /usr/share/fonts/zh

9、_CN/TrueType/zysong.ttf 3.添加被监测的设备或主机 指定被监测的主机地址等连接参数 指定需要监测的具体项目（CPU占用、内存使用等） 4.生成监测图像 根据设置的监测项目创建图像 将图像添加到监测树以方便查看 5.添加cron计划任务，以定期采集数据 以cactiuser用户身份采集数据 执行命令：php /var/www/html/cacti/poller.php 通过crontab设置每5分钟采集一次监测数据 6.查看图形化监测结果 按日、周、月、年等分别查看监测图像曲线 可以指定时间进行查询,Copyright 2011 Red Hat, Inc.All righ

10、ts reserved,Cacti新建图像,控制面板新建-新建图像新建设备编辑设 备为此设备生成头像,Copyright 2011 Red Hat, Inc.All rights reserved,Cacti管理图像,控制面板管理-图像树默认添加设备,Copyright 2011 Red Hat, Inc.All rights reserved,Cacti查看图像,查看图像默认设备,Copyright 2011 Red Hat, Inc.All rights reserved,为Cacti系统添加插件,添加插件程序可以扩展监测功能 PA（Plugin Architecture，插件结构）补丁包

11、 常见的扩展插件 Monitor 针对设备或主机提供运行状态的图示监测 Thold 针对监测项目设置限额，超标时邮件告警 需提前为Cacti系统安装cacti-plugin-arch补丁包 使用Thold插件需要settings软件包的支持 访问站点 下载各Cacti插件 具体参见Cacti的安装与配置（有附档）,Copyright 2011 Red Hat, Inc.All rights reserved,二 Syslog-ng日志管理系统,传统sysklogd日志管理工具 syslog-ng日志管理的优点

12、syslog-ng简介和原理 syslog-ng安装与配置 linux客户端配置 Windows客户端配置 Snare简介安装与配置 防火墙配置 将系统日志存入mysql,Copyright 2011 Red Hat, Inc.All rights reserved,传统sysklogd日志管理工具,系统自带，功能单一 sysklog套件的配置和使用比较老，很多功能都不够完善,Copyright 2011 Red Hat, Inc.All rights reserved,Syslog-ng日志管理的优点,通过正规表达式协助，除支持原facitily/level方式 支持主机链，即使日志消息经过

13、多重网络转发，仍可找到原发出主机的信息和整个消息链 支持强大的自定义配置，并且清晰、明了,支持主机链方式等工作,能更好的协助我们管理主机,Copyright 2011 Red Hat, Inc.All rights reserved,Syslog-ng简介,管理Linux系统以及应用程序的日志非常重要且具有趣味性。我们想要得到的是重要的、有用的信息，并不是大量的垃圾。你得有能力在日志中找到你需要的信息。古老的 syslogd 工具已经工作了许多个年头。但它现在已经不足以面对更加复杂的需要。 为了代替它，我们有了新一代的 Linux 日志管理工具syslog-ng(syslog-next-gen

14、eration)。,Copyright 2011 Red Hat, Inc.All rights reserved,syslog-ng的原理,设计原则 syslog-ng的一个设计原则就是建立更好的消息过滤粒度。syslog-ng能够进行基于内容和优先权/facility的过滤。另一个设计原则是更容易进行不同防火墙网段的信息转发，它支持主机链，即使日志消息经过了许多计算机的转发，也可以找出原发主机地址和整个转发链。最后的一个设计原则就是尽量使配置文件强大和简洁。 消息路径 一个消息路径是由一个或者多个日志消息源、一个或者多个过滤规则以及一个或者多个日志消息目的组成的。来自某个日志消息源的消息进

15、入syslog-ng，如果消息命中某条规则，syslog-ng就把它发送到对应的日志消息目的。,Copyright 2011 Red Hat, Inc.All rights reserved,syslog-ng服务器安装环境介绍,系统：RHEL5.4 实现目标：将客户端的日志自动保存在服务器端的相应目录，并根据日期，IP地址和日志类型进行分开保存 所需软件：gcc环境,libdbi环境，glib环境，eventlog_0.2.9，libol-0.3.9，syslog-ng_3.0.5,Copyright 2011 Red Hat, Inc.All rights reserved,rootser

16、ver # cd /tmp/ rootserver tmp# wget rootserver tmp# tar -zxvf eventlog_0.2.9.tar.gz -C /usr/local/software rootserver tmp# cd /usr/local/software/eventlog-0.2.9/ rootserver eventlog-0.2.9# ./configure -prefix=/usr/local/eventlog rootserver etc# service syslog-ng start Starting Kernel Logger: OK ,Cop

17、yright 2011 Red Hat, Inc.All rights reserved,Syslog-ng配置说明,syslog-ng的主配置文件存放在：/etc/syslog-ng/syslog-ng.conf(可变动) 1、架构syslog-ng的配置基于下面的架构： LOG STATEMENTSSOURCES FILTERS DESTINATIONS消息路径消息源过滤器目的站 2、消息源SOURCES source sourcedriverparams; sourcedriverparams; . ; linux使用/dev/log作为SOCK_STREAM unix的套接字，BSD使

18、用/var/run/log；参数需要使用括号括住。 例如：引用source s_sys file (/proc/kmsg log_prefix(kernel: ); unix-stream (/dev/log); internal(); # udp(ip() port(514)#如果取消注释，则可以从udp的514端口获取消息;,Copyright 2011 Red Hat, Inc.All rights reserved,Syslog-ng配置说明,3、过滤器 FILTERS filter expression; ; 例如：filter f_filter2 level(info

19、.emerg) and not facility(mail,authpriv,cron); ; 这里的level定义info，相当于syslog的.=info，并不包括更低的等级；若需要包括更低的等级，请使用“.”表示一个等级范围；另外，filter(DEFAULT)，用于捕获所有没有匹配上的日志消息。filter(*)是无效的。 4、目的地DESTINATIONS destination destdriverparams; destdriverparams; . ; 例如：destination d_mesg file(/var/log/messages); ;destination d_s

20、yslog udp (25 port(514); ; 配合使用udp或tcp即可实现集中的日志服务器。注意，udp函数的写法上和消息源驱动器中的定义不同。,Copyright 2011 Red Hat, Inc.All rights reserved,Syslog-ng配置说明,5、消息路径LOG STATEMENTS log source S1; source S2; . filter F1; filter F2; . destination D1; destination D2; . ; 同样的，每条日志消息都会经过所有的消息路径，并不是匹配后就不再往下执行的，请

21、留意。 6，参考参数 options sync (0); time_reopen (10); log_fifo_size (1000); long_hostnames (off); use_dns (no); use_fqdn (no); create_dirs (no); keep_hostname (yes); TCP基于连接方式传输，不会造成日志丢失，而UDP则不同。但因为传统的syslog基于UDP的514端口，所以，UDP方式也经常会使用到。另外，514也是rshell的默认端口，请注意冲突。 Man帮助 man syslog-ng.confman 8 syslog-ng,Copyr

22、ight 2011 Red Hat, Inc.All rights reserved,防火墙配置,在日志服务器上放行必要端口端口如，514（syslog-ng），161、162(snmp)，80(web)等 rootserver # iptables A INPUT -m state -state NEW -m tcp -p tcp -dport 514 -j ACCEPT rootserver # iptables A INPUT -p udp -m state -m udp -dport 514 -state NEW -j ACCEPT rootserver # iptables A IN

23、PUT -m state -state NEW -m tcp -p tcp -dport 161 -j ACCEPT rootserver # iptables A INPUT -p udp -m state -m udp -dport 162 -state NEW -j ACCEPT rootserver # iptables A INPUT -m state -state NEW -m tcp -p tcp -dport 80 -j ACCEPT,Copyright 2011 Red Hat, Inc.All rights reserved,34,linux客户端配置,rootclient

24、 # tail -1 /etc/syslog.conf *.*servers ip rootclient# service syslog restart Shutting down kernel logger: OK Shutting down system logger: OK Starting system logger: OK Starting kernel logger: OK rootclient # logger -i just one test rootclient # tail -1 /var/log/messages rootserver # cat /var/log/sys

25、log-ng/date/ip/messages rootserver # cat /var/log/syslog-ng/date/ip/secure 参考网站：,Copyright 2011 Red Hat, Inc.All rights reserved,Windows客户端配置,安装syslog-ng代理软件 安装syslog-ng代理软件:SnareSetup-3.1.3-MultiArch.exe,为什么用这个呢,这个配置简单易用.安装很简单,双击exe文件,下一步,下一步.其中有一步是问需要不需要密码,是用默认的snare做为用户跟密码还是用本地系统的用户,还是创建一个帐号做为认证,

26、这个就取决于个人了.点击安装完成. 配置snare 配置snare，点击开始-程序-选择InterSect Alliance-snare for windows 后是一个web形式的,地址为:http:/localhost:6161/默认是不需要密码的,可以配置为需要用户名跟密码来认证.首先我们配置日志服务器这一部分,也是最主要的部分,如果这一部分配置不正确的话,那日志服务器上也就不会有这台机器的日志信息了.点击左边的:Network Configuration 如下所示,Copyright 2011 Red Hat, Inc.All rights reserved,Snare简介,Snare

27、 is a program that facilitates the central collection and processing of Windows NT/2000/XP/2003 Event Log information. All three primary event logs (Application, System and Security) are monitored, and the secondary logs (DNS, Active Directory, and File Replication) are monitored if available. Event

28、 information is converted to tab delimited text format, then delivered over UDP to a remote server. Snare is currently configured to deliver audit information to a SYSLOG server running on a remote (or local) machine. A configuration utility allows you to set the appropriate syslog target and priori

29、ty, as well as the target DNS or IP address of the server that should receive the event information. It should be noted that many syslog servers are not designed to cope with the sorts of volume of data thatmultiple snare agents can potentially generate.,Copyright 2011 Red Hat, Inc.All rights reserv

30、ed,Snare Network Configuration,Destination Snare Server address -这个就是日志服务器的IP地址了.一般不用域名,怕解释不到. Destination Port - 这个就是日志服务器的端口了 一般默认是514 Enable Syslog Header一般把勾打上.下面两个就根据你的需要来设置了.设置完成后再点下面的 Change Configureation 应用配置,Copyright 2011 Red Hat, Inc.All rights reserved,Objectives Configuration,这个修改就要看个人

31、的需求是什么样的了,我这里就不多说了.当然Snare还有其它的功能,比如远程操控这个代理软件,自己多摸索吧,Copyright 2011 Red Hat, Inc.All rights reserved,Snare Remote Control Configuration,配置远程管理主机的IP地址，全部完成后记得点左边的:Apply the Latest Audit Configuration 来应用所有的配置!,Copyright 2011 Red Hat, Inc.All rights reserved,Apply the Latest AuditConfiguration,Copyri

32、ght 2011 Red Hat, Inc.All rights reserved,将系统日志存入mysql,1：将mysql的头文件和库文件链接到/usr/local下 rootserver # ln -s /usr/local/mysql/lib/mysql /usr/local/lib/mysql rootserver # ln -s /usr/local/mysql/include/mysql/ /usr/local/include rootserver # cd /usr/local/src/software/sqlsyslogd 2：下载sqlsyslogd源码包，由于是整个目录下

33、载，所以会下载index.html打头的索引文件 rootserver software# wget -d -r -np rootserver software# cd rootserver sqlsyslogd# rm -rf index.html* rootserver sqlsyslogd# cd contrib/ rootserver contrib# rm -rf index.html* rootserver contrib# cd rootserver # mv /usr/local/src/software/ /usr/local/src/software/,Copyright

34、2011 Red Hat, Inc.All rights reserved,将系统日志存入mysql,3:make,复制sqlsyslogd二进制程序到/usr/local/sbin目录下 rootserver # cd /usr/local/src/software/sqlsyslogd/ rootserver sqlsyslogd# makecc -O6 -Wall -pipe -I/usr/local/include -DCONF=/usr/local/etc/sqlsyslogd.conf -L/usr/local/lib/mysql -lmysqlclient sqlsyslogd.

35、c -o sqlsyslogd rootserver sqlsyslogd# cp sqlsyslogd /usr/local/sbin/ 4：执行下sqlsyslogd程序，出现下面的命令选项则说明安装成功 rootserver sqlsyslogd# sqlsyslogd usage: sqlsyslogd -h hostname -p database 5：修改/etc/ld.so.conf文件，并使其生效，这个文件维护着编译的动态链接库位置 rootserver sqlsyslogd# cat /etc/ld.so.confinclude ld.so.conf.d/*.conf/usr/local/lib/mysql rootserver sqlsyslogd# ldconfig,Copyright 2011 Red Hat, In