syslog-ng配置日志服务器学习总结

1、背景：因为项目需要，现使用syslog-ng搭建一台日志服务器，简单来说就是利 用我们现有的虚拟机中的syslog-ng服务，搭建一台用于专名存放其他虚拟机(也 包括自己)所产生的日志。由于一些用户以后将没有权限直接访问我们的 ebackup 服务器，但又需要查看日志。便可以用过这台日志服务器来查看。日志服务器中的日志目录按照一定的规则设定，如“日期+主机名”等自行设定。Syslog-ng 介绍：syslog-ng作为syslog的替代工具,可以完全替代syslog的服务，并且通过定义 规则，实现更好的过滤功能。本次日志服务器的搭建是用的syslog-ng ,关于syslog的具体描述可以参考

2、下面的链接。1、syslog-ng的配置说明syslog-ng 的主配置文件存放在：/etc/syslog-ng/syslog-ng.conf 中。首先需要 简单介绍一下 syslog-ng 的架构。yslog-ng.conf 中所有配置都是基于 syslog-ng 的这样一种架构：LOGSTATEMENTSOURCES- FILTERS DESTINATIONS 即： 消息路径消息源一过滤器一目的站也就是说，通过定义多个消息源，把匹配上若干个过滤器的消息导向到指定的目 的地，从而组成一个消息路径。(1)、消息源 source格式为：source sourcedriver params; so

3、urcedriver params; . ;一个消息源的标识sourcedriver :消息源驱动器，可以支持若干参数，并使用分号“；”隔离多个消息源驱动器消息源有以下几种：file (filename) :从指定的文件读取日志信息unix-dgram (filename) :打开指定的 SOCK_DGRAM的 unix 套接字， 接收日志消息unix-stream (filename):打开指定的 SOCK_STREAM的 unix 套接字， 接收日志消息udp ( (ip),(port):在指定的UDP®接收日志消息tcp ( (ip),(port):在指定的TCP®

4、口接收日志消息sun-streams (filename) : 在solaris 系统中，打开一个(多个)指定的STREAM：备，从其中读取日志消息internal() : syslog-ng 内部产生的消息pipe(filename),fifo(filename) :从指定的管道或者 FIFO设备，读取日 志信息例如：source s_sys file ("/proc/kmsg" log_prefix("kernel:");unix-stream ("/dev/log");internal(););参数需要使用括号括住。(2)、过滤

5、器 FILTERS定义格式为：filter expression; ;表示一个过滤器标识，逻辑 操作符:and(和)、or (或)、not (非)；可使用 正规表达式描述内容过滤函数有：facility。：根据facility (设备)选择日志消息，使用逗号分割多个 facilitylevel(,)：根据level (优先级)选择日志消息，使用逗号分割多个level,或 使用”.表示一个范围program( regexp):日志消息的程序名是否匹配一个 正则表达式host(regexp)：日志消息的主机名是否和一个正则表达式匹配match(regexp):对日志消息的内容进行正则匹配filte

6、r。:调用另一条过滤规则并判断它的值例如：filter f_filter2 level(info.emerg) and not facility(mail,authpriv, cron); ；(3)、目的地 DESTINATIONS定义格式为： destination destdriver params; destdriver params; . ; 表示 一个目的地的标识目的地驱动器有：file (filename):把日志消息写入指定的文件unix-dgram (filename):把日志消息写入指定的SOCK_DGRAM模式的 unix套接字unix-stream (filename):

7、把日志消息写入指定的SOCK STREAM 模式的 unix套接字udp (ip),(port):把日志消息发送到指定的UDP端口tcp (ip),(port):把日志消息发送到指定的TCP端口usertty(username):把日志消息发送到已经登陆的指定用户终端窗口pipe(filename),fifo(filename):把日志消息发送到指定的管道或者 FIFO设 备program(parm):启动指定的程序，并把日志消息发送到该进程的标准输 入举例：destination d_mesg file("/var/log/messages"); ;destination

8、 d_syslog udp ("25" port(514); ;(4、)消息路径 LOG STATEMENTS定义格式为：log source S1; source S2; . filter F1; filter F2; . destination D1; destination D2; . ;把消息源、过滤器、消息目的组合起来就形成一条完整的指令。日志路径中的成员是顺序执行的。凡是来源于指定的消息源，匹配所有指定的过滤器，并送 到指定的地址。Syslog-ng 的搭建：根据上面的介绍和查阅相关资料之后，就可以着手搭建一台日志服务器了。条件是至少准

9、备两台虚拟机，其中一台作为日志服务器，另一台作为客户端。由于 FC上的虚拟机操作系统中自带了 syslog-ng,版本为2.0.所以我们不用自己安装 syslog-ng。可以通过命令查看syslog-ng的版本：命令：rpm -qa | grep syslog-ngsyslog-ng-2.0.9-27.32.1首先是服务器端的配置：1、建立一个日志文件夹，用于保存接收到的日志mkdir /var/log/syslog-ng2、编辑配置文件，syslog-ng的相关配置都是在/etc/syslog-ng/syslog-ng.conf文件中保存的。我们根据上面的架构来配置。vi /etc/sysl

10、og-ng/syslog-ng.conf设置全局变量，打开syslog-ng.conf之后，注释掉原来的options ,;也可以不注释，具体根据自己规则来选择参数，所有参数如下:chain_hostnames(yes|no) :是否打开主机名链功能，打开后可在多网络段转发日志时有效long_hostnames(yes|no) :是 chain_hostnames 的另U名，已不建议使用keep_hostname(yes|no) :是否保留日志消息中保存的主机名称，否时，总是使用房源主机来作重写日志的主机名use_dns(yes|no):是否打开DNS查询功能，应使用防火墙保护使用 syslo

11、g-ng的节点安全，并确认所有主机都是可以通过 dns解释的，否则请关闭 该选项。use_fqdn(yes|no):是否使用完整的域名check_hostname(yes|no) :是否检查主机名有没有包含不合法的字符bad_hostname( regexp ):可通过正规表达式指定某主机的信息不被接受dns_cache(yes|no) :是否打开DNS缓存功能dns_cache_expire(n) : DNS缓存功能打开时，一个成功缓存的过期时间dns_cache_expire_failed( n) : DNS缓存功能打开时，一个失败缓存的过 期时间一 一 一dns_cache_size(n

12、) : DNS缓存保留的主机名数量create_dirs(yes|no):当指定的目标目录不存在时，是否创建该目录dir owner(uid):目录的 UIDdir_group(gid) :目录的 GIDdir_perm(perm):目录的权限，使用 八进制方式标注，例如0644owner(uid):文件的 UIDgroup(gid):文件的 GIDperm(perm):文件的权限，同样，使用八进制方式标注gc_busy_threshold(n) :当syslog-ng忙时，其进入垃圾信息收集状态的 时间。一旦分混的对象达到这个数字，syslog-ng就启动垃圾信息收集状态。默 认值是：300

13、0。gc_idle_threshold(n) :当syslog-ng空闲时，其进入垃圾信息收集状态 的时间。一旦被分派的对象到达这个数字，syslog-ng就会启动垃圾信息收集状 态，默认值是：100log_fifo_size(n):输出队列的行数log_msg_size(n) :消息日志的最大值(bytes)mark(n):多少时间(秒)写入两行 MARK信息供参考，目前没有实现stats(n ):多少时间(秒)写入两行 STATUS信息供，默认值是：600sync(n):缓存多少行的信息再写入文件中，0为不缓存，局部参数可以覆 盖该值。time_reap(n):在没有消息前，到达多少秒，即

14、关闭该文件的连接time_reopen(n):对于死连接，到达多少秒，会重新连接use_time_recvd(yes|no) :宏产生的时间是使用接受到的时间，还是日志中记录的时间；建议使用R_的宏代替接收时间，S_的宏代替日志记录的时间，而不要依靠该值定义。例如：options sync (0); time_reopen (10); log_fifo_size (1000);long_hostnames (off); use_dns (no); use_fqdn (no); create_dirs (no); keep_hostname (yes);配置如下:4 j-Jr 1. JI . .

15、 J I i y i-4 二 . 4.41 I. , .37r 珅 I IM* I/即E犯:d-L fkgh_Lin“使卜*； tii»r_nKipHfn i| IdJ j4 issJf s imoh 小 UM二 kdflWu； ， chis-n* t Ff J;/。斑Ldw4 nwF»r(ran t ；L qriXpd巾Ml;S1盟h弓 MiriXL 口匕口M4 CLUQ) port 里30 pqrt 酎却】k-叩丁LhIrnir口Im*_L tvipliLoicapfr(no )i，ob_Ioq ( filar /一 一 i i > ： . ： , 飞 L >

16、;；14.冲 i' f j i" t ug-/1 ptilttaip Vat 11j destirati=>n =hackLp_L>q - - - -U -D T ":- -I - r .' pen (0777) f t snp I at s (t_ 111st avplata Sfit log < utretnare)；陶r卬叫削】：卜64 t3、定义消息源这里的消息源是从客户端发送过来的,而客户端是通过tcp或者udp发送到服务器的某个端口（默认是514）。这里我使用514谣口，定义如下：source my_src udp(ip(0.0

17、.0.0) port(5140);tcp(ip()port(5140););W dpIiurtS !，sfnt LM-T fl JBh 11H40 Wid二 tLiE_risct,sii*出i 帕b4* U-E3_Fq|driTlD4( “见扁1时1»睁1)4 cr-'atcdirs 灯es).uuiiirtrixil);4? QEIjptrothS： peri'：'3£4Gi,j dirjzrnr&TSO).3： ;bo o.gl port 旧405 L k“l乂«)抑 n 岱ijg,> teip I ate

18、tf ileteq: latr tEiplatri： tTipl SEnpcnc J B ：!jyidwtiHiBtitin M.logi ( 1il»(« - =. ir-i 7 i=-L hM jrdBBtuiaUan Qslog HL”一内?Jxq丁。禧5«1»$0此丁丁b祁/“peri：dstkniticn 岫=k4f il«(照b 3q 事4、定义过滤规则，由于本项目中需要把产生的日志全部转储到服务器，这一步可以省略。若以后需要筛选一些自己想要的，可以根据上面的规则过滤5、定义储存目的地：为了区分出不同时间不同来源的日志，使用下面的规

19、则来分放 日志： destinationd_mesg file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/messages",perm(0777),template(t_filetemplate); ;h OptlDii £,盯幢Wh1lU5hJi-ne§0：, me_TeizpBr (io)；J UiEjllS (hfiij ：UfR jftft i】EriBin_hostiraies (0 FT)；纣的圣/irw产】：口号ngri：邛0tli，qwiptrwD,咔fh I的 +51 ：.dir_peri(D7

20、50J：Laciiree 1 y_£ft<udp(ip |D. r .Q.® pDirr 5L 4d )； icp ip(1 p jri(514O) keep-ani”(产：;K-ipuit tinplate tripuisc 1 ；)： 1 你ipm觥邺Hn。)； ；.' d*aunation olog filje .,1 .,1 ./. ,1 %一')； !；I ir-nr-rir tifr,1 "K T*!'fila 1, A r?-'nq - rt.1 nc 吗 xq 】外叶4丁( HCnTbW、J1 二卬1 个内第那

21、， 尸”ri ：口；”1 m：lw：工 fil闩TFpld)$ ttestuiatlon ebaekiplog C Tlle('/ r- liPpBFfl(0777J. teipEats (t_-i iLttenplatEj,icig Eiuyny目叫 Wiin&rlcrttg.lcqL ：6、输出自定义消息路径log source(src); destination(d_mesg); ;邹 BptiDM !后T LIj斯_llr曜地则上l tlrn "iiQp(n 口叫;正u睡.而，no | ；441 LiEt_fqdh ncij >Ch4in flstnwt

22、intTj；4£. k Etp_hB5 tnaaw- of f J, crtate 'dirt <yi«：年 ewuMFgD黑 QmupCrnnt)；K卬E也闻T；r« i dir_per|i 0750 J5Z );h iMrt* iy_sfeucp(ip0uO.09 porEtSl*W) Eqplip iJ 加n划 keep il>ve|»!)|jiM-二二 3。匕t电 l_filetbitIaLe teiplateiL白tssf m匚羽总1 .：ni r dstiration et log 行1事 , i i - " -

23、一，： 一什 ； t- -, ： 1 J r ：监 retest nation qs_Idq . file ' Msr/C'og/s /stag - nq/arB_tog/StEFQiNONrH|iD Iit / IHDST/Iffissages ra(G777k -tEfiplatfi it9f LlEtenflaleJ3V duvtliNtivn vbKupL ( iilvC »,.1 -i , t -i，(t_fiUtvnpUlttu, Ide Enun：ffriy_Erci; d&sLinati'Sin='q/. 5.7、保存该文件并退

24、出。然后重启syslog服务，命令如下: rcsyslog restart0CHostl：7etc # cd syslcg-rg/OCHostl：/etc/syslog-ng # vi syslog-n.confOCHostl： /ertc/syslog-ng # rcsyslog restart|7、到客户端机器上编辑配置客户端，同样打开的/etc/syslog-ng/syslog-ng.conf 文件。(KVML：/etc/syslog-ng # rcsyslog restartShutting dowft syslog servicasStarting syslog servicesOC

25、WM1：/etc/5y'Sloq-ng # vi s/slo-ng.corff.in0CVM1；/etc/syslog-ng # rcsyslog restartShutting down syslog servicesStarting syslog services0CVH1 ： /elc/sysl og-ng # ci s/slo-ng. corcFl该虚拟机之前定义的消息源是syslog-ng内部产生的消息，就是系统本身的操 作日志，保留该消息源，我在这里先用这个消息源做测试。45 source src 46 #47 # include internal syslog-ng me

26、ssages# note ： the internal (j sou re is required.4©563nternal()；SI52#53# the defaultlogsocket for local logginq：54#unix-dgram(/ev/- oc)；5657#56#uncaninienttoprocesslognHSsmges from ne two rk ：而#6G#uidp(ipC"(j.Q.Q.O")port (514);©1 1;自己也可以添加其他的消息源，例如以/var/log/message文件作为消息源,可以增力口这

27、样行： source mysrcfile("/var/log/messagefollow_freq(1) flags(no-parse);i source eba-ckiupsrc i flie<I 耳 follcwf qCll flags no-parsf )hl；4B talinortiofi 8bscK>ufLdnt ( tcpt i：<.2?5； partCa4tih hw- jjpgMurwf针ch 5?tir'itioni?backup： I；8、定义客户端上的消息目的地。因为是要发送到服务器端的，所以这里的目的 地为服务器ip+port o增加

28、这样一行：destination ebackup_desttcp( “25 " port(5140);9、定义消息路径二 ssure ebsckijfiErc ( tile ；-foilovf reqil) t Leg? (nn-parse).： ?：a< Metinetitm ebatioup dnt ("i k pm孙:1.24 Sg g 石nuEEi /匚口； destination保存并退出。执行rcsyslog restart启该服务。带服务器端相应的目录下查看是否有对应的日志。为了检测，可以在客户端先生成一条自定义日志，然后去服务器

29、端查看。调用命令如下：logger zhouyaliShuttirig down s/slog ser?ieesStarting syslog rvicee；0CVH1：/etc/syslog-ng 用 rc$ylog restartShutting down s/slog servicesStarting syslog rvice?OCVKL;c/sysloq-ng # logger zhouyali去客户端查看Ut Hcwt L： var/1 ag/ysl ng-ng/ n«_lig Jt cd 231SJG24/OCHosf L： ;varAagrssl.og-ftg>c

30、5_l®5M3ilU # 11 ttiial 4drwKL* 2 root root 409G Oct 24 1G;O2 100.1421,222OOIostl r I oqSyloq-nq/ os log20151024 # cd 100,12,31,222/OCHostL;/yarA94/syAog-ng/csj叫/201510马/100.142.U.222 # U ictal DOtHost 1 ：；var/lDq/syslog-ngcsng/Oil5lOZ4/lGO-142. JI.222 # 11 ictal z4-rw-r1 root root 24178 Cct 24

31、15:05 nessnjBsOCHubtL:/Vdi2011114;1(22 Jf vi IM55叫Et图中可以看出，在原来的/var/log/syslog-ng/os_log/F生成了对应时间对应客户端IP的目录，并生成文件message打开该文件可以看到如下：16:03:44 Lti： 03： 44 l&g屿 16：03：45 HC3：屿 isea：心支心;心 时©3：*3 l-j：£S；45 14:63:45 L4;C3:15 L6;SSi521«：03:53 ie：C0：53 I«：S3：53 16:03:55lDQ

32、.iaz.31.222 OIL .222 】WJ42 aL 222 1D22 JDBa 142.31,222 1DH-L42, ji.222 160.142,a,22 1叩臂,3L222 IDE. 142.21,222 1DB. 142.31.222 1DQ-142.31.222 IDS. 142,31.222 i的J钺,31,22之 1DB.142.31,222 100,142.31.22? lDnj47.31.Z2? IDOL 142.31. Z2Z J 口匚:J2上vr -mmj lkErnel: 111DQG3. 7LBQ&zllkernel ： ktrnt

33、l： kETTIfll,： ELldO BUdOEUdQ 品岫： karne l:kBrnel： BUdOiluom.Tuesm inorj £3oj inoci颁例jtt-i tcqME r , t , i 1 . r i .卜，uu.干,事-n> "l_ju .4-irwcfni artian sourc e IDO 143. S3. 255 1dTQn 1>JO. 142 3Z.199, du dev isc = i-D U header十七f牝怦小的:3,98出曳歌：3d：0B：00nirt: an sourt i LQO L42.2SS. 255 fr

34、on 100,1也 92 31m, en d” i»ei -G 11 header 行；ff；开:中：川；行鹏比司56二9%凡3d 09；00hop ： rTfojnknDwr ； htp : rTfjnkfitrtiri ;htp ； TTfMjnknmn thep - TTYNjnkn的icI11DE2.Z46C81I nartxanFQOt EhM,-ik&rns*l: kernel： ktrns'l： M*na-FWD二/ d pt/huavei- da ta-proteclian / ebackup/bin H/D=/ apL/budv¥i-dd

35、Ld-prat扰Ilan/fbdckup/blri AiDa/iDpt/h UMi -dati-prvtvc. tian /vbatikup/bin IW=/ d p"hiawi，# t i-p rrtfciiw fvbatikup/binsojnza13G 142.255.355 -un IM.12 32 1骋,i USEfcroot ；： U ;uSHroo L : I J USS-TQ I J i ；USSnjigt I on dsv Z3c：=i - 111 皿 HMCB4I U header HTh 种;"df; If:例;50 斐西加必 3d (B:0jhep

36、: TTYjnkriuwri s FWO/叩1/huiuMr 口口”小用工口£11。”如口烛呼.巾1百 s lUS-riJOI i El：11DF- f旅3 1 111处d 9锡441 IHD13.G371421 uiQie.ssTiikF-nel I11D1L 444451fiartiani source IW3 142-2 255 fmn 1EJ42 21 :n iscGi-D1ii hicter二 %仟:"：疗门力”3gmlisliari SOiJrtH 10(J 142.25&. 255 ffon 100 J螳 222.期M d打 13匕 i 011 hea

37、<der ft iff ；ff sff pw：so 陶石照 w m 0a：aoraanriani source IDG 142Z55？55 fn)n loaiq： 16 后己 on Jev isrsi-i?客户端和服务器端的syslog-ng对接成功特别注意：syslog-ng中表示可以用静态文件，如test.txt作为消息源，有一个 特别需要注意的地方就是在以文件为source的时候，就部门使用的suse操作系统 而言，需要关闭apparmor服务，apparmor是suse的一个安全服务，是一个类似于selinux的东西，主要的作用是设置某个可执行程序的访问控制权限，可以限制程序 读

38、/写某个目录/文件，打开/读/写网络端口等等。其详细介绍可以参考 下面两个链接：http: tL28vkY6T45oXD 9WeoskQ814visF5608r0StNzAmx6SjvFQmuUYRyq#reference-7-1 188790-wrap关闭命令如下：rcapparmor stop查看rcapparmor月艮务状态:rcapparmor statusOCVMl； - # rcapparnior stopLhloading 叩pr jfilesOCVMl：- # ccapparmor stopLTilnArlinq AppAmar profilesOCVHL； - # rcsya

39、log restartshutting down systog servicesStarting syslog servicesOCVhli - a- rcspparmctr mtwluf好pArmnr 15 enabled；Install the Epparmor-jti .s package tn receive nore detailed status inforwa:idn here tor eranine direttly).OCvml： - » I但是apparmor服务是Linux的安全服务，直接关闭该服务会带来安全隐患。好在 apparmor可以设置安全规则，比如给某个程序开启对某个文件的读写权限。就我 上面的为例，可以给syslog-ng服务开启对/opt/ , /logs/目录下所有文件的读 取权限。具体的设置方法参考上面的连接。范例：有了上面的介绍，我们就可以很容易搭建