rsyslog+loganalyzer系统日志分析系统

rsyslog+loganalyzer系统日志分析系统一、关闭loganalyzert勺资助信息LogAnalyzer*,[^：口，=汇a*卜一*其实这个东西虽然有点碍事，但总感觉把它去掉有点不道德。额，当我什么都没说吧。#vim/var/www/html/log/src/include/functions_common.php把$content['SHOW_DONATEBUTTON']的值改成false再次读入文件的时候就消失了，不需要重启任何服务。二、对于loganalyze劭能的基本认识没登录的时候，可以看到的功能是晓计*晓计*能委⑥帮助个在知联黄瞽索搜索，其实是一个比较全面的高级筛选器。显示事件，查看分析过的日志内容，这个是基本功能。统计，这个是根据数据源而产生的统计图表。报表，如果不登录，只能看到模板，不能使用。模板的新建，使用下面单列说明。帮助，除了第一个文档可以看看以外，下面三个好像都够水。知识库，好像也打不开。管理中心，在登录之后可以使用。Wf!<IIfftHtl9⑥St**AClUfiS♦国小曜堂®ffiP、!H设置，分成默认的全局设置和个人设置。这个进入系统之后都可以改。数据源，即最原始的日志信息。可以是文件也可以是MySQL数据库。字段，这个是内部字段，是视图积木的最小块。视图，这个其实是显示出的二维表结构。搜索，其实就是已经定下了条件的快捷搜索。图表，这个是统计图表设置。消息分析器，这个是解决拆分数据源内日志字符串使之与字段相对应。报表模块，根据四个报表模板对需求的数据进行报表设置。数据映射，字段分内部和loganalyzer字段。内部字段是rsyslog的日志字段，这里就是完成日志字段和软件字段的对应。三、数据源的添加。一时不知道从何说起，先做吧，先完之后再细说。a.添加cron日志分析

这里说明一下，因为我写的是*.*其实包括cron在内所有rsyslog记录的日志都已经写入mysql了。这里单独拿出来，是为演示数据源的添加。恩，添加源的名称：cron来源类型：磁盘文件〃这里直接取的是/var/log/cron视图选择：syslogfidlds//这个就是显示的二维表消息分析器：注意，这里是空的日志类型：syslog/Rsyslog//这时其实就是日志记录源。

//注意一点，日志文件权限最好644//注意一点，日志文件权限最好644否则可能日完成。好了。下面查看一下效果:完成。好了。下面查看一下效果:君■■ma«A«君■■ma«A«右上角选择消息源：右上角选择消息源：crong5KiHhrVLKlMlT-u^UuOULIffT-a^fgVJMIlI-4g5KiHhrVLKlMlT-u^UuOULIffT-a^fgVJMIlI-4如IL』・否u«u中04fm口$EfW口>547-Z?31>9M单力事。MS*通1m»性zaz>'F『Hnai]，19IS.，Ei>43Z©QU»D驿£FU»iD□MHt>行EJHlAI]心CRVD24h£零1WRJMGL*rtMOBIJM«M'费chonbM"9fMvnM3i£通gu»p空口UM口U3ZHr1■■{_1■Mii>Vt二』二二HSH二二比grwKd:]OC|lICAl..wfe;Jav.._Se..口vjGMh・a10iftwi1-!N?lLAMS£LC_LL7_'r3+'*ii(Jiiaf^i*«rt!!EhewK-».ww11»,l>-"f]#eN附-rfi-^!1fl1,5X(Lr^tS-CL^U^J^t'st^Trifi.'-^rra'-rw^"Iwli..!r"..Eual!"CM：'ILAUZ-CLCJkL-"CJuW.'s*vrt-*Fwa^Jte.九.Wa口」曾「..”Aw、宣⑼】i/«V*T*i■wi4mf.*i弭；,*>g.■■fid;ECpravcamJiaitf；-l-jdX**5Cie>L.(3.鼻■、，，只工，-1%咻一七-4工-1，31*,-E«4W.'CMIIJ--■^■1-^i"|lA»~"--a™«■「l.1：-，"Lrtil:WtT.E~UMf*1.』！■4.CHDfL=S-£TL3LW』L».『啤3T.，--oct34C11Aum'"■•■■_IB；Eqkf】C»nlliMIflr.ltf：MfaQu；J3M»i不勺丁皿•产与Tm-I1.，n・・..t*4#*3fc[仁朝%1^1・*人¥；1*P*」、^gif,而“修，修『.IMOEWB.|IIt-IJBK*|^A**3-CLC^ALl-Ciebm^9^w^|»r^i/v^*.-二potCHIl!m£・・/UH却yihlY：』k.弛&nrti5|,*iA;-f",■•.•r*

显示成功。不过要注息，facility（来源设备）和Severity（严重程度）这两行是没有的。日志本身也没有不过如果换成数据库里的数据源。应该是有的:三三三IHid二占三三三IHid二占b.添力口apache日志其实apache日志之前已经用awstats做过分析了，效果比这个要好。不过那个格式要求是combined,而这里两个格式都通用。So,试t^看common格式。#vim/etc/httpd/conf/httpd.conf把CustomLoglog/access_logcombined改成CustomLog"/var/log/access_log"common这里说明一下，磁盘目录文件强制要求放在/var/log之下，链接好像不起作用。名字设成apache这个随便消息分析器是apache2common这里必写否则会有字段无法显示。视图也要改成WebserverFields数据源选择apache之后，日志分析如下：Jij1-Ifnn◎q-JI*J*K一金』♦■■■~MmiX*iA,«!■-ogib--.31.ESV-rjHrB*u-WHEBr.FmmEfUIR^MnUhM-mH・tw-，・宝・■,F-m-wHMi■■*/HBtf-SFb"?EU：1TVfHJ-THCC；HT!M«4j*v||i"4MfW4*一F-*百H；・4MQ4KfHmeg.■5/^111<・融口-«：EF，■上,，■■■”■riiDW,味Jii口-it—ii1；"Mr■■・愚***.H^，r.!«■・J*y^W|FTF"i.心——丁.1=七

■xhmkmvbWi-^■s^wfI・।-«■45消息分析器，只有四个。有两个是apache的，一个是syslog,还有一个IIS的。吕方没有再提供新的，自己也学也没办法添加。So,暂时到这里吧。四、报表的使用报表很重要，但确实用得不是很熟。auditsummary事件日志审计总结报告eventsummary事件日志总结报告logonlogoff事件日志登录/登出总结报告syslogsummarySyslog总结报告这是我选了最后一个

法如也黑极也不叁存中出圭■修事金#HI%花到去Ifctja匕方生存昌|[了tmo/FuortJm而Ifctja匕方生存昌|[了tmo/FuortJm而]过滤器，这个东西说白了就是筛选条件。图上我添加的"Date最后条彳^是last最近24小时意思就是说筛选出昨天的所有日志。其它的可以通过添加过滤器”完成多条件查询。日志源，这个不必说了吧。选自己要的。输出格式，这个有html和pdf两种，具体看自己要求。输出目标，有个直接输出和保存到文件，因为我是要邮件发出的，所以保存到文件了。保存路径，这个自不必说了，当心目标路径的权限apache要能写。最后保存并返回了。有了，不过后面的还要点进去看，直接点名字。看到红色的么，复制一下。然后用mail发邮件进入控制台#/usr/bin/php/var/www/html/log/src/cron/cmdreportgen.phprunreportsyslogsummary1|1蠢9。：［£口口*^£11¥-1，/UV工『启1百|2期，丫•工『|*>¥/1179411用11«1％/丁:口小’》1£・10彳£器胃口勺口力工UM"一:窜・/・］口|0・0^»£/1SjaliiJLjjlse『甲Uii四?csdIl.SjaliiJLjjlse『甲Uii四?csdIl.1rut/J.占ICiZcdiia.TlaQ.E&uiRcpozt.13?zlctelzixjgzepoxit2.InfDtmeiuionH曲iiHe㈤ru”?uccesB-tvlly圳nwr・J切rcpcirt;ftesulusw*te加Y/ihm"/iffip/rstGirt-titnlOK,html文件生成。接下来，准备发邮件。首先，把sendmail服务打开。#servicesendmailstart#echo"内容"|mail-v-s"标题"-r发件邮箱-a"/tmp/report.html"收件邮箱这里建议还是加-v,因为之前试过不加的话，可能会在队列里排很久。尽量用-r参数，因为不加发件邮箱，很可能被当成垃圾邮件。收件邮箱的白名单最好做一下设置，毕竟内容一般不是很多，很容易被当成垃圾处理。最后打开结果如下:report.htmldnmv呻Pta|p«M<34I-mihM.H1_mC1-4ftnun'JlBMrtJZCTtFfitHew.孤叫群通*Q0DOLriffmmdDwJn»-wwIwt34DwJn»-wwIwt34IHmrWMEfwnype■、〔PS,不要把report.html的内容直接发到邮箱。生成文件然后发送到邮箱，一般是用于每天定时发送报告。这个和crontab一起使用。#crontab-e

08***/usr/bin/php/var/www/html/log/src/cron/cmdreportgen.phprunreportsyslogsummary1&&echo"内容"|mail-v-s"loganalyzer每日rsyslog总结"-r发件邮箱-a"/tmp/report.html"收件邮箱#servicecrondrestart这样每天上班的时候就能看到前一天的报表了报表不发邮件:其实就是输出目标变成直接输出。然后效果是:可以直接从报表查看。幕幽展4硼型禄曲❶显示第多信息ThssaS/slogGunrrar/Rjport报恚福析幕幽展4硼型禄曲❶显示第多信息ThssaS/slogGunrrar/Rjport报恚福析SummaryMport24看到绿色的箭头了么。如果是输出到文件，点完之后是这样的:而如果是直接输出是这样的:这两种方式区别在于:输出到文件，可以转发到邮件，也可以发到另外的文件夹进行收集，不过这个除了管理员，其它用户没有直接查看的权力。输出到文件，则只读用户也可以查看报表内容。（其实两者按html输入的话，结果是一样的。输出到文件并发邮件那个其实是我截图有问题。）最后说明一下，这里是为了实验，所以只输出默认的100条，按个人建议越大越好，不过还是按实际要求来比较好。设置在：・,■三」二’」底工1■E■■能事例修if整行餐故二"SyskjQ5kmirMnFHepcwt'擢嘉标3i注鼻而1对药量印配立则里由过也芒学宝；工过心3•瑞芒修•曲型撰的J：火।过曼暑•扁NbateIhm&nepwt^fAfast，/G|uK>樽.ILJUfcJ在每也康廿立案，士棉杆电恒现三XftMI#khwbs:ff.，p：y?TL，6弋匕Chestsj打工心f1M3尸we：)M1Hd£制■kjginmigcperhc&tC而raOTWVMMiw*助HMIMI—iMm即力Wt】|11WGowftvwTIwThiW：i二十wjsrtwTr第门仃箕1七?「期ki箪一：3看占Gwtren片百如画虫dp.S堂Ei如方瞬初期f=自出禧圮收汉）Iio-IFly%*口小41”，gFLoq装电Hrttt亚W虏犬，必伟■jfe备与l/usTfbin/piwprvnreportsis*o^uiwTii<arF1始片*去棚茄I杳备重出捽源国CW*|Maxhosts显示多少个主机信息MaxSyslogmessagesperhost每个主机信息最大的数量CounterThreshold阀值，如果一个事件反复出现，而且最后合计值大于这个值。那会被标为红色。如：

五、图表Loganalyzer的图表比较简单，好像都是单数据。额。好像一般图表也只是单数据。管理中心然后添加图表KS苗去自聊回去女岁扑一”刖餐，3beveittY尔u隹nts圜N柱面♦全品2Sysioq幅中圜Q谓就【叫）♦全扇才◎领ITapHkKts圜4拿平井面♦全盘"Ty。a1收的gDBYS.■仝后BF0Q◎送岫的例九这里主要是三个属性。名称，不要重复图表类型，主要有三种，垂直，饼状，水平。图表字段，这个是核心，自己选择自己要监控的字段。六、字段，映射，视图这个是本篇的最后一节，本来我也不想搞三合一的，但这三个关联性比较强，放在一起分析比较容易理解。Loganalyzer的默认的视图SyslogFields没有来源IP。So,添力口。首先，修改数据库结构。mysql>useSyslog;mysql>ALTERTABLESystemEventsADDFromIPVARCHAR(60)DEFAULTNULLAFTERFromHost;其实这个如果用phpmyadmin更加方便一点|[2P]RarourV|MhLtp：/"|——安装phpmyadmin可能要用到php-mbstring,SO安装就好了rpm-ivhphp-mbstring-5.3.3-3.el6_2.8.i686.rpm#servicehttpdrestart//phpmyadmin就可以访问了第二，编辑/etc/rsyslog.confvim/etc/rsyslog.conf

在”:ommysql:localhost,Syslog,rsyslog,123456'行之上添加在”:ommysql:localhost,Syslog,rsyslog,123456'行之上添加添加$templateinsertpl,"insertintoSystemEvents(Message,Facility,FromHost,FromlP,Priority,DeviceReportedTime,ReceivedAt,InfoUnitID,SysLogTag)values('%msg%',%syslogfacility%,'%HOSTNAME%','%fromhost-ip%',%syslogpriority%,'%timereported二:date-mysql%','%timegenerated二:date-mysql%',%iut%,'%syslogtag%')",SQL修改为:把"*.*:ommysql:localhost,Syslog,rsyslog,123456*.*:ommysql:localhost,Syslog,rsyslog,123456;insertpl修改为:然后重启服务#servicersyslogrestartOK.场外的工作已经结束了。下面准备loganalyzer第三Loganalyze设置字段添加:这里其实并没有完全吃透，不过大概分析一下:字段ID,这个是指数据库表SystemEvents的字段显示名称，这个是loganalyzer显示的名称内部字段ID,这个是loganalyzer做内部数据连接用的，不过名字只要不与其它重复可以随便起，为了与显示名相对应默认的内部字段都是“SYSLOG_+显示名称搜索过滤器，这个怎么说，还记得刚刚报表在添加完过滤编辑器（筛选条件）之后后面出面的具体条件么。如：□ate00ftetd],bsc・..*近1+小时，.70tCT^LOG_MID)・Ii/崎3^*]红框里是过滤的字段，绿框中就是具体条件。这个搜索过滤器，决定的就是后面这个绿框里出现的到底是什么。不过很可惜没有找到loganalyzer中有关于搜索过滤器的信息。不建议使用其它字段的搜索过滤器，因为做报表添加字段的时候会自动识别到之前那个字段上去。建议直接填“显示名字”一一因为有几个字段就是如此，而且会自动识别出来的过滤器好像和HOST字段很像，对于IP来说，字符型的字段已经够用了。SO.我还会继续查找，哪有如果有发现，请告知一声。添加新视图把新字段加入视图中，不过原始的三个视图默认不能修改，所以照着SyslogFields做一个,把新字段加进去就可以了。

军』背和■国添加新的映射关系映射关系是视图的灵魂所在——说简单点，映射关系就将视图字段所对应数据库字段的值取过来填充视图二维表。既然视图都重做了，那依样重做一个新的映射关系。茶轴f*■盘蜡，由M廿jjZzSyfc