某新产品培训教材

SANGFORAC3.2&SG3.2新产品培训目录一、3.2具体解决了哪些问题二、日志审计三、日志同步四、中间表五、日志精简六、升级及注意事项七、FAQ1.数据库插入速度慢。在带宽较大（大于240Mb）的情况下，产生日志的速度大于数据库插入的速度，产生漏审计。2.数据恢复机制差。在数据库异常崩溃后，会丢失全部历史日志。3.同步与统计数据慢。3.2之前版本日志量大(A表日志超过2000万条，附件数超过25万)的时候，日志同步速度慢或异常停止，3.2版本支持A表6000万条日志同步。4.审计冗余日志过多。冗余日志太多，导致审计性能下降。5.数据库收缩。 解决数据库表删除后，数据库占用硬件空间大小没有释放的问题。一、3.2具体解决了哪些问题二、日志审计3.2之前版本日志审计3.2以前的版本由aclog直接写内置mysql数据库，通过insert命令逐条插入数据库的，如图，日志写入速度及同步速度比较慢。1、对比之前版本3.2版本日志审计AC3.2版本Aclog改变日志逐条地插入到数据库中的机制，而是生成日志文件（sync_file和load_file），再由日志导入模块（Loader）负责将日志批量导入到数据库中。解决以往版本由aclog直接将日志逐条插入数据库的效率低问题。1、对比之前版本（续）aclog将日志写到两个文件中：sync_file和load_file。sync_file是5分钟写一个文件，load_file间隔时间比较短（5s）。sync_file主要功能是：向外置数据中心同步数据或者恢复内置mysql。它里面保存的日志和内置mysql相同。load_file主要功能是：日志中转，实现批量向内置的mysql插入数据，而且它里面的日志在被loader导入完成后自动删除。1、对比之前版本（续）在客户日志量很大的情况下，为了提高AC数据同步性能，AC可以启用高性能模式，在高性模式下，aclog只会写sync_file下的文件，不会写load_file的文件，所以内置数据中心无日志记录，只进行外置数据日志同步。启用高性能模式如下图。2、高性能模式2、高性能模式（续）AC3.2版本采用日日志批量导导入数据库库及日志损损坏自动修修复机制，，分别由load和recover程序实现。。解决了日日志写入慢慢及日志库库损坏无法法修复的问问题，loader和recover同样适用于于外置数据据中心。如如上图3、日志导入入及恢复机机制3.1.Loader通过检测是是否存在load_file文件（5S），如果存存在则将load_file里面的日志志导入数据据库。3.2.Loader向MYSQL导入数据，，正常结导导入成功后后，把load_file文件进行删删除。3.3.如果Loader导入表失败败并且自行行修复表，，则调用Recover进行修复。。3.4.Revocer从sync_file中，把导入入失败的表表，进行重重新还原导导入。导入入成功则返返回给Loader。3.5.如果导入不不成功，偿偿试三次都都失败。则则回复相应应的错误给给Loader，并且交还还控制权给给Loader。3、日志导入入及恢复机机制（续））AC3.2版本数据中中心采用myisam数据库存储储引擎，AC3.2之前版本采采用innodb数据库存储储引擎，innodb存储引擎存存在以下两两个问题：：①无法释放数数据库空间间②某天或某几几天的表损损坏，可能能导致整个个数据库损损坏，从而而导致整个个日志丢失失。Myisam存储引擎有有效地解决决了上述两两个问题4、数据库存存储引擎myisamMyisam存储引擎特特点是每天天的每种表表都是单独独存储的，，好处是某某个表损坏坏了，还可可以再重新新load一次修复。。这种方式式的数据库库会有很多多文件，比比如20101130的A表就会产生生三个文件件：A20101130.frm（结构表））、A20101130.MYI（索引表））、A20101130.MYD（日志表））。4、数据库存存储引擎myisam(续)5.1、3.2日志审计不不再由aclog直接写数据据库。改成成aclog直接把日志志写到sync_file和load_file两个文件中中。每隔一一段时间，，一次性导导入一批日日志记录，，从而极大大提高了效效率。5.2、sync_file文件存在硬硬盘上，用用于同步到到外置数据据中心和内内置数据库库恢复使用用，每五分分钟生成一一个文件。。Load_file用于导入到到内置数据据库中，导导入成功后后便删除，，每5s左右导入一一次。5.3、Sync_file与内置数据据中心存放放着相同的的日志，所所以产生一一个问题，，磁盘使用用率降低一一半。5.4、支持某一一天的日志志表坏了，，可以直接接从日志文文件(sync_file)中恢复。只只支持恢复复当天的，，暂时不支支持内置数数据库完全全挂掉后，，全盘恢复复。但是可可以使用外外置数据中中心，把日日志文件中中的日志导导出。5.5、启用高性性能模式的的时候，aclog只写sync_file文件，内置置数据中心心无日志。。5.6、MYSQL改myisam为存储引擎擎，解决数数据库收缩缩问题。5、日志审计计总结三、日志同同步3.2之前版本本日志同步步采用每条条日志同步步及每条日日志写入外外置数据中中心mysql的方式缺点：同步步速度慢，，每天同步步的日志大大概2000w条左右，日日志量比较较大的客户户，经常出出现日志同同步速度跟跟不上日志志产生速度度，同步滞滞后。3.2版本数据采采用新的同同步机制，，内置数据据中心每隔隔5分钟生成一一个日志文文件，日志志同步时，，直接将日日志文件同同步到外置置数据中心心，然后由由我们的load程序批量load到数据库。。优点：大大大提高了了同步效率率，高端设设备一天支支持6000w的日志同步步，解决了了同步速度度慢的问题题。1、对比之前前版本上图为日志志同步的整整体过程，，同步过过程中涉及及三种表，，配置表，，日志表和和附件，，同步的先先后顺序为为：配置表表日志表附件2、日志同步步整体流程程这里所说的的配置表，，指的是用用户表，组组织架构表表及应用表表等，如左左图。2.1、配置表同同步2.1、配置表同同步（续））配置表的同同步由同步步客户端程程序datasync将配置表同同步至外置置数据中心心，然后由由外置数据据中心服务务端程序调调用load导入器，将将配置表导导入至mysql，完成配置置表同步。。每次启动动同步都会会进行配置置表的同步步，同步前前先检验各各配置表的的md5值，如果md5不一样，则则认为配置置表发生改改变，需要要进行同步步。2.1、配置表同同步（续））配置表md5网关序号load2.2、日志表同同步日志表指的的是用户上上网产生的的真实日志志，包括A，U，P，M，C，O，I，S，F，Q，T这些表。日志表的同同步过程如如下：2.2、日志表同同步（续））①.aclog把实时日志志写进日志志文件sync_file下，如下图图：日志文件的的命名规则则如下:例20101130_1515_5F86F7A5_Q.dat，20101130为日期，1515为时间，5F86F7A5网关序号，，Q表的命名，，从图中可可以看出日日志文件是是每隔5分钟生成一一次2.2、日志表同同步（续））②.同步客户端端直接从日日志文件sync_file中读取日志志文件并同同步至外置置数据中心心，同步顺顺序为：A->U->P->M->C->O->I->S->F->Q->T③.外置数据同同时调用load导入器将已已同步过来来的日志表表导入至数数据库。外外置数据中中心日志表表同步如下下图：2.3、附件同步步完成当前5分钟日志表表的同步后后，需要进进行当前5分钟附件的的同步，直直接由同步步器将当前前5分钟内的附附件打包，，同步至外外置数据中中心进行解解包，便完完成该5分钟附件的的同步。外外置数据中中心附件同同步日志如如下图：附件在内置置数据中心心打包成20101209_1530_5F86F7A5_X.dat这种形式进进行同步。。外置数据中中心同样具具有load和recover机制，原理理和内置数数据中心一一样，差别别的是，内内置数据中中心load和recover一直在运行行，而外置置的load和recover只是在需要要的时候才才调用，如如下图：3、外置数据据中心日志志导入及恢恢复功能3.1.Datacenter同步完成sync_file之后，会调调用Loader.exe。3.2.Loader.exe把sync_file文件中相关关日志，导导入到MYSQL数据库中。。导入成功功后，Loader.exe程序退出工工作，等待待下一次datacenter对其进行调调用。3.3.如果Loader在导入数据据库表的时时候出现错错误，并且且进行简单单的repair还无法修复复，则调用用Recover.exe进行修复。。3.4.Recover.exe被调用起来来后，把无无法修复的的表进行drop，drop完之后，再再从sync_file里面，把对对面的表进进行恢复。。如果成功功，则把控控制权交还还给Loader，并退出。。3.5.如果Recover失败超过三三次，刚返返回给Loader相关错误信信息，然后后退出。3、外置数据据中心日志志导入及恢恢复功能（（续）4、压缩算法法同步日志使使用压缩算算法：LZO和LZMA，默认是LZO，使用LZMA压缩算法可可以在界面面上配置，，可以将压压缩比率提提高1倍，但是同同步时间并并不一定会会会因为压压缩比率增增加而缩短短，因为压压缩也会占占用较长的的时间了。。注意：启用用该算法有有可能比不不启用该算算法更慢，，因为压缩缩比较耗时时，也在内内网环境下下不建议使使用。在带带宽不足的的情况下，，如通过vpn，多个分支支向总部同同步日志，，可以启用用。5.1、内内置到外置置数据中心心同步，每每次传五分分钟的sync_file内内容和五分分钟相关的的附件。传传输完成后后，外置数数据中心，，立刻调用用导入器(Loader)对对日志文件件进行导入入。5.2、同同步日志的的顺序为配配置表->日志表->附件，，其中日志志表的同步步顺序为，，A->U->P->M->C->O->I->S->F->Q->T5.3、LZMA算法，，压缩比虽然然提高，但但是同步速度度不一定提高高。建议内网网环境不启用用，带宽不足足时再启用。。5.4、内置置数据中心Loader过的日志文文件(load_file)会被删删除，而外置置数据中心Loader过的日志文文件不会被删删除。5.5、Recover只能修复当当天的数据库库，无法修复复整个数据库库。5.6、sync_file中的日日志文件删除除机制同数据据库日志删除除机制5、日志同步总总结四、中间表随着审计日志志量的增加，，数据中心查查询、统计、、生成报表等等速度越来越越慢，为了满满足客户使用用数据中心可可以在短时间间内响应并给给出结果的需需求，提出中中间表的实现现机制。中间间表由后台程程序midtable实现，将原始始表中具有求求和意义的字字段（流量，，时间，行为为等）按组、、用户、IP、应用类型及及具体应用做做二次统计，，一定程度上上提高查询、、统计的页面面响应。1、为什么要引引入中间表3.0之前的中间表表直接从数据据库中读取日日志，每半个个小时作为一一个时间段，，生成中间表表。中间表使使用有限，如如果要统计四四个小时的流流量，则需要查询8次中间表。3.2版本较之前版版本发生了变变化，生成中中间表的原始始数据不是从从数据库中读读取，直接从从sync_file下的文件中读读取，另外也也不仅仅是取取半个小时内内置的数据生生成中间表，，可以取半个个小时，一个个小时，4个小时内的数数据生成相应应的中间表，，这样要统计计四个小时内内的流量，只需要查询一一次中间表即即可，提高了统计计的速度2、对比之前版版本3.2版本中间表程程序会读取sync_file下的日志文件件生成A、F、T、U四种原始表的的中间表。不不同类型日志志的中间表有有不同的时间间段，如下，，中间表一览览：3、中间表一览览中间表命名规规则：如：MidFGA1H20101026其中Mid表示该表为中中间表，F表示该表为流流量表的中间间表，GA分别表示“组组”和“具体体应用”，1H表示中间表为为一张1小时的中间表表，20101026表示中间表的的生成时间。。结合前面的中间表一览，如果需要统计某个用户13：00至17：00这段时间的流量情况，需要查几次中间表？3、中间表一览览（续）五、日志精简简其他应用：相相同源IP、目标IP,5min记一次P2P：相同源IP,5min记一次游戏/炒股：相同源源IP、具体应用,10min记一次拒绝日志：相相同源IP、具体应用、、域名,10min记一次PS：优化日志记记录也做了一一些小修改从从原来的5S记录一次增加加到30S一次。1、日志精简方方案由于其它应用用，p2p及拒绝类的较较多，现采用用了以下日志志精简方案2、日志精简设设置六、升级及注注意事项1、升级之前前最好将之前前的日志同步步一下，否则则升级后日志志就不会同步步了。因为升级之后后，同步文件件只存在于sync_file文件件里面，而老老的数据依旧旧存在于mysql数据据库里。所以以如果升级前前没有同步到到外置数据中中心的数据，，将不再被同同步。但是内内置依旧可以以查到相关的的日志记录。。2、从低版本本如3.0版版本升级到3.2，必须须使用update5.0版本升级级客户端。并并且要开启升升级授权序列列号，才能进进行升级。使使用update4.0无法进行升升级，会报错错。3、删除日志志时会将数据据库和日志文文件中的日志志（sync_filek中的日志志）会一起删删除。4、外置数据据中心安装程程序支持中文文版本windowsserver2000,windowsserver2003,windowsserver2008，只支持持32位操作作系统。5、外置数据据中心，附件件保存可以选选择加密或者者不加密。6、日志库大大小统计：外外置4小时统统计一次，因因为4小时调调用一次自动动删除，在删删除后进行统统计。7、同步器状，，双击同步连连接，不再显显示同步的日日志数，而显显示同步的的的时间点。8、外置数据中中心日志，可可以查看到，，同步过来的的日志文件和和附件包。并并且可以看到到每次同步完完后，调用loader进行数据导入入。9、同步帐号号里面的定时时同步设置，，可以设置同同步时间间隔隔。为每多少少分钟同步一一次。也就是是，如果同步步完成之后，，经过多少时时间之后，再再进行一次数数据同步。如如下图。七、FAQ1、数据中心无无法查询日志志①检查审计策略略是否启用，，用户与策略略关联是否正正确②检查系统日志志是否有关于于审计，数据据库方面的告告警或错误日日志③检查当前管理理员是否有查查询相关组的的查询权限2、数据中心日日志无法同步步①检查数据中心心配置是否正正确②检察设备系统统日志和外置置数据中心心日志是否有有数据中心同同步器，mysql方面的报错。。③从设备上测试试到外置数据据中心810端口通信是否否正常。检查外置数据据中心datacenter.exe和mysql运行是否正常常谢谢谢！9、静夜四无邻邻，荒居旧业业贫。。12月-2212月-22Saturday,December17,202210、雨中黄叶树树，灯下白头头人。。08:03:0208:03:0208:0312/17/20228:03:02AM11、以我独沈久久，愧君相见见频。。12月-2208:03:0208:03Dec-2217-Dec-2212、故人江海别别，几度隔山山川。。08:03:0208:03:0208:03Saturday,December17,202213、乍见翻疑梦梦，相悲各问问年。。12月-2212月-2208:03:0208:03:02December17,202214、他乡生白发发，旧国见青青山。。17十二月月20228:03:02上午08:03:0212月-2215、比不了得得就不比，，得不到的的就不要。。。。十二月228:03上上午12月-2208:03December17,202216、行动出成果果，工作出财财富。。2022/12/178:03:0208:03:0217December202217、做前，能够够环视四周；；做时，你只只能或者最好好沿着以脚为为起点的射线线向前。。8:03:02上午8:03上上午08:03:0212月-229、没有失败，，只有暂时停停止成功！。。12月-2212月-22Saturday,December17,202210、很多事情努努力了未必有有结果，但是是不努力却什什么改变也没没有。。08:03:0208:03:0208:0312/17/20228:03:02AM11、成功就是是日复一日日那一点点点小小努力力的积累。。。12月-2208:03:0208:03Dec-2217-Dec-2212、世间成事事，不求其其绝对圆满满，留一份份不足，可可得无限完完美。。08:03:0208:03:0208:03Saturday,December17,202213、不知香积积寺，数里里入云峰。。。12月-2212月-2208:03:0208:03:02December17,202214、意志坚强强的人能把把世界放在在手中像泥泥块一样任任意揉捏。。17十二二月20228:03:02上上午08:03:0212月-2215、楚