腾讯大讲堂19系统优化的方向ppt课件

1、sunshinexiong 2021-01-15系统优化的方向？系统优化的方向？监控对研发的支持监控对研发的支持系统优化的驱动力系统优化的驱动力 问题问题 监控监控 自我实现和挑战自我实现和挑战监控监控 被动式监控被动式监控 运维监控，运维监控，Port、CPU、Memory、Disk IO、Net IO、FileSize、DiskSize 自动式监控自动式监控 HttpWatch工具工具 Cgi自动化测试自动化测试 立体化监控体系立体化监控体系 运营数据采集运营数据采集isd.itil每天自动邮件，纪录每台设备的运维情况每天自动邮件，纪录每台设备的运维情况综合负载综合负载CPU占用率占用率网

2、络流量出、入网络流量出、入网络包出、入网络包出、入Load Average/5min磁盘磁盘Block in/out监控邮件、监控邮件、url地址地址HttpWatch工具工具Cgi自动化测试平台自动化测试平台itil.isd3.0结果展现结果展现Cgi自动化测试原理自动化测试原理模拟前台模拟前台JS代码发送代码发送cgi恳求，并接纳前往，纪录呼应时间，并恳求，并接纳前往，纪录呼应时间，并分析前往包分析前往包本质是一种黑盒集成测试本质是一种黑盒集成测试监控结果存在某种程度的失真监控结果存在某种程度的失真建议在前往包中，提供前往码建议在前往包中，提供前往码立体化监控立体化监控LogServer立

3、体化监控立体化监控运营数据分析运营数据分析isdstatIDC测试平台测试平台idcspeed.oa优化任务根底优化任务根底数据分析数据分析 举例：猜扑克牌举例：猜扑克牌enum card cardA,card2,card3,card4,card5,card6,card7,card8,card9,card10,cardJ,cardQ,cardK;enum card i,j,k;for ( i = cardA, i cardK, i+)for ( j= cardA, j cardK, j+)for ( k = cardA, k cardK, k+)if ( 3=func(i,j,k) ) Pri

4、nt(i,j,k), return 0; int func(int x, int y, int z);如何优化？如何优化？func(A,A,A)func(A,A,2)func(A,A,3)func(A,A,4)func(A,2,A)func(A,2,2)func(A,2,3)func(A,2,4)func(2,A,A)func(2,A,2)func(2,A,3)func(2,A,4)int func(int x, int y, int z);enum card cA,c2,c3,c4,c5,c6,c7,c8,c9,c10,cJ,cQ,cK;enum card i;int count=0,ret

5、;for ( i = cA, i cK, i+ )if ( ret=func(i,i,i) != 0 ) Print(i,ret), 3=count+ret?return 0, count+=ret;日志优化日志优化新新cache优化后效果优化后效果 日志回复日志回复CACHE上线后，上线后，CACHE顶峰期处置的平均延时由顶峰期处置的平均延时由200500ms左右降至左右降至20ms左右；目前日志左右；目前日志title的命中率在的命中率在92%左右，其左右，其平均延时在平均延时在8ms左右，以前顶峰期在左右，以前顶峰期在50-60ms左右左右 目前日志目前日志title还需还需8ms的缘由

6、，应该与目前日志的缘由，应该与目前日志title的数据有关，的数据有关，每次每次DB的的IO操作的数据量比较大影响的操作的数据量比较大影响的 后台数据后台数据CACHE的性能提升，减少了前台的性能提升，减少了前台WEB接入的接入的httpsvr的的压力，用户体验提升，同时也相应带来了系统稳定性的提升压力，用户体验提升，同时也相应带来了系统稳定性的提升旧系统构造旧系统构造 模块 日志回复 日志标题 日志计数 优点 CACHE内存化，提升性能 多进程号段分布处置 业务异步化 缺陷 CACHE量有限，命中率低，对DB的性能依赖比较重 模块相互独立，容易呵斥数据不一致现网数据分析现网数据分析数据量数据

7、量日志标题日志标题cache 10台台 约约69G 命中率：约命中率：约90%DB 5台台 约约340G日志回复日志回复cache 20台台 约约68G 命中率：约命中率：约50%DB 20台台 约约9T日志计数日志计数cache 10台台 约约122G 命中率：约命中率：约100%DB 4台台 约约100G访问量访问量日志标题日志标题顶峰期：顶峰期：7100次次/秒秒日志回复日志回复顶峰期：顶峰期：5000次次/秒秒日志计数日志计数顶峰期：顶峰期：7000次次/秒秒新系统构造新系统构造系统分三个模块：日志信息、日志标题、访问计数CGI层对日志标题、访问计数模块有读/写权限；对日志标题模块只需

8、读权限，其数据来源于日志信息模块新新cache优化后效果优化后效果 日志回复日志回复CACHE上线后，上线后，CACHE顶峰期处置的平均延时由顶峰期处置的平均延时由200500ms左右降至左右降至20ms左右；目前日志左右；目前日志title的命中率在的命中率在92%左右，其左右，其平均延时在平均延时在8ms左右，以前顶峰期在左右，以前顶峰期在50-60ms左右左右 目前日志目前日志title还需还需8ms的缘由，应该与目前日志的缘由，应该与目前日志title的数据有关，的数据有关，每次每次DB的的IO操作的数据量比较大影响的操作的数据量比较大影响的 后台数据后台数据CACHE的性能提升，减少

9、了前台的性能提升，减少了前台WEB接入的接入的httpsvr的的压力，用户体验提升，同时也相应带来了系统稳定性的提升压力，用户体验提升，同时也相应带来了系统稳定性的提升日志信息模块性能日志信息模块性能单台机器单台机器4个个CACHE，包容，包容6000万个存储节点，万个存储节点，CACHE数据量数据量为为210G左右空间，每秒中的处置恳求约左右空间，每秒中的处置恳求约900次其中读次其中读800/写写100，平均延时为，平均延时为100ms，每分钟内处置超越，每分钟内处置超越1秒的恳求为秒的恳求为32个个，占这分钟内访问约，占这分钟内访问约1/1000现网规划：现网规划：15台台cache 6台台DB日志容量扩容日志容量扩容日志数据几何级数增长，每日志数据几何级数增长，每12个月数据容量翻一番个月数据容量翻一番DB设备越来越多，旧架构需求翻倍增长设备越来越多，旧架构需求翻倍增长日志正文同回复的存储在一同日志正文同回复的存储在一同新日志存储新日志存储日志不再按照日志不再按照QQ ID存