大数据应用系统监控与日志分析

大数据运用-系统监控与日志分析1/7/2024目录网易有道简介在线效力监控离线日志分析1/7/2024有道的发起者是一群执着于搜索技术的年轻人，我们发现中文网络中的搜索还远未到达理想，所以希望经过我们如今和未来的努力，把想象中的效力一点点变成现实，分享给大家运用，让他更快一秒找到想要的好东西。关于有道1/7/2024有道产品搜索类1/7/2024有道产品翻译类其他产品1/7/2024在线监控与离线分析1/7/2024设计原那么不影响正常效力水表不能把水堵了通用性假设不够通用…1/7/20241/7/2024目录有道产品简介在线效力监控离线日志分析1/7/2024在线效力监控访问控制系统性能监控系统异常报警系统1/7/2024访问控制系统主要目的：防止非用户抓取冲击系统效力影响访问统计非法运用数据挑战灵敏的控制规那么减小对产品效力的影响1/7/2024访问控制规那么过滤规那么Key:Header字段，parameterKey:正那么表达式例子：Ip=123\.45\..*,agent=“firefox.*〞频度控制统计时间〔span〕次数的阈值〔threshold〕例子：span:3600000threshold:10001/7/2024访问控制系统总体构造旁路统计规那么封禁访问控制效力器维护规那么库按规那么进展统计为产品生成封禁列表产品效力端转发恳求同步封禁列表实施访问控制1/7/2024访问控制系统1/7/2024性能监控系统功能：实时统计效力中的性能参数如处置时间、吞吐率等特点通用性集中的数据分析与存储直观的展现方式1/7/2024性能监控的需求通用性各种产品不同的需求自定的统计量不同的编程言语性能要求减小对产品效力的影响大数据量的分析与存储1/7/2024监控系统的设计松耦合经过日志文件交换数据文本格式自定义统计量<产品名,变量名,取值>的三元组大数据量多分辨率紧缩存储1/7/2024监控系统构造图1/7/20241/7/20241/7/2024异常报警系统功能自动筛查日志中的Exception发现问题自动发信报警优点通用性强运用简单1/7/2024目录有道产品简介在线效力监控离线日志分析1/7/2024离线日志统计主要的目的用户运用习惯用户对产品的好感度系统运转形状市场推行情况1/7/2024日志搜集集中的日志效力器产品的效力器是分布式的，需求一致分析一切产品公用，降低运营复杂度大数据量存储效力器建立本地缓存最终保管在分布式文件系统中紧缩存储防止日志丧失支持备份效力器分布式文件系统保证可靠性1/7/2024日志搜集系统1/7/2024日志分析主要的挑战超大数据量运算时间的要求组合统计处理方法分布式计算1/7/2024分布式分析程序1/7/2024常规统计访问量时间地域用户新用户：推行与传播的效果老用户：真正运用这个产品功能切换页面切换产品切换1/7/2024一些有意思的统计规律周末与非周末什么时候流量更大？1/7/2024周末与非周末工具〔网页搜索、海量词典〕vs文娱〔视频搜索、音乐搜索〕平常需求工具，周末需求文娱1/7/2024一些有意思的统计规律不同的时段访问有区别吗？搜索和吃饭的关系？1/7/2024工具vs文娱白天需求工具，晚上需求放松1/7/2024公网vs教育网白领和中小学生要早睡，大学生都是夜猫子1/7/2024更多的分析<有道阅读的12个有趣的发现>订阅博客范围，新老各有地盘职业和阅读习惯阅读真的变成快餐了明星博客