大数据应用系统监控与日志分析

大数据应用-系统监控与日志分析第一页，共三十六页。5/11/2023目录网易有道简介在线服务监控离线日志分析第二页，共三十六页。5/11/2023有道的发起者是一群执着于搜索技术的年轻人，我们发现中文网络中的搜索还远未达到理想，所以希望通过我们现在和将来的努力，把设想中的服务一点点变成现实，分享给大家使用，让你更快一秒找到想要的好东西。关于有道第三页，共三十六页。5/11/2023有道产品搜索类第四页，共三十六页。5/11/2023有道产品翻译类其他产品第五页，共三十六页。5/11/2023在线监控与离线分析第六页，共三十六页。5/11/2023设计原则不影响正常服务水表不能把水堵了通用性如果不够通用…第七页，共三十六页。5/11/2023第八页，共三十六页。5/11/2023目录有道产品简介在线服务监控离线日志分析第九页，共三十六页。5/11/2023在线服务监控访问控制系统性能监控系统异常报警系统第十页，共三十六页。5/11/2023访问控制系统主要目的：防止非用户抓取冲击系统服务影响访问统计非法使用数据挑战灵活的控制规则减小对产品服务的影响第十一页，共三十六页。5/11/2023访问控制规则过滤规则Key:Header字段，parameterKey:正则表达式例子：Ip=123\.45\..*,agent=“firefox.*”频度控制统计时间（span）次数的阈值（threshold）例子：span:3600000threshold:1000第十二页，共三十六页。5/11/2023访问控制系统总体结构旁路统计规则封禁访问控制服务器维护规则库按规则进行统计为产品生成封禁列表产品服务端转发请求同步封禁列表实施访问控制第十三页，共三十六页。5/11/2023访问控制系统第十四页，共三十六页。5/11/2023性能监控系统功能：实时统计服务中的性能参数如处理时间、吞吐率等特点通用性集中的数据分析与存储直观的展现方式第十五页，共三十六页。5/11/2023性能监控的需求通用性各种产品不同的需求自定的统计量不同的编程语言性能要求减小对产品服务的影响大数据量的分析与存储第十六页，共三十六页。5/11/2023监控系统的设计松耦合通过日志文件交换数据文本格式自定义统计量<产品名,变量名,取值>的三元组大数据量多分辨率压缩存储第十七页，共三十六页。5/11/2023监控系统结构图第十八页，共三十六页。5/11/2023第十九页，共三十六页。5/11/2023第二十页，共三十六页。5/11/2023异常报警系统功能自动筛查日志中的Exception发现问题自动发信报警优点通用性强使用简单第二十一页，共三十六页。5/11/2023目录有道产品简介在线服务监控离线日志分析第二十二页，共三十六页。5/11/2023离线日志统计主要的目的用户使用习惯用户对产品的好感度系统运行状态市场推广情况第二十三页，共三十六页。5/11/2023日志收集集中的日志服务器产品的服务器是分布式的，需要统一分析所有产品公用，降低运营复杂度大数据量存储服务器建立本地缓存最终保存在分布式文件系统中压缩存储防止日志丢失支持备份服务器分布式文件系统保证可靠性第二十四页，共三十六页。5/11/2023日志收集系统第二十五页，共三十六页。5/11/2023日志分析主要的挑战超大数据量运算时间的要求组合统计解决方法分布式计算第二十六页，共三十六页。5/11/2023分布式分析程序第二十七页，共三十六页。5/11/2023常规统计访问量时间地域用户新用户：推广与传播的效果老用户：真正使用这个产品功能切换页面切换产品切换第二十八页，共三十六页。5/11/2023一些有意思的统计规律周末与非周末什么时候流量更大？第二十九页，共三十六页。5/11/2023周末与非周末工具（网页搜索、海量词典）vs娱乐（视频搜索、音乐搜索）平时需要工具，周末需要娱乐第三十页，共三十六页。5/11/2023一些有意思的统计规律不同的时段访问有区别吗？搜索和吃饭的关系？第三十一页，共三十六页。5/11/2023工具vs娱乐白天需要工具，晚上需要放松第三十二页，共三十六页。5/11/2023公网vs教育网白领和中小学生要早睡，大学生都是夜猫子第三十三页，共三十六页。5/11/2023更多的分析《有道阅读的12个有趣的发现》订阅博客范围，新老各有地盘职业和阅读习惯阅读真的变成快餐了明星博客，各领风骚三两天大部分人订阅不过10个，阅读不超20分钟阅读还是很个人…第三十四页，共三十六页。5/11/2023总结在线服务监控保证服务正常运行离线日志分析了解用户，改进产品第三十五页，共三十六页。内容总结大数据应用-系统监控与日志分析。4/14/2023。span:3600000threshold:1000。<产品名,变量名,取值>的三元组。产品的服务器是分布式的，需