大数据应用-系统监控与日志分析

1、大数据应用-系统监控与日志分析1/15/2020目录网易有道道简介在线服务务监控离线日志志分析1/15/2020有道的发发起者是是一群执执着于搜搜索技术术的年轻轻人，我我们发现现中文网网络中的的搜索还还远未达达到理想想，所以以希望通通过我们们现在和和将来的的努力，把设想想中的服服务一点点点变成成现实，分享给给大家使使用，让让你更快一秒秒找到想要要的好东东西。关于有道道1/15/2020有道产品品搜索类1/15/2020有道产品品翻译类其他产品品1/15/2020在线监控控与离线线分析1/15/2020设计原则则不影响正正常服务务水表不能能把水堵堵了通用性如果不够够通用1/15/20201/15

2、/2020目录有道产品品简介在线服务务监控离线日志志分析1/15/2020在线服务务监控访问控制制系统性能监控控系统异常报警警系统1/15/2020访问控制制系统主要目的的：防止止非用户户抓取冲击系统统服务影响访问问统计非法使用用数据挑战灵活的控控制规则则减小对产产品服务务的影响响1/15/2020访问控制制规则过滤规则则Key: Header字段，parameterKey:正则表达达式例子：Ip=123.45.*,agent=“firefox.*”频度控制制统计时间间（span）次数的阈阈值（threshold）例子：span:3600000threshold:10001/15/2020访问

3、控制制系统总体结构构旁路统计计规则封禁禁访问控制制服务器器维护规则则库按规则进进行统计计为产品生生成封禁禁列表产品服务务端转发请求求同步封禁禁列表实施访问问控制1/15/2020访问控制制系统1/15/2020性能监控控系统功能：实实时统计计服务中中的性能能参数如处理时时间、吞吞吐率等等特点通用性集中的数数据分析析与存储储直观的展展现方式式1/15/2020性能监控控的需求求通用性各种产品品不同的的需求自定的统统计量不同的编编程语言言性能要求求减小对产产品服务务的影响响大数据量量的分析析与存储储1/15/2020监控系统统的设计计松耦合通过日志志文件交交换数据据文本格式式自定义统统计量的三元组

4、组大数据量量多分辨率率压缩存存储1/15/2020监控系统统结构图图1/15/20201/15/20201/15/2020异常报警警系统功能自动筛查查日志中中的Exception发现问题题自动发发信报警警优点通用性强强使用简单单1/15/2020目录有道产品品简介在线服务务监控离线日志志分析1/15/2020离线日志志统计主要的目目的用户使用用习惯用户对产产品的好好感度系统运行行状态市场推广广情况1/15/2020日志收集集集中的日日志服务务器产品的服服务器是是分布式式的，需需要统一一分析所有产品品公用，降低运运营复杂杂度大数据量量存储服务器建建立本地地缓存最终保存存在分布布式文件件系统中中压

5、缩存储储防止日志志丢失支持备份份服务器器分布式文文件系统统保证可可靠性1/15/2020日志收集集系统1/15/2020日志分析析主要的挑挑战超大数据据量运算时间间的要求求组合统计计解决方法法分布式计计算1/15/2020分布式分分析程序序1/15/2020常规统计计访问量时间地域用户新用户：推广与与传播的的效果老用户：真正使使用这个个产品功能切换换页面切换换产品切换换1/15/2020一些有意意思的统统计规律律周末与非非周末什么时候候流量更更大？1/15/2020周末与非非周末工具（网网页搜索索、海量量词典）vs娱乐（视视频搜索索、音乐乐搜索）平时需要要工具，周末需需要娱乐乐1/15/2020一些有意意思的统统计规律律不同的时时段访问问有区别别吗？搜索和吃吃饭的关关系？1/15/2020工具vs娱乐白天需要要工具，晚上需需要放松松1/15/2020公网vs教育网白领和中中小学生生要早睡睡，大学学生都是是夜猫子子1/15/2020更多的分分析有道阅读读的12个有趣的的发现订阅博客客范围，新老各各有地盘盘职业和阅阅读习惯惯阅读真的的变成快快餐了明星博客客