![敏捷运维与日志数据分析_第1页](http://file4.renrendoc.com/view/4f69f8fbfbd2c85f686ea5c83aa96947/4f69f8fbfbd2c85f686ea5c83aa969471.gif)
![敏捷运维与日志数据分析_第2页](http://file4.renrendoc.com/view/4f69f8fbfbd2c85f686ea5c83aa96947/4f69f8fbfbd2c85f686ea5c83aa969472.gif)
![敏捷运维与日志数据分析_第3页](http://file4.renrendoc.com/view/4f69f8fbfbd2c85f686ea5c83aa96947/4f69f8fbfbd2c85f686ea5c83aa969473.gif)
![敏捷运维与日志数据分析_第4页](http://file4.renrendoc.com/view/4f69f8fbfbd2c85f686ea5c83aa96947/4f69f8fbfbd2c85f686ea5c83aa969474.gif)
![敏捷运维与日志数据分析_第5页](http://file4.renrendoc.com/view/4f69f8fbfbd2c85f686ea5c83aa96947/4f69f8fbfbd2c85f686ea5c83aa969475.gif)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、Gdevops全球敏捷运维敏捷运维与日志数据分析人:议题敏捷运维数据驱动进阶运维分析(IT Operation日志数据企业IT数据宝藏分析流派与模式分析引擎与SPL(搜索处理语言)日志分析案例功能ytics)敏捷运维数据驱动运维当前的状态年 月NIC:网民5.94亿,支付网民2.76亿,半年增26.9%开源社区促进技术栈高速迭代,传统ITIL需要DevOps式的快速响应越来越可怕的和等行为:Bash的sshock, OpenSSL的heartbleed,Glibc分布式和微服务的潮流让业务模块更加离散BAT服务器数量100万级敏捷运维数据驱动数据驱动大多是埋点或采样式的。采样意味着的评定是一种
2、模糊估算,是去除了细节的大趋势上的判断。在通过做到了总体稳定的初级目标以后,有必要通过全量数据分析的方式,对细节做更明确、更高效的和优化。随着技术的发展,大数据的兴起,靠数据来驱动运维,也成为可能。敏捷运维数据驱动ITOA(IT运营分析,IT Operationsytics) 将IT配置、变换和运行历程中孕育产生的海量数据转化为清楚地、可付诸实施的解决要领,客户通过使用ITOA产品生成的报表可以大大地缩短妨碍修复时间,减少变乱和宕机次数,实现无端障的应用颁布和系统升级。进阶运维分析(IT OperationGartner对ITOA发展的展望ytics)Gartner估计,到2017年15%的大
3、企业会积极使用ITOA;而在2014年这一数字只有5%ITOA 的四种数据来源机器数据(Machine Data)日志通信数据(Wire Data)网络抓包,流量分析数据(Agent Data)在.NET/Java 字节码里探针数据(Probe Data)代码,统计函数调用、堆栈使用在各地模拟ICMP、HTTP GET请求,对系统进行检测100%80%60%40%20%0%machine data(日志)wire data(网络抓包)agent data(代码)probe data(模拟检测)86%93%72%47%日志数据企业IT数据宝藏来自最终用户端的数据(客户端crash、启动速度、间)
4、速度、首屏时间、DNS时来自设备资源的存、IO)机,数据库,以及不同业务的带宽、CPU、内来自服务资源的数据(响应时间、成功率、异常状态码、缓存、qps)来自业务接口的数据(接口响应时间、超时和失败率、调用链)行为日志网络日志交易日志应用及系统日志IT系统(服务器、网络设备)每天都产生大量的日志,包含了各种设备、系统、应用、用户信息一条Apache Acs 日志43 - - 15/Apr/2015:00:27:19“hT /report HTTP/1.1” 200 21/search/” “Mozilla/5.0(Windows NT 6.1; WOW64; rv:37.0)Gecko/201
5、00101 Firefox/37.0” “74”0.005 0.001字段:Cnt IP: 43Timest: 15/Apr/2015:00:27:19Method:TURI: /reportVerS: HTTP/1.1us: 200Bytes: 21Referrer: h/search/User Agent: Mozilla/5.0 (Windows NT 6.1; WOW64;rv:37.0) Gecko/20100101 Firefox/37.0X-Forward: 74Request_time: 0.005 Upstream_request_time:0.001一些不知道是什么日志的日
6、志日志文件的转换-难点日志处理系统的构建,并不知道日志长什么样子。日志处理系统的用户,不应该投入过多精力在这个数据归一化的过程中日志文件的转换-难点需要有工具解决数据的学习难度需要有方法可以按需处理之前没的数据日志数据处理的演进单机grep/awk。0.1-1.0-在里,适合数百台网络设备、主机的syslog收集,每台每秒10条左右的频率。2.0-在Hadoop里,适合数百TB以上,MapReduce任务运行按小时计的长期计算任务。3.0-在实时搜索引擎里,适合无固定规则的毫秒至秒级别的查询统计任务。日志3.0:实时搜索引擎日志1.0:数据库日志2.0:Hadoop 或 NoSQL固定的sch
7、ema无法适应任意日志格式无法处理大数据量需要开发成本批处理,实时性差不支持全文检索实时灵活全文检索分析流派与模式分析流派与模式Hadoop批处理,不够及时查询慢数据离线挖掘,无法做 OLAP (On LineStorm/Sparkytic Prosing)Hadoop/Storm/Spark都只是一个开发框架,不是拿来即用的产品NoSQL 不支持全文检索分析流派与模式日志传输方案日志查询和可视化Flume:Java,apacheHadoop生态圈首选 Scribe:C+,弃,日志集中管理,分为收集、查询、可视化几方面。目前互联网发展的速度,日志中心普遍采用分开源,已废布式集群日志。Rsysl
8、og:C,RedHat默认自带Fluentd:Ruby, treasuredata开源,messagepack作者 Logstash:JRuby,Elastic开源, fpm作者Heka:Golang,mozilla开源,模仿Logstash,已停更对应的可视化方案有:Graylog2:上个版本基于mongodb,现在基于ESKibana:基于ESHue:基于Hadoop分析流派与模式Schema on Write vs. Schema on ReadSchema on Write索引时(入库前)抽取字段,对日志做结构化检索速度快但不够灵活,必须预先知道日志格式Schema on Read检索
9、时(入库后)抽取字段,对日志结构化灵活,检索时根据需要抽取字段但检索速度受影响同时支持 Schema on Write 和 Schema on Read日志易的实现机制由用户选择需要的策略日志分析案例功能搜索告警统计事务关联配置规则,识别任何日志把日志从非结构化数据转换成结构化数据开放API,对接第系统高性能、可扩展分布式架构索引性能:100万 EPS (Event Per Second),20TB/天检索性能:60秒内检索1000亿条日志分析引擎与SPL(搜索处理语言)分析引擎与SPL(搜索处理语言)可编程的日志实时搜索分析搜索处理语言(Search Pro SPL命令用管道符(“|”)串接
10、成sing Language, SPL)程序 在搜索框里写SPL,完成复杂的查询、分析可接入各种来源的数据日志文件数据库二进制日志sing Language 范例Search Pro中移动某省分析营业厅业务办理日志聚合出每个营业员每项业务的详细操作步骤,对每个步骤操作时长进行告警、统计分析json.url:“/charge/businesion?BMEBusiness=tRecTimeFlag=true” | tranionID startswith=eval(json.action:“查询”&apache.d mens._CURRENT_30m) endswith=json.action:提交timest1.先通过url过滤出所有缴费业务日志sing Language 范例Search Pro一笔缴费业务营业员所有操作步骤一目了然每个步骤所需要的执行时间按步骤顺序排列网络处理时间,服务器处理时间按步骤顺序排列分析优势细粒度的数据分析日志的格式、内容五花八门,对其分析的方式方法更是如此。日志易提供了灵活、高效的数据分析语句,能够帮助用户从容的进行细粒度的数据分析完备的全量日志管理日志分析的关键在于其完备 性。日志易能够完整保存长周期、大容量的日志数据,为后期的分析提供了基础秒级回馈的任何一个想法、一个可视化统计通过几下鼠标点击,分析分析线索、一个疑点,都可以在几十甚至几
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 中东及非洲骨骼和关节营养补充剂行业现状及发展机遇分析2024-2030
- 2024-2030年墨西哥益生菌生产市场前景分析
- 空间中直线、平面的平行同步练习 高一下学期数学人教A版(2019)必修第二册
- 2024年俄罗斯龙舌兰酒行业应用与市场潜力评估
- 污水处理项目
- 金版教程物理2024导学案必修第册人教版新第十三章 电磁感应与电磁波初步磁场 磁感线含答案
- 陕教版九年级道德与法治上册知识点归纳和总结
- 湘少版六年级英语上册教案全册(表格式)
- 初中语文课堂教学情境创设研究课题阶段性总结
- 课程设计的总体框架
- 预防艾梅乙母婴传播工作规范解读
- 紧急情况下护理人力调配应急演练脚本
- 小学综合实践五年级上册第1单元《考察探究》教材分析及全部教案
- 【课题结题报告】《高中语文诗歌鉴赏问题设计有效性的策略研究》结题报告
- 元器件降额标准
- 新人教版九年级上册初中化学全册教学课件
- 附件9:未取得国外国籍的声明
- 48个英语音标教学课件(含音频)精编版
- 液力偶合器使用说明
- 京杭大运河英文介绍
- 《爱吃水果的牛》绘本
评论
0/150
提交评论