




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、海量系统日志采集解析实践技术创新,变革未来01背景介绍02挑战及应对03采集手段04案例定制05现状简述灵活快速适应日志格式变化量大难以横向扩容昂贵按EPS 计费难以承受度量日志有效性监测02.挑战02.应对虚拟化集群支持横向扩容开源产品自我可控灵活按需解析、规范化格式富化增加监测点03.采集-Linuximuxsockimfileimpstatsomrelp03.采集-WindowsWinlogBeatPacketBeat FileBeatLogstash03.采集-DB/APIJDBCRestKAFKA03. 采集-SF TPSFTPShellPython Bat/Powershell03
2、.采集-过滤/转换/富化原始日志负载均衡过滤/转换/富化初级原始日志消息队列04. 案例定制需求分析解析运营04. 案例定制V 0需求:G t ab中代码拉取情况监测分析:G t ab中代码拉取途径HTTP/SSH,G t ab有多种类型日志文件,ap _son og、app cat on_son og、g t_son og、 g t ab-she og中包含相应拉取代码的日志信息解析:解析ap _son og、app cat on_son og、g t_son og、g t ab-she og,至少将相关仓库、地址、账号、SSHKey- d解 析,富化地址相关的网段信息运营:源网段设备拉取非
3、相关业务仓库的行为 V 2 0需求:离职人员离职前拉取代码情况 分析:从人力系统获得离职人员信息解析:人员拉取数据的事件及关键字段抽取入报表引擎数据库 运营:按需提供长期报表功能method: GET,path: /xxxx,format: */*,controller: Projects:GitHttpController, time: 2020-07-22T04:38:19.394Z,params: key: service,value: git-upload-pack,key: namespace_id, value: xxxxx,key: project_id,value: xxxxx
4、.git,remote_ip: xx.xx.xx.xx, user_id: xxxx, username: xxxx,ua: git/2.21.0 (Apple Git-122.2)”04. 案例定制原始日志初级富化日志检索timestamp: 2020-07-22 12:38:19 +0800,timegenerated: 2020-07-22 12:38:19 +0800, fromhost-ip: ”xxx. xxx. xxx. xxx , myhostname: xxx. xxx. xxx. xxx. xxx ,syslog-tag: duction_json, inputname:
5、imrelpxxxx, message: xxxxxxxxx04. 案例定制富化数据xx: xx网段name: GET,sourceAddress: xxx.xxx.xxx.xxx,sourceZoneURI: xx-xx.xx.xx.xx_xx.xx.xx.xx_xx产品部, requestMethod: GET,requestClientApplication: git/2.21.0 (Apple Git-122.2), deviceReceiptTime: 1595392699394, destinationUserName: xxxx,deviceSeverity: 200, requ
6、estUrl: /xxxx,deviceCustomString1: git-upload-pack, deviceCustomString2: xxxxx, deviceCustomString3: xxxxx,deviceEventCategory: duction_json, deviceFacility: Projects:GitHttpController, fileType: */*,关联分析method: GET,path: /xxxx,format: */*,controller: Projects:GitHttpController, time: 2020-07-22T04:
7、38:19.394Z,params: key: service,value: git-upload-pack,key: namespace_id, value: xxxxx,key: project_id,value: xxxxx.git,remote_ip: xx.xx.xx.xx, user_id: xxxx, username: xxxx,ua: git/2.21.0 (Apple Git-122.2)”原始日志关联数据仓库/部门映射表04. 案例定制name: GET,sourceAddress: xxx.xxx.xxx.xxx, sourceZoneURI: xxxx 产 品 部 ,
8、 requestMethod: GET, requestClientApplication: git deviceReceiptTime: 1595392699394, destinationUserName: xxxx, deviceSeverity: 200,requestUrl: /xxxx,deviceCustomString1: git-upload-pack, deviceCustomString2: xxxxx, deviceCustomString3: xxxxx, deviceEventCategory: duction_json, deviceFacility: Proje
9、cts:GitHttpController, fileType: */*,规范日志sourceAddress: xxx.xxx.xxx.xxx, sourceZoneURI: xxxx 产 品 部 , destinationUserName: xxxx, deviceCustomString1: git-upload-pack, deviceCustomString2: xxxxx按需定时 汇总报表05. 现状日志处理架构原始日志过滤转换富化初级富化日志初级富化日志队列归档解析富化数据规范日志队列抽取关联数据实时报警长期报表关联HDFS模式发现列式数据库事件运营设备类型设备信息网络设施华为/华
10、三/锐捷/NTO/安全SD-WAN基础设施ESXi/VDI/vCSA/TACACS/FreeIPA CMD/BIND/MS DHCP/MS DNS操作系统Linux操作系统日志/Linux Auditd日志Windows 安全/系统/Sysmon/Powershell安全设备网神防火墙/天眼/天擎EDR/天擎DLP/天空卫士DLP/天擎邮件沙箱/椒图/堡垒机/零信任/行为感 知分析系统/安全DNS/奇安信ID/安域/奇安信VPN/Suricata/Opencanary/OSQuery基础应用Apache Access Log/Nginx Access Log/IIS/Confluence/Jira/Jenkins/Gitlab/SVN/Sonar/artifactory/Exchange Protocol Logging/Exchange TraceL
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高校创新创业教育课程体系与实践教学中的创新创业教育课程评价研究报告
- 2025年饮料行业新型甜味剂在食品包装设计优化中的应用趋势与法规要求报告
- 2025年模具制造数字化设计与仿真技术在碳纤维模具制造行业应用前景报告
- 小区物业工程部管理节能降耗方案(模板)
- 大型活动疫情防控方案(模板)
- 健康风险评估方法解读
- 2025上海市商业店铺租赁合同样本
- 小超市的经营方法
- 2025年商业店铺出租合同(标准版)(可修改可打印)
- 幼儿个人卫生健康
- 兰州噪音污染管理办法
- 学校食堂岗位职责及食品安全管理
- 艾梅乙信息安全管理制度
- 党建能力测试题及答案
- 2025年教师招聘教育学心理学试题及答案汇编
- 2025年中国石油套管行业市场全景评估及发展战略规划报告
- 2025年武汉市汉阳区社区干事岗位招聘考试笔试试题(含答案)
- 2025年小学英语(2022版)新课程标准考试测试卷及答案(共四套)
- 城市环卫车辆维护保养计划
- 2025届江苏省无锡市锡山区锡东片英语七年级第二学期期末检测试题含答案
- 党课课件含讲稿:《关于加强党的作风建设论述摘编》辅导报告
评论
0/150
提交评论