银行应用ATM故障及日志分析解决方案

银行应用 ATM故障及日志分析解决方案 宇信智臻 您专属的大数据应用服务解决方案提供商 议 程 v银行现有日志分析 的 困惑 v我们的解决方案 v我们的实施思路 vSplunk平台介绍 v案例分享 IT的问题在哪里 状况 网络断线 主机无法联机 交易失败或延迟 类别 Operation Troubleshooting Operation Troubleshooting Operation Troubleshooting Performance Analysis 问题在哪里 防火墙出问题 ? Router出问题 ? Switch出问题 ? DNS? DHCP? 网络问题 ?主机本身问题 ? 操作系统问题 ? 应用程序问题 ? 网络问题 ?服务器问题 ? 操作系统问题 ? 交易系统问题 ? 效能问题 ? 数据库问题 ? 交易所问题 ? 券商的问题 ? 其它厂商的问题 ?还是精诚的问题 ? 3. 银行 IT的问题在哪里 状况 发生安全事件 类别 Forensics & investigation 问题在哪里 攻击者从哪里来 ? 那个服务器被攻击 ? 哪些使用者受害 ? 黑客动了什么手脚 ? 有没有服务器登入 /注销纪录 ? 防火墙通联记录 ? 业绩贡献 ? 毛利贡献 ? 部门 、个人销售分析 ? 网站访客分析 ? 稽核 业务 &营销资料 分析 Compliance Business Intelligence 4. 过去 IT出了问题 IT人员通常需要 login并查询多种 Apps, Device, Server 才能判断与解决问题 6. 过去 领导或销售单位需要一份 数据 或报表 IT人员通常得要协助 : 捞数据库 (SQL SELECT) 查询 ERP、 CRM、 Log files 写程序、客制化 作报表 (Excel? Crystal Report? WebTrends?etc) 7. 过去银行 都是这样解决问题的 1. 开启 多个窗口 /面板 2. 登 入多种系统、服务器、设备 3. 分析多种的记录文件或数据 4. 使用多种诊断工具 5. 写程序来捞数据或处理数据 6. 用 Excel或其它报表工具产生报表 8. 应用日志管理现状 交换机防火墙 管理员 交换机 ATMP 中间件 负载均衡 DB ? 时间窗口 -1 时间窗口 -2 时间窗口 -3 登陆主机 登录数据库 登录服务器 猜测 过滤 人工对比 找到问题环节 恢复故障 分析问题原因 编写故障报告 故障后 银行现有日志分析业务问题 u手工处理、耗时！不能快速排查 ！ u交易时间和交易量不能准确统计 ！ u经验知识难以复用！ u每逢结算，问题无法提前预警！ u无图形化的数据展现方式！ 搜索 & 调查 监视 & 告警 报 表 & 分析 添加知 识 索引数据 生成可视化视图 添加知识 建立统一日志应用 集中添加日志数据 解决方案： 4步如您所愿！ 10 集中添加日志数据 Splunk 是一款顶级的日志分析软件，如果你经常用 grep、 awk、 sed、 sort、 uniq、 tail、 head 来分析日志，那么你需要 Splunk。能处理常规的日志格式， 比如 apache、 squid、系统日志、 mail.log 这些 ，您要做的第一步就是集中添加 这个日志到 Splunk当中 快速建立应用 日志分析工作类型很多， 那么建立 成一个 应用由机 器帮您会更加轻松： 每天 由各种服务器所产生 的日志的数量是非常惊人 的 ，通常 在 Unix 下对日 志进行查找使用的是 grep 之类的低效率的方式，而 Splunk 使用了现代搜索引 擎技术对日志进行搜索， 同时提供了一个非常强大 的 AJAX 式的界面展现 日 志等等； 添加日志分析知识 对 于 应 用程序日志 进 行 监 控 时 ， Splunk提供了多条件的日志事件分割方法， 以适 应这 种复 杂结 构 。 当然您可以添加自己掌握的知 识 ， 开始构建你自己的 应 用程序日志 监 控 平台 。 建立应用视图 Splunk 可以支持任 何 IT 设备 (服务器、 网络设备、应用程序 、数据库等 )所产生的 日志，其对日志进行 处理的方式是进行高 效索引之后让管理员 可以对日志中出现的 各种情况进行搜索， 并且通过非常好的图 形化的方式展现出来 。 交易时延分析应用 统计用户关注时 间段整体交易延 时，以及在此时 间段内最大交易 延时；其次依据 交易来源、交易 类型统计来分别 统计每一个关键 字段的交易延时 。 可视化图标分析 Splunk所提供 的 Dashboard ，建立事件查 询界面，设置 告警等等，一 系列功能能够 帮助你组建完 善的 管理系统 。 计划告警应用 Splunk 是一个商业 软件，支持海量信息 搜索及更多的功能， 比如分散式搜寻 (Distributed Search)、计划告警 (Schedule Alert)、 权限控制 (Access Control)等 。我们可 以建立： 1）交易 告警 2）系统 告警 3）应用 告警 交易 类 型解析 方便快捷的帮助用户按照交易类型分别统计交易量和交易延时 交易来源 /渠道分析 按照不同的交易来源统计交易量以及交易延时 多维度分析报告 按照不同维度不同时间跨度来统计交易数量、交易延时以及最长交易延时 交易类型解析应用 方便快捷的帮助用户按照交易类型分别统计交易量和交易延时 交易来源 /渠道分析应用 将不断 积累 的搜索 经验 有价值 的信 息转换成为 Splunk搜索 语句，在仪 表台上进行 直观的展现 ，最后成为 一线运维人 员的网络监 控平台。 帮助台日志自助查询 将不断 积累 的 日志搜索经验 有价值 的信息 转换成为 Splunk搜索语 句， 在日志自 助查询仪表 台 上进行直观的 展现，最后成 为一线运维人 员的网络监控 平台。 建立 多维度 ATM日志分析报告 将不断 积累的 搜索 经验有价 值 的信息转换 成为 Splunk搜 索语句，在仪 表台上进行直 观的展现，最 后成为一线运 维人员的网络 监控平台。 总 结 主要功能： 日志分析 业务数据分析 运维保障 主要特点： 快速查找日志信息 数据 关联分析 支持各种平台和系统 支持超过千种标准 Apps 可灵活开发专有 Apps 支持企业级架构，分级、分布式 部署 Splunk实施思路 利用现有的经验 扩展开发 独立开发 提出需求， 固化 原有经验 合作以应用 为 驱动力探索 根据业务需求 自我 完善 大数据应用 辅助开发 合作开发 独立开发 构建属于自己的大数据分析应用平台 项目管理 Splunk 应用日志项目实施路线图 需求分析 技术对接 实施 POC确定人员组成了解银行客户 的详细需求 技术之间沟 通、确定实 施计划表格 项目重点应 用功能验证 项目上线 不断优化 项目上线 监控并跟踪结果 不断优化 7 开发平台 Splunk 是什么 ? Splunk 是一个 针对 机器数据的数据引擎 针对 所有 IT 系 统 和基 础设 施数据， 提供 数据搜索、 报 表和 可 视 化展 现 Splunk 是 软 件 几分 钟 就可以完成下 载 和安装 可以运行在各种主流的操作系 统 平台 处理机器数据需要新方法 8 关系型数据、高度结构化、基于僵 化模式 财务记录、多维数据、数据计算 月报，非实时事件 时间序列非结构化数据，无预定义 模式 由所有 IT 系统生成，大量不同类型 的格式 巨量；快速导航和相关性最重要 由人与人之间的互动而产生 包括电子邮件、即时通信、语音、 视频和文本 储存在集中式公司服务器、文件共 享和桌面中 机器产生的数据商业应用程序数据 人为产生的数据 930 索引任何的机器数据 实时 从日志文件 获 取事件 运行脚本 获 取系 统 参数 , 连 接到 API 和数据 库 监 听 syslog 或 获 取 Windows 事件 通用方式索引任何内容格式的数据 , 不需 要 连 接器 Windows Registry Event logs File system sysinternals Linux/Unix Configurati ons Syslog File system Ps, iostat, top Virtualizati on Hypervisor Guest OS Guest Apps Applications Web logs Log4J, JMS, JMX .NET events Code and scripts Databases Configurati ons Audit/query logs Tables Schemas Network Configurati ons syslog SNMP netflow 11 通用索引和存 储 实时 搜索引擎 核心功能 搜索 语 言 统计 /分析 告警 仪 表板报 表 Apps 和使用案例 应 用程序 管理 IT 运 维 管理 安全 业务 分析合 规 访问 控制 用 户 界面 API接口 SDK开 发 包 Splunk 产 品架构概 览 IT 数据源 与其他数据源 进 行关 联 实时 无需 预 定 义 大 规 模 关 联 高性能 实时监视 数据 钻 取 历 史数据分析 用 户编 写 Splunk-编 写 社区 论坛 , 合作伙伴 基于角色 基于 Web 支持多种 Apps/解决方案 Security IronPort WSA 12 客户需求 : 大型商业银行 ， 拥有大量自开发应用系统（网上银 行、基金交易等） .关注交易时延、用户体验以及系 统运行状态每天生成海量日志，只能手工检查，没 有分析工具 ,无法获得业务系统运行的整体状况和视 图 解决 方案 : 1.日志统一集中分析（分三批集中） 2.分两批次实施 19套应用系统 3.应用日志故障快速定位 4.应用日志交易关联 5.应用日志交易延时、交易成功率和交易笔数统计 6.应用日志运维智能化 客户感言： 我行日志集中分析平台项目已通过验收并投入使用， 通过使用 Splunk对数据的深入挖掘分析， 实现了我 行数据搜索与索引、业务监控、关键应用指标报表统 计、告警及可视化展示的需求，提升了应用数据的使 用价值，有效的增强了运维管理人员排错及统计的方 式和手段，在此感谢北京宇信智臻信息技术有限公司 从方案设计 /架构设计 /功能开发 /现场支持上给予的 支持，望贵司再接再励，为我行 IT信息化建设提供更 好的服务。 -某行科技部负责人 某大型商业 银行应用日志分析 客户需求 : 大型商业银行 ， 拥有大量自开发应用系统（网 上银行、基金交易等） .关注交易时延、用户体 验以及系统运行状态每天生成海量日志，只能 手工检查，没有分析工具 ,无法获得业务系统运 行的整体状况和视图 解决 方案 : 1.日志统一集中分析（分三批集中） 2.分两批次实施 19套应用系统 3.应用日志故障快速定位 4.应用日志交易关联 5.应用日志交易延时、交易成功率和交易笔数统 计 6.应用日志运维智能化 客户感言： 我行日志集中分析平台项目已通过验收并投入使用， 通过使用 Splunk对数据的深入挖掘分析， 实现了我 行数据搜索与索引、业务监控、关键应用指标报表统 计、告警及可视化展示的需求，提升了应用数据的使 用价值，有效的增强了运维管理人员排错及统计的方 式和手段，在此感谢北京宇信智臻信息技术有限公司 从方案设计 /架构设计 /功能开发 /现场支持上给予的 支持，望贵司再接再励，为我行 IT信息化建设提供更 好的服务。 -某行科技部负责人 案例 2:城商行 银行应用日志分析 客户获益 时间 平均 ATM日志 查 询时间 查询 到 问题时间 问题 解决概率 缩 短到 2个小 时 2小 时 提高 30% 缩 短到 1个小 时 1小 时 提高 60% 缩 短到 40分 钟 半小 时 提高 100% 实时 实时 提高 200% 优势分析 系统 服务 技术 市场 1. 强大的一体化大数局数据分析管理平台 数据收集 数据分析 全面的 先进的 灵活的 趣味的 2. 国内一流的项目实施团队 国内最大的实施服务团队 众多的应用服务案例 7*24小时服务 99.9%可靠性 4. 客户