集团企业大数据平台建设综合解决方案

1、集团企业大数据平台建设综合解决方案大数据云平台IT大数据平台使用010203IT大数据平台介绍IT大数据平台部署IT大数据平台运维04IT大数据平台介绍日志处理的历史背景日志导入关系型数据库查看时需要登陆每个服务器和进入应用目录，使用脚本命令或程序查看日志被定期清理，节省磁盘空间黑客入侵后抹去入侵记录日志日志经常在安全事件发生后被关注没有对日志实时监控、分析传统数据库无法适应TB级以上日志关系型数据库无法适应半结构化和非结构化日志信息不提供全文检索日志没有被集中统一管理日志未被完整保留日志主要用于事后问题追查日志的价值数据类型位置它可以告诉您什么应用日志本地日志文件、log4j、log4net

2、、Weblogic、WebSphere、JBoss、.NET、PHP用户活动、欺诈检测、应用性能业务流程日志业务流程管理日志跨渠道客户活动、购买、帐户变更以及问题报表点击流数据Web 服务器、路由器、代理服务器和广告服务器可用性分析、数字市场营销和一般调查配置文件系统配置文件如何设置基础设施、调试故障、后门攻击、定时炸弹病毒数据库审计日志数据库日志文件、审计表如何根据时间修改数据库数据以及如何确定修改人文件系统审计日志敏感数据存储在共享文件系统中监测并审计敏感数据读取权限操作系统度量、状态和诊断命令通过命令行实用程序（例如 Unix 和 Linux 上的 ps 与 iostat 以及 Wind

3、ows 上的性能监视器）显示的 CPU、内存利用率和状态信息故障排除、分析趋势以发现潜在问题并调查安全事件数据包/流量数据tcpdump 和 tcpflow 可生成 pcap 或流量数据以及其他有用的数据包级和会话级信息性能降级、超时、瓶颈或可疑活动可表明网络被入侵或者受到远程攻击Syslog路由器、交换机和网络设备上的 Syslog故障排除、分析、安全审计Web 访问日志Web 访问日志会报告 Web 服务器处理的每个请求Web 市场营销分析报表Web 代理日志Web 代理记录用户通过代理发出的每个 Web 请求监测并调查服务条款以及数据泄露事件产品特点支持任何来源、格式日志，例如TCP、U

4、DP、数据库审计、文件等方式。通过采集、结构化、分类、归并、分析日志数据。整合大数据存储、计算、搜索能力，对海量数据进行实时分析、挖掘。全网日志统一管理01问题溯源02与大数据集成智能运维，智能告警，及时发现问题、定位、原始数据取证，并自动与用户、资产信息关联03强大的数据处理和方便的扩展能力，以应用、插件的方式集成。定制化开发04简介Lion利用分布式存储计算框架，对大量的系统和应用产生的日志进行采集、监控和分析，保证日志的多副本安全存储和实时快捷的分析计算能力。Lion具有友好的用户界面，方便用户通过web界面中的可视化数据进行日常运维和问题快速定位。Lion支持多种日志格式的采集和解析，

5、并提供定制化开发和第三方插件集成。使用IT大数据系统进行日志数据的集中存储、管理和分析支持日志文件上传、文件和目录监控、服务器端口监听、服务器性能监控等数据导入方式的界面化操作和进度查看。数据导入功能介绍数据搜索结果支持时间轴筛选、自定义过滤条件、字段结果分类统计。数据搜索通过数据的查询、过滤、聚合结果生成多种可视化图表，支持动态实时更新。数据可视化告警功能、主机管理、用户权限控制等。更多功能框架ElasticSearch 基于Lucene的搜索引擎，分布式架构，具有集群，分片，副本等属性Beats 日志采集器，搜集文件、Windows事件、网络流量、性能指标信息Logstash 日志接收、富

6、化、转发的引擎。支持系统日志、webserver日志、应用日志等Lion Service 基于RPC的分布式服务设计，能快速处理复杂数据和业务Lion UI 具备友好交互的Web应用，进行数据管理和可视化的界面配置和展示IT大数据平台部署软件环境名称版本要求操作系统CentOS 6.5/7Redhat 6.5/7Ubuntu 14.04、15.10、16.04浏览器chrome 37+Firefox 25+IE 10+Lion安装包内部集成环境JDK 1.7.0_79Python 2.7.9部署方案控制台输入部署控制台提示，支持默认模式和自定义模式读取配置文件部署一键部署，简单快捷运行Lion

7、安装包控制台输入配置信息Lion集群部署配置Lion配置文件执行Lion安装命令Lion集群部署集群主机检测网络安装包准备 安装包命名规则为lion-.bin。发送安装包到Lion集群主节点。集群主机时间校对集群主机信息获取 获取集群主机IP、ssh端口(默认22)、root密码的信息。集群主机名检测 合法的hostname，不能为localhost。保证/etc/hosts中hostname和IP一一对应。安装前准备控制台输入方式部署Lion过程Lion安装IT大数据平台使用主页数据可视化大屏展示数据搜索全文搜索和精确过滤结果导出、搜索条件另存为告警数据可视化可视化图表多种可视化图表新建、保

8、存、分享仪表盘可视化图表自由组合成仪表盘定时刷新，图表联动和下钻数据导入文件上传数据监控远程文件和目录监控、端口监听数据库、系统性能、系统事件监控数据事件数据导入事件状态查询、启动、停止解析规则数据解析规则查看和配置主机管理主机列表添加服务器和探针告警管理告警任务创建、编辑、启动、停止告警信息查询数据管理数据索引管理保存的对象管理访问控制用户和角色管理数据权限管理系统管理系统参数设置后台任务管理功能点主页数据导入数据采集数据解析数据存储数据搜索数据可视化文件上传数据监控场景如何监控远程文件和目录如何接收转发的日志 (TCP/UDP/SNMP)如何监控用户上网行为 (HTTP/DNS)如何监听邮

9、件服务 (POP3/IMAP)如何监控数据库操作如何监控服务器性能如何监控Windows日志数据监控采集流程数据事件数据导入事件状态查询数据导入事件启动、停止、查看日志解析规则数据搜索键入关键词后任意搜寻即时的在线查询自定义过滤条件自定义字段显示搜索结果导出搜索另存为告警具备快速自定的各种型态搜寻，而不是只有固定几种的字段，不需要指定数据的格式(format)，更可结合时间与关键词进行搜寻，呈现出清楚的搜寻结果，使用上就像Google一样的直观易用。时间选择器使用时间范围挑选器指定检索事件的时间段。时间范围挑选器提供了许多可供选择的预设时间范围，但您也可以输入自定义时间范围围挑选器指定检索事件

10、的时间段。相对时间选择：选择相对现在的时间范围自动刷新：选择刷新频率数据可视化新建可视化图表支持多种可视化图表绘制通过数据的查询、过滤、聚合结果生成图表实时的可视化分析报表钻取编辑可视化 2. 聚合 1. 度量 4. 拆分表 3. 多维 5. 选项 6. 钻取编辑可视化饼图将数据以字段srcAddress（攻击源地址）不同的值作为不同条目进行分组提取每个分组中的数据的统计数量，进行倒序排序，提取数量最大的前5个srcAddress值完成 攻击源TOP5统计编辑可视化折线图X轴为时间维度，使用时间序列聚合方法，将数据以时间LogTime（攻击日志时间戳）每分钟汇总一次Y轴为攻击次数，使用每分钟内

11、数据的统计数量完成 攻击次数变化趋势新建仪表盘自定义图表排列实时数据更新图表间数据动态关联可增加时间段和其它过滤条件保存和导出仪表盘保存仪表盘将仪表盘导出PDF保存仪表盘时间范围共享仪表盘给其他用户主机管理主机类型服务器探针主机WindowsUbuntuCentsOS/Redhat告警管理能够定期执行，并依据搜寻结果发出各项警示通知，可通过email等方式通知用户。访问控制-用户和角色管理角色是权限集用户继承角色的权限访问控制-数据权限功能权限数据权限索引权限对象权限可视化报表仪表盘搜索条件个人设置更换主题数据权限设置主页 修改密码修改个人属性帮助页面审计日志记录用户在IT大数据平台上的操作，用于审计用户行为，及时发现违规操作。审计日志可视化TOP5访问用户检查恶意登陆热点访问地区热门功能统计IT大数据平台运维查看Lion各服务运行状态查看后台各服务运行状态 控制台输入命令： supervisorctl status查看Web客户端服务运行状态 控制台输入命令： pm2 lis