华为LogCenter安全事件管理中心技术建议书-通用解决方案-设计报告

1、华为LogCenter安全事件管理中心技术建议书华为技术有限公司版权所有 © 华为技术有限公司 2015。 保留一切权利。非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。由于产品版本升级或其他原因，本文档内容会不定期进行更新。除

2、非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼 邮编：518129网址：客户服务邮箱：ChinaEnterprise_TAC客户服务电话：400-822-9999华为专有保密信息Error! Unknown document property name.i华为LogCenter安全事件管理中心技术建议书目 录目 录1 概述12 ××企业网络现状和日志需求23 华为LogCenter典型应用场景33.1 安全业务分析 （含上网行为管理）33.2 全网日志审计43.3 安全态势感知

3、43.4 NAT溯源54 华为LogCenter系统介绍64.1 系统组成64.2 系统主要功能64.3 系统主要性能指标74.4 典型组网74.4.1 集中式组网74.4.2 分布式组网84.5 关键技术94.5.1 超强采集性能94.5.2 超快查询速度94.5.3 海量存储94.5.4 低资源占用94.5.5 日志归一化管理94.5.6 可靠性114.5.7 水平扩展114.5.8 分级部署114.5.9 采集方式114.5.10 话单关联114.5.11 智能检索114.5.12 北向接口125 华为服务135.1 服务理念135.2 服务内容135.3 服务保障13华为专有保密信息E

4、rror! Unknown document property name.ii华为LogCenter安全事件管理中心技术建议书5 华为服务1 概述网络中有大量的安全设备，这些设备都有自己的独立的管理界面，通过管理界面可以查看基于单个设备的安全报表。但是每台设备的报表只能展示整个企业的部分安全状态，客户非常希望有一套系统能够集中采集全部安全设备的日志，同时输出基于全网数据的安全报表。这套系统最好还能够展现园区全局的安全态势，能清晰展现网络中当前正在发生或者历史上已经发生的安全事件，从而能快速做出应对。同时，企业的安全设备和网络设备，每种设备都会发各种各样的日志。客户需要一套系统能够将不同设备的不

5、同种类的日志都采集并存储起来，并通过提供查询功能实现日志审计。在大型企业中，客户也需要这套系统能提供NAT溯源能力。 2 ××企业网络现状和日志需求通过与××企业进行深入的交流，我们对其网络进行了充分的了解与分析。××企业内部网络拓扑图，需要通过LogCenter进行日志管理的安全设备，需要进行管理的日志内容。 3 华为LogCenter典型应用场景3.1 安全业务分析 （含上网行为管理）在企业员工上网行为管理的应用场景下，LogCenter对防火墙等网络网元的会话日志和安全日志进行采集和分析，从而追踪企业员工的上网行为（上网流量To

6、pN，上网时长TopN，WEB访问分析，邮件分析等），分析企业员工上网行为。LogCenter可以进行按用户的上网流量、上网时长、上网关键字、Web访问、邮件收发、上网应用、网络威胁、文件外发等的分析和查询，管理人员可以根据分析结果对用户上网行为进行管理。图3-1 企业员工上网行为管理场景图3.2 全网日志审计企业内部部署了大量的路由器、交换机、防火墙等网络网元，由于存在网元日志格式不统一、可读性差、海量日志存储困难、日志难于统一管理等问题，网管很难及时从日志中发现重大安全隐患。LogCenter能够实现日志统一管理，支持SYSLOG、NAT日志、SFTP、FTP静态文件、FTP动态文件多种日

7、志采集方式。LogCenter能够采集、分类、过滤、归并、分析、存储和监控网元上报的日志，帮助用户对海量日志进行管理，使用户能及时了解安全网元和网络网元的运行情况，跟踪网络用户行为，迅速识别并消除安全威胁。LogCenter在日志管理的基础上，提供日志的实时告警响应功能，能够对日志进行实时的分析，并实时产生告警。图3-2 安全事件管理场景图3.3 安全态势感知LogCenter可以基于华为NGFW的检测日志，从海量数据中分析统计出网络中存在的威胁，并通过拓扑图、趋势图、占比图清晰展示全网的安全态势。协助网络管理员以最快速度定位全网高风险点，分析攻击威胁形式，及时采取合理应对措施。配合华为NGF

8、W和沙箱设备的检测日志，LogCenter能够展示网络中存在风险的文件。这些风险文件是APT攻击关键环节文件扩散的重要载体。网络管理员可通过LogCenter查找到高风险的恶意/可疑文件，并且能够以此为线索，关联查询到曾接触这些风险文件的用户、设备，便于管理员展开进一步的防护，及时消灭可能存在的APT攻击。图3-3 安全态势感知3.4 NAT溯源对NE40E/80E、Eudemon防火墙等网络网元和安全网元的会话日志进行采集和分析，获取NAT信息（包括目的IP地址、目的端口、NAT前源IP地址和协议等），结合身份关联数据源（如AAA服务器），从而对NAT用户进行IP溯源和身份溯源。 4 华为L

9、ogCenter系统介绍4.1 系统组成图4-1 LogCenter系统组成图在该图中，各组件功能如下表所示：表4-1 各组件的功能与接口组件功能分析器提供日志源管理，采集器管理，报表查询，安全态势，日志审计等功能。提供北向接口供第三方查询数据。同时提供基于https的WEB GUI访问接口，管理员可以通过浏览器对整套LogCenter系统进行管理。采集器负责来自不同设备不同类别的日志的采集、分类、格式化、存储等功能。同时定时汇聚报表数据发送给分析器。4.2 系统主要功能表4-2 系统主要功能提供各类安全报表，如IPS报表，AV报表等。 提供安全态势感知，展示全网实时安全状态和安全趋势。提供智

10、能检索，能对全网日志进行快速查询和审计。提供基于IPV4会话日志的NAT溯源4.3 系统主要性能指标表4-3 系统主要性能指标单采集器能处理峰值250000EPS的二进制会话日志单采集器能处理峰值15000EPS的业务日志（syslog/Dataflow）最多支持15台采集器水平扩展4.4 典型组网4.4.1 集中式组网集中式组网方案成本较低，适用于网元数量低于100台，网络中日志量未超过集中式部署的LogCenter系统处理性能，且网元分布集中的网络环境，选择该组网方式需要考虑以下因素：所管理网元的组网情况 集中式组网时，建议所管理的网元部署在相同的局域网，如果网元部署在广域网，集中式部署会

11、导致大量的日志信息占用广域网的带宽，影响正常的业务。日志量 集中式组网时，建议日志量不要超过一台日志采集器的处理能力。如果现网的日志量超过了一台日志采集器的处理能力，应该考虑使用分布式部署。LogCenter分析器与采集器集中式部署的组网如下图所示。图4-4 LogCenter分析器与采集器集中式部署的组网图日志采集器和LogCenter分析器安装在同一台服务器上，日志采集器集中接收和采集网元的日志。4.4.2 分布式组网分布式组网方案适用于性能要求高或者网元分布分散的网络环境。日志量超过集中式部署处理能力，或者网元超过100台，或者网元分散在多个不同城市等场景均建议采用分布式组网方案。选择该

12、组网方式需要考虑以下因素：所管理网元的组网情况 网元分布在多个区域，区域间需要通过广域网或者VPN连接。每个区域部署一台日志采集器，可以避免大量的日志信息占用带宽，节约租用带宽的成本。日志量 当现网的日志量超过了一台日志采集器的处理能力，需要使用分布式部署。LogCenter分析器与采集器分布式部署的组网如下图所示。图4-5 LogCenter分析器与采集器分布式部署的组网图日志采集器和LogCenter分析器安装在不同的物理服务器上，多台日志采集器可以共用一台LogCenter分析器，一台LogCenter分析器最多可管理15台日志采集器。日志采集器可以部署在不同的子网，采集所在子网的网元日

13、志。分布式部署时，请勿将LogCenter分析器与日志采集器部署在同一物理服务器上，以免影响系统性能。4.5 关键技术4.5.1 超强采集性能采集器采用华为RH2288H V3服务器（双核Intel® Xeon® E5-2640 v3处理器；采用2条内存速度为2133MHZ的DDR4内存32G）为业务提供强劲动力。结合分布式的文件数据库，单台采集器可处理每秒高达5万EPS的二进制会话日志或7000条syslog/Dataflow业务日志。4.5.2 超快查询速度基于业务日志，实现了分布式全文索引库，提供基于关键字和表达式的快速查询能力。针对会话日志，在分布式的文件数据库的基

14、础上，结合经过优化的，实时的分布式索引，提供了超快的查询速度。在典型的溯源场景，原始NAT日志有数万亿条，相关的数据也有数亿条。LogCenter可以在几分钟内返回查询结果，提供给客户极致的体验。4.5.3 海量存储采集器配置了10块6T的磁盘，配合实时压缩，可以应对海量日志的长时间的留存。分析器配置了6块2T的本地磁盘，可以存储海量的报表数据。4.5.4 低资源占用单台高配置采集器，虽然提供了超强性能和海量存储，但只会占用客户机房2U的空间。为客户的运营节省了成本。同时，采用高能效电源模块，采用80PLUS®白金高能效电源模块，满足能源之星标准，并通过中国环境标志产品认证。采用DE

15、MT(Dynamic Energy Management Technology)节能技术，可按需动态调整服务器运行状态，提高各种负载下能效，将电能损耗控制在最合理水平。4.5.5 日志归一化管理日志信息来自不同类型的设备和应用程序，日志格式和采集方式差异性很大，通过统一的日志模型，对日志处理的全过程进行归一化处理。可轻松适配来自第三方的NAT日志和话单日志。图4-6 日志处理流程如上图所示，日志需要经过一下的处理步骤：日志采集通过多种途径接收和采集设备和应用系统产生的日志。Logcenter可以支持无代理的日志采集方式。可以支持通过Syslog、NAT，FTP/SFTP的采集方式，可以对设备日

16、志和文本日志进行采集；日志分类Logcenter根据对设备和应用系统日志的长期积累经验，提供了一套简洁而有效的日志统一分类。相同分类的日志具有相同的日志结构，可以方便的进行查询和分析；日志格式化Logcenter使用自有的专利技术对日志进行格式化，格式化的规则支持快速升级。通过日志格式化，可以将异构的日志转换为统一的日志格式；日志过滤Logcenter提供日志过滤功能，根据用户设置的过滤策略对日志进行过滤。丢弃无用的噪音信息，节省磁盘空间和提供日志分析的性能；日志存储针对日志管理系统的存储特点，Logcenter将日志保持在文件数据库。相对于关系数据库，文件数据库具有吞吐量大，资源占用率低的特

17、点，能够很好的满足日志管理系统 存储海量数据的要求；日志统计日志管理系统需要输出大量的日志分析报表，满足用户的巡检要求和法规遵从性要求。Logcenter通过对格式化后的日志数据进行统计分析，将分析结果记录在数据库中，可以支持快速的日志报表输出；日志分析（日志转告警）快速的从海量的日志中发现安全事件是日志管理系统提供的一个主要功能。Logcenter提供基于策略的实时分析。符合策略的日志会触发告警，并可通过多种方式（Email告警、短信告警、声音告警）通知管理员。4.5.6 可靠性通过RAID6+热备盘的方式提供针对磁盘的三重保护。针对LogCenter的采集器提供线程级别的监控，一旦发现问题

18、，可迅速恢复故障并告警。4.5.7 水平扩展单台采集器的处理能力最高可达5万EPS，通过采集器的水平扩展，整套LogCenter系统的处理能力可达80万EPS。4.5.8 分级部署针对多站点的系统，下级采集器可以部署在异地的子站点，上级采集器和分析器部署在中心站点。下级采集器将采集器到的数据定时通过FTP/SFTP传到上级采集器，上级采集器提供本地留存和查询服务。4.5.9 采集方式支持二进制会话，syslog，Dataflow， XDR，Netflow，FTP，Radius等多种采集方式。并且通过灵活的架构可轻松扩展新的采集方式。4.5.10 话单关联支持多种格式话单的解析。包括：文本格式的话单syslog格式的话单（rfc3164，rfc5424）radius格式的话单 （rfc2865，rfc2866，rfc2869）4.5.11 智能检索可针对收到的业务日志（包括Syslog、Dataflow）进行基于关键字的分词和分布式索引，并且提供类似搜索引擎的查询功能。针对查询结果可以进行分类钻取和统计。4.5.12 北向接口提供通用的，基于日志模型的北向接口。只要通过认证，第三方系统可以通过这个接口去查询需要的数据。 5 华为服务5.1 服务理念1)实现客户满意 树立以客户为中心的工作作风，强化服务意识和服务技能，以优质服务切实保障网络