全流量日志AI智能分析系统

0引言工业互联网的飞速发展，在给原本封闭的工业环境带来巨大变革的同时，也使得网络空间以前未被察觉的、隐蔽性强的、潜在的安全隐患日益凸显。伴随国内外安全事件频发，企业普遍存在对威胁事件溯源分析和取证的需求。全流量日志AI智能分析系统（以下简称“系统”），创新性的提出并实现日志数据、网络全流量数据二合一，推动威胁事件溯源过程更精准、更有序、更高效。1平台架构设计1.1框架模式根据数据采集、转发、应用的全流程，平台架构自上而下依次分为基础架构层、数据采集层、数据处理与存储层和数据应用层，如图1所示。

图1系统框架模式设计

基础架构层，该层是由基础IT设备和弹性云框架两部分构成。以利旧与集约化利用为目的，在现有IT资源基础上建立高可用的、可动态扩展的弹性云框架。

数据集采集层，数据的采集主要通过智能采集器（态势感知套件设备）的方式同时采集日志数据、流量数据，其中日志部分指采集主机服务器、数据库、工程师站、操作员站、网络设备、安全设备等产生的运行状态、登录日志、操作日志等信息。流量部分，采用镜像或分光方式复制交换机流量信息，通过DPI（DeepPacketInspection，DPI）深度包解析技术进行协议的深度包解析，结合边缘AI模型检测生成告警事件。

数据处理与存储层，主要通过分布式大数据采集到的数据进行预处理操作及处理后的数据存储。数据处理，通过ETL技术处理成全流量日志分析系统可接收识别的信息，由其进行存储与分析。系统数据存储分别由关系型数据库、大数据分布式共同构建，格式规范的数据在关系型数据库存储，如漏洞信息、设备指纹、IP归属等知识库，海量的主机日志信息和原始告警事件在Elasticsearch中存储，便于数据高效聚合与检索。处理后的数据再提供给数据总线（元数据分析引擎、协议异常分析引擎、事件分析引擎、关联分析引擎、AI安全分析引擎）进行使用，在原始事件中基于时间和设备进行关联分析、数据挖掘、AI安全建模分析等。

数据应用层，主要是为运维安全人员提供后台管理功能及为企业高层管理者提供大屏可视化能力，查看企业维度场站采集数据构成的综合风险态势、工控网络威胁态势、威胁事件处置态势、工控资产态势、工控脆弱性态势。企业管理者站在安全管理的角度，对威胁事件告警与处置、协议解析及流量监视、业务系统及资产台账、威胁事件溯源分析、系统管理以及规则配置管理、日志检索等，对企业整体的安全风险态势与安全业务运营情况进行把握。

1.2部署模式

全流量日志AI智能分析系统，可用作中小型企业态势感知平台，也可以弥补大型企业态势感知建设中关于场站边缘分析的缺失。系统一般部署在生产管理大区，具有大数据体系架构，可横向无限扩展，纵向可向上级联集团态势感知平台，也可对外向监管部门提供重要数据。

图2系统在工业环境中的部署位置

智能采集器采用旁路部署模式，采集全流量、日志数据，安全I区、安全II区数据通过智能采集器可通过网闸向全流量日志AI智能分析系统传输，从而打破区域隔离的壁垒。单独架设数据通道，不影响客户现有网络与业务数据，如图2所示。

1.3业务模型

平台提供多种业务模型的构建，主要包括多源异构的数据采集模型、风险管理模型与运营管理模型等，如图3所示。

图3系统业务模型

根据数据采集的实时性可分为两类，一是多种主机服务器设备、安全设备、网络设备等的实时数据，二是对接工具箱、威胁情报等离线数据。数据采集分析采用平台与边缘相结合的方式，边缘设备可提供采集器内嵌AI模型，采集的同时进行实时分析与异常检测。平台侧针对边缘分析结果进行数据挖掘和关联分析，数据挖掘分析主要包括统计、关联与AI建模，常用技术包括复杂事件处理CEP分析、智能规则报警、智能聚合、事件关联分析、逻辑回归、迁移学习算法、决策树、SVM、特征库匹配等，关联分析常用技术包括精简聚合、攻击链分析、全基线、图分析等。2关键技术与最佳实践2.1二合一的最佳实践

流量日志二合一，不是单纯将流量监测审计、日志监测审计两套程序部署在同一硬件上，而是对数据的采集、存储、检测、审计进行全生命周期的二合一。

数据采集方面，使用智能采集器同时进行流量、日志数据采集。采集流量数据时，通过旁路部署在交换机上通过端口镜像或分光的方式实现流量复制，采集日志数据通过Syslog、SNMPTRAP、FTP、WMI等多方式对主机服务器、网络设备、安全设备等进行运行状态、登录日志、操作日志进行采集。数据存储方面，对范式化后的日志数据、流量元数据、威胁事件均在Elasticsearch中存储。数据检测分析方面，配置双引擎分析并行执行，对流量元数据解析、协议识别与深度解析、日志数据分析并行解析，当数据处理达到百亿级时，利用多颗多核CPU和YARN资源管理调度，提升并行处理能力。数据审计方面，日志数据、流量数据的处理结果均在Elasticsearch中存储，充分利用其数据高效聚合和检索的优势，百亿级业务数据秒级响应，为用户带来极致的体验。

2.2基于深度学习的AI检测模型技术

图4基于深度学习的AI流量阈值预测目前系统中应用到的基于深度学习的AI安全检测技术，已在产品的流量检测与趋势预测（如图4所示）、C&C检测、APT分析等多方面进行应用。

对于网络攻击的异常流量检测，通过捕获大量网络攻击流量数据，用较少的行为与分析算法，精准捕捉到问题行为与流量，推动威胁事件的定位。

结合工业现场分区情况、资产分布情况，充分运用基于深度学习的AI安全检测模型，对不同安全区域的历史流量、单资产的上下行历史流量进行学习，形成阈值基线并生成告警事件，同时提供对当日流量的趋势预测。

2.3协议分析与落地应用系统通过网络流量数据能实时监测工控网络行为和状态，检测工控网络中的入侵行为、流量异常，追踪溯源工控网络安全事件。通过捕获交换机镜像口流量，对工业控制协议和常规IT协议的通信报文进行深度解析，能够实时检测工控协议异常、针对工业协议的网络攻击报文、未知设备接入、开启非法服务、用户误操作、用户违规操作、登录监控以及病毒木马蠕虫等利用资产漏洞进行恶意的入侵、传播和破坏行为，实时检测并告警。同时对整个网络通信过程和包括工业控制协议会话进行记录，为安全事故调查提供依据。

以下为常见协议列表：

工业控制协议：BACnet、CIP、DNP3、Ethernet_IP、HART_IP、IEC104、IEC61850、ModbusTCP、OPCda、OPCua、COTP、S7、FINS、PROFINET等。

IT协议：arp、coap、dhcp、dns、ftp、ftp-data、http、tls、icmp、igmp、imap、mpls、mqtt、mysql、nfs、pop、radius、rtmpt、rtsp、rtp、sip、smtp、ssh、stp、telnet、udt、vlan、xmpp等。

2.4资产画像与拓扑绘制业务系统及资产在安全评估和问题整改中是基础核心数据，因此资产信息收集的准确性与完整性是安全工作至关重要的一环。由于工业环境复杂、排查困难等历史原因造成工控资产分布是否运行、资产在业务系统中的作用不清晰，资产拓扑以自动生成为主，人工干预为辅，帮助企业快速摸清家底、认清风险、发现隐患、有效整改。

对于安全I区、安全II区重点关注的工程师站、操作员站、接口机及服务器设备，通过在主机上部署Agent，监测多重安全指标数据，包括高危命令、高危服务、关键操作日志、关键目录变更等，实时监测工控安全风险。3结语全流量日志AI智能分析系统，是一款具有大数据架构的高可用、可弹性扩展的监测分析一体机，可同时处理来自采集器的实时的、离线的日志、全流量数据。多台采集器分布式部署，覆盖整个场站不同安全区域。系统支持工业控制协议、常规IT协议深度解析，并对元数据、会话数据存储及展示，具备定位复杂事件溯源分析与关联分析的能力，对实时全流量数据检测、预警并形成