金融机构网络流量安全分析系统架构设计与应用实践

随着网络和信息化、智能化技术的飞速发展，黑客破坏、数据篡改、信息泄露、间谍软件等网络攻击事件层出不穷，网络安全形势正变得愈发严峻。当前，金融业应用和业务复杂多变，自身网络规模不断扩大，安全防御措施存在数据过载和失真问题。此外，由于大量基于规则的检测技术本身存在滞后属性，导致以“被动防护”“平衡风险”“适度安全”为主的传统网络安全防御措施受到挑战，难以适应业务发展与监管的新要求。Gartner和CBInsights

的分析表明，网络流量分析（NetworkTrafficAnalysis，NTA）技术是目前网络安全监测的重要技术发展方向，基于NTA技术的网络安全监测系统将不同的威胁检测重点和功能进行融合，既可以解决传统监测手段的瓶颈问题，又可以扩展实现更多复杂的安全分析需求，具有重要的实用价值和现实意义。金融机构在实施网络安全监测的过程中，业务系统不断集中、数据规模不断增大，同时高级持续性威胁分析数据源存储周期跨度变广、分析时效要求也在逐步提高，针对这些情况，需要保障安全威胁检测的及时性、有效性和可回溯性。本文结合NTA技术的特点，提出了一种以大数据技术为基础，融入人工智能、数据挖掘的网络流量安全监测体系设计方法，并依托金融机构特有的网络环境和安全监测需求，构建出新一代以安全分析为核心的威胁检测分析系统。该系统能够采集、处理、转换和存储大规模实时流量协议数据，提高大规模网络安全监测信息集中处理的效率，有效应对新形势下复杂、动态、隐蔽的网络攻击。1系统架构设计1.1整体架构设计网络流量安全分析系统在架构上主要分为两个部分，即大数据处理子系统和安全检测分析子系统。1.1.1大数据处理子系统大数据处理子系统基于大数据处理平台，主要负责对数据进行采集、传输、处理与存储。通过采集实时镜像流量，将数据按照不同协议进行深度解析并归一化处理，最后经过统一的消息队列将数据存入数据仓库。大数据处理子系统架构如图1所示。图1大数据处理子系统架构（1）流量采集。对网络流量进行数据包捕获、协议识别解析及元数据提取，形成原始流量数据。（2）数据处理。对原始流量数据进行处理，包括标签丰富、数据转换，最后进行归一化处理，并对流量数据中的文件进行捕获提取。（3）消息队列。将经过处理的流量数据传递给消息队列，系统其他组件通过消息队列获取数据。（4）数据存储。将消息队列中的原始流量数据、归一化后的协议数据、文件存入数据冷、热仓库中。1.1.2安全检测分析子系统大数据处理子系统将数据存储至数据仓库的同时，也将数据传递给安全检测分析子系统进行检测与分析，主要包括安全检测、安全分析、数据存储、展示平台等功能模块。安全检测分析子系统架构如图2所示。（1）安全检测。从消息队列获取结构化流量数据并进行签名规则（特征）检测、高级统计分析检测、机器学习模型检测、关联分析模型检测、威胁情报匹配，产生相应的风险告警事件。（2）安全分析。对历史风险告警数据及实时结构化流量数据进行分析与处理，实现高级安全问题深度分析，包括数据统计与查询、调查画布、交互式分析、自定义模型、基线档案等分析过程。（3）数据存储。将前述步骤产生的数据按照不同的功能进行存储。告警事件存储至数据搜索引擎，系统日志及配置数据存储至关系数据库，图表类数据存储至图形化数据库。（4）展示平台。对最终的风险告警事件进行可视化展示，同时提供丰富的数据查询、索引接口以及仪表盘、系统管理信息。1.2流量采集与数据处理流量数据为整个系统的数据来源和入口，其采集是整个安全分析系统中最重要的环节之一。流量数据的安全检测和分析功能要求数据结构统一，以利于系统理解。本系统采用镜像的分布式方式获取完整的流量数据，并基于数据包捕获、协议解析、元数据提取3个方面进行采集处理。1.2.1数据包捕获数据包捕获亦称全量数据包捕获（Full

PacketCapture，FPC），是指对网络流量以网络数据包文件（PacketCapture，PCAP）等标准文件的格式进行保存。由于攻击事件发生后对事件的调查分析依赖历史流量数据，因此需要对流量进行完整记录和保存，以便开展后续的全流量回溯分析。安全分析系统在具备FPC功能的基础上，增加数据包协议种类、大小、头部字段等定制化选择功能，用户可以自主可控予以配置。1.2.2协议解析协议解析亦称深度数据包解析（Deep

PacketInspection，DPI），是指对网络流量数据包按照开放式系统互联模型（OpenSystem

InterconnectionModel，OSI）网络分层的第二层至第七层进行完整解析。由于安全检测和分析建立在协议数据可理解的基础上，解析出的数据结构会保持一致性以便进行统一化处理。将从流量中提取的协议结构化数据提交给消息队列，供大数据处理子系统和安全检测分析子系统获取。同时，系统对特定时间段的结构化协议数据（原始协议数据）予以存储，供用户在安全事件调查分析时使用；并将从不同应用层协议传输中还原出来的文件进行存储，用于后续开展基于文件的恶意样本检测。1.2.3元数据提取元数据提取亦称会话数据采集，是指系统按照不同协议对IP数据流信息进行元数据的提取（如五元组信息等），解析并记录流量数据，将数据进行归一化后推送至消息队列。会话数据可以用于扫描探测类事件检测与处理，降低安全检测分析子系统的压力；也可用于网络会话统计、流分析，表述网络环境整体情况。IP数据流信息包括IP流信息输出（IPFlowInformationExport，IPFIX）信息和网络流量监控（NetFlow）信息。1.3安全检测与分析当前，企业对网络安全风险的监测大多基于服务器和网络的入侵检测技术。基于服务器的入侵检测主要依靠审计数据和系统日志的准确性和完整性，若攻击者设法逃避审计或进行攻击痕迹清理，将导致这种检测方式失效。基于网络的入侵检测主要依靠特定的检测规则，存在规则被绕过和无法调查溯源的弱点。传统检测设备无法有效存储大量的事件日志和网络日志，导致攻击事件发生后难以有效取证，同时造成《关键信息基础设施安全保护条例》[3]中相关规定难以落地。伴随机器学习和人工智能技术的发展，入侵检测技术在网络安全监测和防御领域得到越来越广泛的应用，相关的理论体系和商业产品也不断面世。基于机器学习和人工智能技术的网络安全监测系统，能够弥补传统基于静态签名特征的检测方式存在的短板，进一步提高系统的安全检测可靠性。例如，神经网络技术在分布式拒绝服务攻击、蠕虫病毒、垃圾邮件、僵尸网络等多种威胁的检测方法中具备较高的检测效率和有效性。基于此，本系统对分布采集来的数据进行集中安全关联检测，分为5个方面，分别为签名规则检测、统计分析检测、机器学习模型检测、关联分析模型检测、威胁情报关联匹配。在上述安全检测的基础上，系统提供对恶意攻击事件和威胁行为的进一步分析、调查功能，这部分主要包括协议数据统计与查询、可视化告警事件调查、交互式安全分析。1.4数据存储一套完整的安全分析系统需要具备对安全检测分析子系统产生的结果数据、流量深度解析后的结构化数据等多种数据进行存储的能力。本系统根据不同的数据需求场景集成了多种数据存储方案。1.4.1分布式搜索引擎（数据库）安全检测分析子系统产生的大量安全告警事件需具备快速响应、查询和搜索的能力，针对这类数据的存储，本系统选用了分布式搜索引擎，可以向用户提供海量安全告警数据的快速检索及热数据（原始协议数据）的实时分析能力，提高系统的响应能力和使用体验。1.4.2基于大数据平台的数据仓库大数据处理子系统需要对归一化后的原始协议数据进行长时间段的存储，处理数据规模十分庞大，系统不仅需要存储大规模数据，还需要实时安全检测网络流量数据、基于历史数据开展规模训练等业务，因此本系统选用了基于大数据平台的数据仓库，具备易扩展和函数式编程的特点，对数据的离线分析具有较好的支持，这与安全检测分析子系统的使用需求相吻合。1.4.3轻量关系型数据库鉴于安全检测分析子系统在展示安全告警事件时需存储的用户信息、风险描述信息、告警策略等数据之间存在相互关系且符合关系型数据库特征，本系统选用了轻量关系型数据库对其进行存储，具备数据更新开销小、数据一致性高的特点，能满足系统对数据进行安全、可靠的复杂查询需求。1.4.4图形数据库安全检测分析子系统提供基于可视化的交互式分析能力，对于图形化数据及图关系数据具有较大的存储需求，并且性能要求较高。目前，图形数据库得到广泛运用，其具有的快速图形化数据存储、检索、处理能力可满足分析系统使用需求。2关键检测分析技术及应用场景网络流量安全分析系统的安全检测分析能力主要体现在两个方面，一是基础安全能力，二是高级安全应用能力。基础安全能力通过基于签名规则、行为统计及智能模型的融合分析产生安全告警事件。高级安全应用能力则是以安全告警事件为基础，通过运用科学的计算方法及可视化技术提供面向基线档案、事件关联分析、安全事件溯源等应用的安全能力。2.1基于签名规则的安全检测技术本系统保留了传统安全工具的检测方式，利用签名规则进行分析检测，包括网络攻击特征检测、入侵指标（IndicatorofCompromise，IoC）信标检测、超文本传输协议（HypertextTransferProtocol，HTTP）双向内容检测等。由于能够进行快速地更新上线，签名规则在漏洞爆发的第一时间可实现对攻击行为的检测和捕获，避免检测的滞后性。2.2基于统计分析的安全检测技术对于一些复杂场景的恶意攻击行为，难以通过单一的签名规则实现检测，需要借助统计分析技术进行识别。基于统计分析的安全检测技术通过对恶意行为予以统计，能够有效识别离线特性的数据场景，弥补传统签名规则特征检测的不足，实现对复杂行为的检测。基于统计分析的安全检测技术流程如图3所示。图3基于统计分析的安全检测技术流程本系统通过基于统计分析的安全检测技术，在暴力破解、端口扫描等攻击行为的检测上得到较好的应用效果，实现准确识别。另外，系统使用统计分析技术从攻击者视角建立攻击画像，进一步协助安全管理人员进行调查分析。下述为用于构建恶意攻击者用户画像的适配特征。（1）攻击行为：暴力破解行为、扫描行为（通用型、组件型）、数据获取、提权行为、高危端口扫描、主机存活扫描、地址解析协议网络扫描等。（2）工具类型：攻击者使用的工具特征、User-Agent信息。（3）活跃特征：攻击者IP、攻击活动持续时长。（4）资产信息：敏感文件、敏感数据。（5）协议行为统计：HTTP数据统计。2.3基于机器学习的安全模型检测技术基于签名规则的检测方法与基于统计分析的检测方法均依赖于静态的固定特征、有限的简单攻击行为模式，存在漏报和误报的概率较大，无法预测相似的未知攻击。为解决此问题，本系统使用基于机器学习的安全模型检测方法，通过学习恶意攻击行为特征，实现对未知攻击的精准预测，在基线异常检测（数据库异常、资产异常、账号异常等）、隐蔽隧道检测、域名生成算法生成域名检测、Web网络后门木马检测等方面得到较好的应用，对处于攻击过程中的数据渗漏、系统控制阶段具有显著检测效果。基于机器学习的安全模型检测方法主要包括在线实时检测和离线检测两类。在线实时检测是指通过已知特征进行模型训练，利用可用模型直接对采集解析后的数据进行实时风险识别，输出对应的安全告警事件，准确性较高。基于机器学习的安全模型检测流程如图4所示。离线检测是指根据离线流量数据进行自学习，通过对行为基线的特征学习，寻找数据中的异常现象，如资产基线档案异常检测、结构化查询语言（StructuredQueryLanguage，SQL）基线档案检测模型等。以数据库异常检测模型为例，从离线原始协议数据中获取SQL语句，经过词法分析、语法分析等技术形成SQL语法树，再提取数据中的行为特征、结构特征及规范语法树特征入库形成基线，设置学习次数，最后通过反复学习实现档案模型。图4基于机器学习的安全模型检测流程2.4关联分析模型检测技术与威胁情报匹配通过特征、统计、模型检测出的事件往往都是独立的事件点，而这些事件的准确性主要依赖于规则及模型的健壮性。本系统使用关联分析模型检测技术，采用由点及面的设计思路，将安全事件场景化，借助大数据平台的计算效率，通过对不同检测引擎产生的告警事件进行快速组合串联，具备有效检测出特定攻击场景下的完整攻击事件及攻击链的能力。同时，可以将攻击事件中体现出的战术点进行划分，并与MITREATT&CK攻击矩阵进行对应展示，能够对当前网络的安全状态提供科学有效的数据依据。本系统进一步将威胁情报匹配纳入关联分析范畴，通过提取流量数据中的IoC信标信息，与系统内置的威胁情报库信息比对进行安全检测。威胁情报数据采用结构化威胁信息表达式的标准格式存储，具备可扩展和自动化管理、应用的特点。2.5数据可视化与交互式安全分析技术网络安全可视化作为新兴的交叉研究领域，为传统的网络安全数据分析方法注入了新的活力。海量的安全数据需要借助可视化交互式分析技术才能发挥更大的价值，使用户能够快速定位和理解网络安全风险。本系统通过交互式分析工具，可建立人与数据之间的图像通信，借助人的视觉处理能力，进一步提高分析人员的感知、分析和理解网络安全问题的能力。例如，基于IoC信标数据可以建立协助安全管理人员调查分析的调查画布。对于流量中出现的异常连接，结合金融机构内外部地址转换频多的特点，使用桑基图等图形可有效体现异常连接的状况，帮助安全人员快速确认是否为有效攻击。传输控制协议（TransmissionControlProtocol，TCP）建连关系如图5所示。图5传输控制协议建联关系3系统部署与典型组网网络流量安全分析系统主要分为流量采集服务器（Sensor）与安全检测分析服务器集群两部分。（1）流量采集服务器。通过旁路方式部署在网络节点（路由器、交换机）处，对网络流量进行镜像，同时识别