基于 AI、大数据技术的智能风险检测与溯源平台

0

引言近年来，随着云计算、大数据、5G、物联网等新技术的发展与普及，不仅带来了技术进步的美好，也助长了各类衍生威胁的泛滥，这给企业的及时防御与快速响应带来了极大的冲击和挑战。另一方面，在大数据、人工智能、可视化等逐渐成为前沿主流技术推动下，网络安全威胁检测与响应也在朝着智能化的路线发展。在这样的背景下，网络流量分析（NetworkTrafficAnalysis，NTA）技术成为当下主流技术，其充分利用大数据引擎、基于人工智能的安全威胁检测及海量数据的可视化取证分析技术，有效洞察各类安全风险，精准把握网络威胁的规律与趋势，提升企业对突发事件的应对能力和网络安全防护能力。智能风险检测与溯源平台属于NTA类技术产品，基于人工智能、大数据安全分析等技术，通过实时采集并深度解析网络流量数据，进而构建新一代以数据分析为核心的威胁检测与响应平台。1

平台设计1.1

平台体系智能风险检测与溯源平台体系包括：（1）

全流量存储与智能分析模块NTA：基于大数据安全分析、AI智能模型与安全规则等技术，通过对网络流量行为进行建模分析，高效识别异常行为与潜在威胁。（2）

恶意文件智能分析模块MAC：以大数据安全分析技术、AI智能、高效沙箱、融合多模型检测以及高级统计分析为核心，旨在高效识别潜在恶意行为。（3）

原始凭证模块FPC：以PCAP格式留存完整数据包，包括包头和有效载荷部分。为安全团队开展安全事件调查、重构事件或执行取证分析提供很高的利用价值，同时在安全事件处置效率方面，安全团队也可获得响应速度和准确性保障。平台功能模型如图1所示。图1

平台功能模型

智能风险检测与溯源平台体系是基于分布式架构的安全解决方案，能够灵活适应企业网络环境。其中，MAC与FPC作为平台的可选组件，也支持独立部署。1.2

平台架构

图2平台架构平台架构包括Sensor、PRS-NTA、MAC（可选）、FPC（可选）等组件，平台架构如图2所示。（1）SensorSensor是平台的重要组件，通过旁路方式部署在网络节点处，镜像网络流量、识别与解析流量信息为平台提供数据基础。支持对OSI模型2~7层50余种协议内容，包括：HTTP、FTP、SNMP、SMTP等常用通信协议。基于采集解析后的流量信息进行数据处理，主要包括：资产识别，通过对流量信息识别流量中的资产，包括域名、IP、端口、服务、用途、类别等，并进行资产建模管理；文件解析，通过对流量信息识别流量中的文件信息，如文档/图片/

视频/

音频等；数据统计，实时流量数据统计模块；入侵检测，发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。（2）PRS-NTAPRS-NTA是平台的核心技术组件，承载着整个网络流量的安全检测能力，通过对来自Sensor的消息分类管理，通过PRS-NTA实现来自全流量的风险感知，并通过统一安全管理中心呈现。PRS-NTA的核心功能有：数据仓库、智能模型、攻击画像、调查画布、数据图谱、资产管理、风险信息、预警管理、可视化大屏等。（3）MACMAC集威胁情报和反病毒引擎驱动、融合多模型检测、高效沙箱、AI智能、机器学习以及高级统计分析等能力于一身，并以可视和可控的方式持续检测恶意行为，以便确保及时识别可能绕过单层防护的安全威胁。（4）FPCFPC用于实时捕获完整数据包后，将其存储一段时间，以便可以对其执行数据挖掘、分析，识别潜在威胁；在合规方面，其可确保遵从企业数据保留策略，将其下载、存档或销毁。对于分析人员而言，FPC有助于提供基于上下文的安全分析，通过捕获并检查数据以帮助解决安全问题，包括识别安全威胁、异常网络行为和执行取证分析。2

平台关键技术2.1

网络全流量实时采集、存储、分析平台通过旁路镜像采集并存储网络全部流量，通过网络协议实时解码、元数据提取，建立完整的日志、协议、数据包全字段索引，以便快速提取多维度的网络元数据，进行异常行为建模，为后续异常数据挖掘、风险分析、调查取证建立扎实的基础。平台采用大数据技术架构，高速、实时采集与报文解析，支持对OSI模型2~7层50

余种协议数据的风险检测，包括：TCP、HTTP、FTP、SNMP、SMTP等常用通信协议。另外平台利用大数据架构构建网络数据仓库，对协议数据进行存储和构建索引，满足对不定时爆发的0Day漏洞的利用特征进行原始数据级别的调查分析，提供便捷有效的分析溯源方法。2.2

双向验证，风险精确定位平台检测引擎可以对数据包的参数进行细粒度提取，精确到URL、IP、ID、HOST、DBMS、Payload、Type、Method等，同时具有业界最完善的攻击特征库，包括数十个种类漏洞检测，超过4000

项攻击特征，可以精确检测攻击者、病毒、蠕虫、木马、后门、恶意文件等，在检测过程中使用机器学习技术，利用强大训练集，高效检测恶意攻击行为。平台全力打造的深度检测引擎，从request和response双向通信进行验证，定位精确、识别度高、最大程度降低检测误报率。同时，风险管理模块采用基于规则的、基于统计的和基于机器学习等3种风险检测技术，利用多维精准技术检测手段，引领产品核心竞争力。2.3

智能驱动安全模型人工智能凭借强大的智能驱动能力以及大规模运算能力，能够迅速排查筛选数百万次事件，以发现异常、风险和未来威胁信号。（1）安全能力提升平台在安全检测与工程建设中应用智能模型来提升安全检测能力，主要应用包括：①提升传统漏洞检出模型：WebShell检测、恶意文件等；②威胁情报数据挖掘模型：DGA检测、恶意IP地址、恶意域名等；③新型隐蔽通信模型：DNStunnel、ICMPtunnel、HTTPtunnel等。（2）计算能力提升平台采用大数据技术架构，大大增强了系统的计算能力，为安全分析提供更快速的处理性能：①数据内容的解析：对协议内容、文件/

图片内容的语义化识别；②事件关联分析：提供技术框架、计算安全事件间的逻辑关系，提升场景化事件的安全检出准确度；③行为分析：对历史离线数据进行行为基线计算，分析偏离正常轨迹的异常事件。（3）产品工程应用以科学的视角对安全监测及响应提供标准化数据，主要应用方向包括：①风险评估模型：应用科学模型公式计算风险与资产的实际危害；②多源数据融合处理：对不同数据进行格式化处理、统一标准、提升数据处理效率。2.4

自定义场景化分析平台提供关联分析引擎，允许用户通过构建关联分析模板，将多个事件或者行为等进行关联分析，把多个事件融合成为更高级别的场景化告警事件，并支持事件时序和非时序关联。同时平台提供以攻击链为基础，将告警事件划分不同阶段，分为信息探测侦查、载荷投递与攻击、水平横移、系统控制以及其它等五个阶段，进一步提高安全分析的精准度，让分析人员知道哪些更值得关注。2.5

深度计算构建攻击画像平台通过多维度信息绘制攻击者画像，发掘攻击者常用手段及使用工具，为安全防护提供思路。并内置攻击挖洞检测模型、快速构建攻击画像、识别高级攻击行为，以及提供攻击者画像功能（如图3所示），对攻击者的攻击事件、攻击行为、留存的网络协议等进行数据挖掘分析。对攻击者进行画像描述的有效之处就是方便安全分析人员能够以实体的视角对其分析，包含攻击者活跃时间、偏好攻击目标/网站、常用攻击工具、攻击类分类等。图3攻击画像2.6

资产测绘，构筑企业级档案管理平台通过旁路部署，主、被动结合以及第三方导入方式深度发现企业IT边界以及遗忘资产，包含开放端口、服务应用，日活资产以及资产互访关系等。（1）

被动发现：通过旁路部署，以流量镜像方式深度识别IP、端口、协议、服务应用、框架、组件、开发语言、账号、域名等信息；（2）

主动发现：平台提供应用指纹识别、SNMP识别引擎、SMB识别引擎、内网识别引擎、角色识别引擎等主动探测机制；（3）

资产管理：平台提供资产检索、资产编辑、资产类别标识、资产标签定义、资产组定义等资产属性标识功能，如图4所示。图4资产档案管理

2.7

调查分析画布平台对网络进行深度包解析，提取各类网络IoC

信标，建立丰富多样的信标库，如电子邮件、邮件主题、文件名、文件类型、账号、域名、IP等，并以可视化的方式描述网络实体间的行为。如图5所示，绘制事件调查网络图。并支持每个IoC信标节点的操作，协助用户快速关联及分析风险事件。

图5调查画布2.8

基于多模型融合的恶意文件智能检测恶意文件是攻击者常用的攻击手段，利用恶意文件进行文件加密、远程控制等，主流的利用特征规则或沙箱进行检测的方式都有较大制约性。平台利用机器学习技术对静态文件、动态行为、情报信息进行多维度融合分析，如图6所示，精准识别网络流量中的恶意文件信息，除了对传统恶意文件的全面识别外，对新的恶意文件及变种文件有着更出色的检出能力。

图6基于多模型融合的恶意文件检测模型3

平台优势3.1

灵活的扩展性和高速的数据处理平台采用大数据技术架构，对于多源数据的复杂格式与数据关联关系计算；并采用冷、热数据分离架构，可以做到对冷数据长期存储和提供报表查询功能；对于近期的热数据，构建索引，满足实时查询需求。同时满足横向灵活可扩展，支持多Sensor和分析集群水平扩展，即使在PB级别、千亿级数据量的情况下，仍可做到秒级查询。3.2

多风险检测手段，精确定位平台的风险识别能力包括对攻击行为事件、协议异常事件、安全漏洞和威胁情报等信息，采用安全特征引擎、安全统计模型与AI安全智能检测模型等综合分析手段。另外，平台采用基于攻击链模型将风险划分为信息探测阶段、载荷投递与侦查阶段、系统控制阶段、环境感知阶段以及数据泄露阶段，对风险信息进行精准的威胁度与可信的评估与分析。3.3

全面的攻击回溯，精准的威胁狩猎平台基于攻击链场景的分析模式，为企业提供海量事件攻击的分析依据，面临潜在的异常事件，提供IoC调查分析画布、数据图谱、攻击画像等可交互式分析手段，结合大数据分析技术与攻击场景建模，清晰展示实体行为轨迹，实现攻击事件快速、精准回溯、事件快速响应。3.4

领先的技术提升安全能力平台风险检测引擎应用大量业界领先的大数