互联网高级威胁与流量分析技术研究

互联网高级威胁与流量分析技术研究

自2010年互联网发展以来，网络上的各种攻击和互联网威胁越来越多。根据cnc调查发布的攻击事件数量急剧增加，平均每年增加50%以上。尤其是随着高级持续性威胁（APT）这类攻击形式的出现，使得互联网攻击逐渐深入到各个领域，从硬件到软件到网络，从服务器到移动终端，无孔不入。APT的出现对全球各国的核心系统及网络都造成了非常大的威胁，随着APT攻击事件数量的不断上升，国家、企业的网络信息系统和数据安全面临严峻挑战。为提高国家信息安全保障能力，2015年1月，公安部颁布了《关于加快推进网络与信息安全通报机制建设的通知》（公信安[2015]21号）文件。通知要求建立网络与信息安全信息通报机制，积极推动专门机构建设，建立网络安全监测通报手段和信息通报预警及应急处置体系，明确要求建设网络安全监测通报平台，实现对重要网站和网上重要信息系统的安全监测、网上计算机病毒木马传播监测、通报预警、应急处置、态势分析、安全事件（事故）管理和督促整改等功能，为开展相关工作提供技术保障。2017年6月，《中华人民共和国网络安全法》正式施行，说明网络安全已经上升至国家战略层面，进行网络安全的建设是我国发展和实现现代化的必经之路。1相关技术的建设在上世纪末，国外就已经开始对APT攻击、网络安全风险的检测及处置开始进行研究。美国、加拿大等发达国家己经建立了国家标准，并且组织了互联网威胁分析评估体系，通过该体系的建设，设定了相关的评估标准、方法和技术，并且针对提出的方法技术展开了实践，对互联网安全风险进行了检测和告警，并在这基础之上研究出了多种网络安全风险的检测评估手段。根据研究出的检测评估手段，延伸开发出了许多利用大数据分析的检测技术，该技术能有效的对APT攻击进行检测和预防。目前，已经成熟的基于大数据分析检测技术形成的技术主要有异常流量检测技术、恶意代码特征匹配检测技术和互联网安全事件挖掘技术3种。基于高层网络事件融合的检测技术主要是安全事件关联分析。因此，本节针对4种安全检测技术分别进行介绍和分析。1.1网络流量数据检测异常流量检测是通过设置网络流量探针，对所有流经流量进行镜像，然后通过分析、统计、数据归并、机器学习及人工智能分析的手段，检测网络流量中的非正常交互流量。异常流量检测技术最先依赖的是流量探针，流量探针主要通过Sniffer、NetFlow、Fprobe和Flow-tools等几种检测技术来采集网络中的数据及各类信息，然后从数据中通过数据归纳及人工智能分析发掘出流量中的异常数据信息。常用的数据信息提取方法有以下两种。(1）以网络流量中各层数据的分组头信息为单元进行数据分组检测，作为数据属性，例如网络层的源/目的IP和传输层的端口等。(2）以网络流量的源/目的“身份”信息作为依据，判断流量行为是否合法，以此作为数据属性，例如两个主机的通信时间范围是否为正常业务时间，主机间的数据交互字节数及流量熵是否正常等。这种以网络流量的行为作为依据对异常流量的检测，相较于基于数据分组头信息作为检测依据的方法更加高效且准确。异常流量检测技术要对海量的数据进行检测，但是互联网数据流量往往非常巨大，并且APT攻击往往持续时间非常长，所以异常流量检测技术容易对宽时间域内的网络风险及威胁出现漏测的情况。并且，APT攻击是多种攻击手段的组合，而异常流量检测技术的数据属性检测方式较为单一，因此对于APT攻击的检测存在一定的局限性。1.2恶意代码检测技术恶意代码是指用于完成特定恶意功能的代码片段，其定义与恶意程序和恶意应用类似。恶意代码主要包括计算机病毒、蠕虫、特洛伊木马、后门、RootKit、僵尸程序和组合恶意代码等类型。恶意代码特征匹配检测技术是通过对收集恶意代码的MD5特征，形成海量的恶意代码特征库，然后通过将检测到的网络流量中的数据与恶意代码特征库中恶意代码的特征进行人工智能对比分析，以此来识别是否为网络攻击。就目前的研究来看，通过特征库的方式进行恶意代码识别的检测技术，无法对新型未知的恶意代码进行处理，更何况恶意代码的变种更是层出不穷，恶意代码的类型及数量成爆炸式增长，特征匹配技术无法应对这一威胁。因此，恶意代码检测技术与异常流量检测技术一样，逐渐开始研究基于行为的恶意代码检测技术。基于行为的恶意代码检测技术的核心是提取数据特征和分析异常数据。恶意代码的特征提取主要有以下两种方法。(1）静态特征提取方法。该方法采用文件结构分析、反编译、反汇编、控制流和数据流分析等技术，不需要使用沙盒，也不需要运行任何程序，直接提取疑似恶意代码程序的组件、函数及控制流等参数，作为恶意代码检测的静态特征码，通过特征码的匹配进行恶意代码的检测。这种方法能够有效识别已知恶意代码，但是对于加壳、变形和代码混淆等技术下的恶意代码检测率相对较低。(2）动态特征提取方法。该方法采用Anubis、CWSandbox、NormanSandbox和Joebox等分析工具，利用沙盒技术，直接在沙盒中运行恶意代码程序，通过运行后的结果反馈，进行提取API操作、文件系统操作、函数访问和系统调用等来识别是否为恶意代码。这种方法的优缺点与静态特征提取方法正好相反，对于变种恶意代码的检测率非常高，但是检测速率非常慢，并且对设备性能的消耗很大。因此，现阶段往往将这两种方法进行组合，先使用静态特征提取法对已知程序进行检测，对无法识别的程序进行沙盒模拟运行，以达到恶意代码检测效果。1.3基于件挖掘技术的风险检测技术互联网安全事件挖掘技术是从互联网数据中学习主机及用户在网络中的行为方式，通过挖掘用户在网络交互中的社会属性和对社会属性的分析进行对攻击形式、攻击检测、网络安全防护提供依据和指导。互联网安全事件挖掘技术在互联网风险检测方面主要分为两种。一是将用户在互联网上的社交行为或通信行为进行建模，通过机器学习建立信任模型，通过在线监控，对比分析将违背信任模型的行为归纳为风险事件，快速定位攻击者；二是在互联网用户中收集攻击者的社会属性，并进行定义，将攻击者的行为定义为攻击事件，实现攻击行为的溯源和攻击意图发现。互联网安全事件挖掘技术可以识别用户行为异常，这些异常行为可以作为攻击事件和风险检测的依据，但是互联网中的信息量十分巨大，识别及分类这些信息及用户交互行为的工作量巨大，识别能力有限，只有配合异常流量监测技术和恶意代码检测技术一起使用，才能有效地检测互联网安全风险。1.4分析检测方法安全事件关联分析技术是指将底层的安全威胁发现技术进行整合，并将相关信息，如源/目的IP、用户几种不同行为等信息进行关联，通过综合分析、归并将安全事件呈现出来。安全事件关联分析技术分为以下4种。(1)安全设备报警关联分析。这种关联技术是将用户现有安全防护设备进行关联，其关联的关键是将报警数据各个维度的报警值进行相似度分析，形成相似度度量模型，然后利用机器学习及人工智能，各维度的报警日志进行权重分配，形成加权算法，最后通过综合加权方式分析报警日志的匹配度以确认其真实性，并将超过报警阈值的预警进行聚合，实现低误报率、高检测的安全联动防护。(2)网络和主机安全关联分析。这种方法是将网络流量的检测和主机状态情况进行关联分析，利用大数据分析平台，先将异常流量进行分析，得到疑似或确定的攻击对象，再通过对内网所有设备、服务器、中间件及终端的主机特征进行检测，发现主机特征异常的情况，与异常流量进行匹配，关联分析以提高检测的准确率。异常流量的检测一般是利用聚类方法进行相似度匹配，而主机特征的检测往往是通过反病毒工具进行模型匹配，最后将二者进行关联，得到所有主机的综合可疑度，进而确认失陷主机和恶意攻击入侵程度。(3)不同领域安全事件关联分析。该方法主要是利用安全领域不同类型设备、信息和安全事件等因素进行属性融合，通过各类安全事件的并发进行攻击检测。大部分系统建设部署方案与网络拓扑信息一致，可以将IP地址与物理地址进行关联，实现从软件到硬件的一一对应，进而帮助攻击事件的溯源。(4)攻击步骤关联分析。这种方法广泛应用于各类态势感知产品中，主要是起到预警作用，其具体技术方法是将已知攻击、攻击方式和对象进行匹配分析来识别攻击意图，作为对下一攻击阶段的预警依据。常用的攻击模型主要有概率攻击图或最大概率攻击路径等。目前阶段，该方法广泛用于态势预警，但是该方法存在一定的局限性，这种方法预测下一步攻击方式及目标存在主观性，事件关联样本太多，不能全部进行分析，关联存在偏差。2提升网络安全监测和响应能力当前移动业务支撑中心主要的安全投入是在传统的安全产品（如IPS、FW等）和安全服务上，但传统以“防护”为主的安全体系将面临极大挑战。未来网络安全防御体系将更加看重网络安全的监测和响应能力，充分利用网络流量、大数据分析及预测技术，大幅提高安全事件监测预警和快速响应能力，应对大量未知安全威胁。本研究提出一种新型的威胁分析解决方案，针对原始流量进行采集和监控，对流量信息进行深度还原、存储、查询和分析，可以及时掌握重要信息系统相关网络安全威胁风险，及时检测漏洞、病毒木马和网络攻击情况，及时发现网络安全事件线索，及时通报预警重大网络安全威胁，调查、防范和打击网络攻击等恶意行为，保障重要信息系统的网络安全。2.1原子事件和重点事件互联网威胁分析系统可以对事件告警进行关联分析并输出用户关注的重点事件，如热点事件、APT攻击事件、Botnet事件、恶意样本传播事件或是单次高危攻击事件等（Webshell、隐蔽信道）。同时也可以根据自身业务特点自定义事件类型进行输出，从海量告警中快速发现需要处理的重点事件。原子事件是指针对特定类型的一次网络攻击行为（源IP、目的IP或攻击类型单一），关联一条或多条告警生成的事件。原子事件至少含有起止时间、源目IP和端口、源目资产ID、源目地理位置信息、攻击类型、攻击发起方向、攻击成功状态、攻击链阶段、威胁级别、可信度、关联的告警ID列表、关联的情报以及对应的情报匹配字段和事件类型特定的字段。复合事件是指相互关联的多次网络攻击行为所形成整体的攻击活动，复合事件生成主要来源于告警关联，当前主要有热点情报事件、恶意样本传播事件、CC异常事件和规则关联事件4种方式。复合事件至少含有起止时间、事件名称、事件类型、事件描述、事件最高攻击链阶段、事件类型特定的字段和关联的告警ID列表。重点事件是指所有的复合事件以及原子事件中isimport字段为1的事件。业务呈现上，重点事件主要用于首页中间事件列表以及威胁监控（重点事件监控）模块，帮助用户更好的识别以及关注重点威胁事件。重点事件下钻到重点事件详情页面，如果是复合事件，提供事件的威胁信息以及事件传播图等展示信息，另外提供离线pcap取证功能。首页重点事件列表提供事件的处置功能和事件的下钻，查看重点事件的图谱以及攻击过程等信息。2.2失陷资产模块互联网威胁分析系统可以结合攻击方向和攻击类型等维度对失陷资产进行判断。从资产角度出发，结合攻击链模型向用户展示失陷资产的总体情况，从海量告警事件中，快速定位需要关注和处理的资产。失陷资产识别：核心功能，依据原子事件进行受攻击IP的关联，结合相关的攻击类型和攻击阶段，识别受攻击资产、失陷资产和高危资产。失陷类型：当前定义的失陷类型包括“横向移动”、“异常外联”、“隐蔽信道”、“木马连接”、“CC攻击”、“自定义”等，失陷资产模块对失陷类型进行更细致粒度的判断。攻击链记录：失陷资产根据关联事件的攻击链级别来判断是否失陷，并且会记录关联的攻击链过程。定时更新：定时对库中的资产状态进行更新。后台根据资产相关入侵事件和告警，判断资产是否已被攻陷，标记资产的失陷状态以及高危资产和受攻击资产，并依据攻击链模型描述资产失陷的过程。业务呈现上，会关联资产与业务相关的流量、事件和告警，分析其对资产安全性的评估，描绘出整个攻击链过程。功能原理具体为通过一定的识别计算方法，对原子事件表的受攻击IP进行失陷判断，标记资产的状态，主体框架如图1所示，识别原理如图2所示。2.3攻击过程分析互联网威胁分析系统可以从攻击者的角度出发，梳理出对网络最具威胁的攻击者，通过情报关联功能，追溯攻击者的相关信息，聚合攻击者的攻击行为和通信行为，增加攻击事件可信度。可以通过攻击者画像分析，回溯事件源头，从根本上处置类似攻击事件的发生。攻击者溯源：从告警按照一定规则归并后的原子事件中，分析出攻击者。攻击者信息增强：补全攻击者的背景信息，如归属地等信息。攻击者关联分析：分析攻击者的目标、意图、关联出攻击者的攻击路径图。定时更新：定时依据事件对攻击者状态更新。在实际应用中，后台会根据流量和威胁告警日志进行一定的数据融合算法合并起来，结合特定攻击IP，分析所有的事件活动，结合所有告警日志分析其攻击路径图，关联身份归属地信息，前端清晰展示其攻击路径、攻击者区域分布及提供可配置处理项，最终基于某些攻击痕迹，结合流量和告警日志进行追踪分析，还原整个攻击场景，发现未知威胁。后台定时会启动任务，从原子事件表对事件进行抽取、过滤和识别，判断攻击IP，记录与IP关联的事件活动，关联获取攻击者IP解析定位信息，记录资产信息等进行呈现。攻击者画像原理如图3所示。2.4算法启动核数、高效运行互联网威胁分析系统利用机器学习算法，通过监控网络流量、连接和对象，找出恶意的行为迹象，尤其是失陷后的痕迹。DNS隐蔽信道：DNSTunnel.ini文件可以配置引擎中DNS隐蔽信道检测模块的输入输出数据、job使用的核数、内存数、处理数据的时间窗口以及读取kafka的速率。DGA僵尸网络：dgaCC.ini文件可以配置算法是否启动开关（ifenable）、输入的库和表（db、table）、输出的kafkaTopic以及算法启动sparkjob时使用的核数和内存数。Webshell事件：webshell.ini文件可以配置算法是否启动开关（ifenable）、输入的库和表（db、table）、输出的kafkaTopic以及算法启动sparkjob时使用的核数和内存数。蠕虫传播：engine.ini文件可以配置算法是否启动开关（ifenable）、算法启动sparkjob时使用的核数和内存数。engine.xml可以配置算法的输入和输出（topic