基于大数据的电力安全监测系统设计与研究

00引言电力行业作为关系国计民生的重要基础行业，也是技术、资金密集型行业，在注重信息化建设的同时，对网络安全工作也历来高度重视。2010年“震网”(stuxnet)病毒的爆发，让全球再一次明白，工业控制系统已成为黑客的主要目标。随后，“毒区”(duqu)和“火焰”(flame)病毒相继出现，与“震网”共同形成“网络战”攻击群。2014年，功能更为强大的Havex以不同工业领域为目标进行攻击，至2016年已发展到88个变种。2015年底发生的乌克兰大面积停电事件，又一次为电力监控系统网络安全拉响警报。这些事例说明电力监控系统所面临的安全风险日益增大，直接威胁到电力系统的安全稳定运行和电力可靠供应。针对工业网络的攻击，更多体现在敌对势力或者是一种国家意志的行为，从APT到网络空间战，组合式的攻击方式和以破坏基础设施为目的的攻击方式，已经成为工业网络面临的主要威胁。鉴于电力行业的核心地位，国务院、工信部以及南方电网等国家、行业监管部门，已经在不同的场合下多次强调了工业控制系统网络安全的重要性，并且已经开始对工业系统网络安全进行检查和研究。基于工业控制系统自身对实时性、稳定性以及兼容性的要求，技术人员无法直接在生产环境进行攻防验证。鉴于上述情况，搭建基于大数据的电力安全监测系统，在模拟环境中进行工业控制系统漏洞挖掘、网络协议分析、渗透测试以及威胁评估等试验和研究，以检验电力工业控制系统网络防护能力。从技术上讲，安全事件监视和态势评估可以综合分析各个方面的安全要素，从整体上动态反映网络的安全状况，评估的结果具有综合性、多角度性和多粒度性等特点。通过安全事件监视和态势评估，可以准确了解自身的网络和各种应用系统以及管理制度规范的安全现状，从而明晰安全需求。通过确定主要安全风险，并选择规避、降低、转移以及接受等风险处置措施，然后有依据地制定网络和系统的安全策略和安全解决方案，从而指导信息系统安全技术体系与安全管理制度的建设。01基于大数据的电力安全监测系统建设1.1建设目标在原有自动化防护能力基础上，利用大数据分析技术对系统运行状况、网络流量进行漏洞挖掘、协议分析和威胁评估，并依靠人工智能和神经元算法对系统现状做出科学评价形成深度学习模型，动态识别系统的风险点和威胁情况，建立预测预警,有针对性地改善安全体系，最终达到有效监测、防御新型攻击威胁的目的。1.2建设方案基于大数据的电力安全监测系统采用开放平台架构设计，遵循业界通行的应用接口和管理接口，实现了模块化装配和灵活性部署，系统架构如图1所示。图1基于大数据的电力安全监测系统系统架构感知层：平台支持多种数据源的接入，包括工控设备、物联网设备(包括各类传感器、摄像头等)和第三方数据接口接入等的海量数据信息。接入层：平台支持各类电力行业工业控制系统的数据接人包括变电站自动化系统、微机保护系统、电力调度自动化系统和SCADA系统等数据信息。大数据层：将采集的海量异构数据进行实时和离线分析，采用数据预处理、分布式存储、关联分析、机器学习、统计分析以及数据挖掘等多种大数据分析手段实现对异常、事件、资产的检测与追踪溯源。监测层：将大数据识别分析的数据，通过平台搭建的大数据模型进行综合分析与评估，进而实现对电力行业各系统的合规检查监管、量化安全威胁和风险、发现电网系统中潜在漏洞和隐患、攻击源、预测未知攻击及报警/预警等功能。展现层：提供人机交互界面，向安全管理人员呈现全方位工控及物联网等安全态势。02平台功能设计基于大数据的电力安全监测系统，通过漏洞挖掘、协议分析、渗透测试以及威胁评估等技术手段,实现对系统安全状况的评估和风险识别。一是工控网络漏洞挖掘。采取端口扫描、模块特征探测以及漏洞库指纹匹配等手段，快速定位目标网络服务系统潜在的脆弱点，形成漏洞分析结果。二是工控网络协议漏洞分析。构建可扩展的网络协议漏洞分析平台，对已知协议和未知协议开展远程模糊测试，挖掘网络应用服务协议漏洞。三是脆弱点识别。综合利用静态扫描、逆向还原以及模糊测试等手段对目标系统进行深度剖析，定位系统漏洞脆弱点。四是威胁评估。以资产为主线，通过流量分析综合漏洞挖掘、协议漏洞分析以及渗透测试结果，准确识别电力监控系统安全风险。五是监测结果融合展示。对检测引擎检测结果进行多维度、多层次展示，并支持结果信息去重、融合与关联分析,以直观生动的方式呈现结果。整个平台包了5个子系统，即漏洞挖掘系统、工控协议漏洞分析系统、脆弱点分析系统、威胁评估系统和监测结果呈现系统。2.1漏洞挖掘系统漏洞挖掘检测系统提供了最完整的工控安全漏洞库和设备库、最丰富全面的工控协议测试用例库以及最先进的模糊测试引擎（覆盖Modbus、IEC104,IEC101,MMS、Profinet、S7、DNP3以及CAN总线等十几种常见工控协议；针对私有未知协议模式提供多种解决方案，如定制开发、培训用户自开发和未知协议智能测试）。通过漏洞库与设备库的关联验证，自定义模糊测试等多种方式发现工控设备中存在的已知安全漏洞和挖掘未知（零日）安全漏洞。抓包重放及专业分析工具精确定位漏洞产生根源，梳理攻击原理，在漏洞挖掘过程中进行数据包捕获，使用漏洞分析工具分析捕获的数据包。根据数据包分析的结果，修改范围和参数后进行针对性测试，直至找到产生漏洞的真正根源，并在此基础上发现潜在漏洞的利用方式和评估漏洞风险等级。根据漏洞根源分析的结果，本平台提供了开发针对该漏洞的攻击套件工具，以测试同类产品是否存在相同漏洞特征，同时也能开发针对性的保护策略，以抵御针对此漏洞的攻击。由漏洞挖掘工具检测出的系统或设备漏洞，可在开发后加入漏洞挖掘工具的漏洞库，也能通过第三方导入的方式不断完善漏洞库，增加系统检测能力。2.2工控协议漏洞分析系统运用模糊测试的原理，构建完整、可扩展的通信协议动态随机分析测试框架，建设通信协议健壮性检测评估系统，通过设计变异测试用例并构造变异报文，检查通信协议实现的缺陷。支持对Ethernet,ARP、IP、ICMP、IGMP、UDP以及TCP等网络协议的检测评估，并研发相应的检测评估工具；支持ModbusTCP/IP、DNP3.0、EtherNet/IP-CIP,FoudationFieldbus,IEC104、IEC61850、MMS、PROFINET以及OPCUA等常用工业控制协议的检测评估，并研发相应的检测评估工具；支持多目标（如文件、网络协议等）、多种协议（如ModbusTCP、DNP3等不同类型的协议）以及多线程（加速测试进度）;研发对未知协议的灵活开放的测评接口，支持私有协议的检测评估。2.3脆弱点分析系统综合利用静态扫描、逆向还原以及模糊测试等手段（包括OWASP、CVE在内的信息化漏洞、工业控制漏洞类型，对被测系统进行静态扫描，将匹配后的结果呈现报告。通过逆向还原发现被测系统组建、架构以及业务逻辑的脆弱点；通过Fuzz技术遍历所有可能的数据对程序进行测试，在测试过程中记录程序执行的状态，筛选出可能出bug的数据并记录，供人继续分析）对应用服务程序文件进行深度剖析，定位应用服务漏洞脆弱点，即在已经获取应用程序全部或部分程序模块的基础上，对应用程序进行脆弱性分析。2.4威胁评估系统威胁评估平台拥有威胁分析、资产分析和流量分析3大功能模块，可以从管理规范和技术要求等方面满足所有工控环境下的风险评估要求。平台支持近70种工控和IT协议，能够安全准确地识别工控网络中的各类工业控制系统、设备、软件以及其他运行中的IT服务器、数据库和网络设备，智能生成网络拓扑，结合专业的工控漏洞库、设备库、病毒特征库和全网威胁评分系统，清晰定义各类设备和整体网络的安全风险，并在评估报告中进行详细的漏洞分析，提供可操作的威胁整改建议，从可视化和专业化的角度帮助用户认识当前工控网络所符合的安全等级和需要整改的部分。主要功能如下。项目向导：通过项目为向导，可以合理清晰地帮助用户构建一个完整的工业现场风险评估项目。威胁分析：威胁评估平台基于国际和国家标准,同时结合行业标准，形成了多套具备严格理论依据的评估标准，如调度系统、智能变电站系统、配网系统以及电厂系统等评估标准和流程。基于标准评估问卷的结果，采用威胁评分算法进行智能评分，最终得出威胁分析的整体评估结果。资产分析：资产分析中资产信息可通过自动设备识别和手动资产录入协同完成，平台将对资产信息进行安全性分析，得出详细的漏洞信息、评分以及相应的安全解决方案。流量分析：针对工业控制网络日新月异的攻击手段和入侵方式，建立完善的特征匹配库，涵盖专门针对工业控制系统的木马、蠕虫、病毒、渗透攻击以及拒绝服务等全面信息，通过在线监测和离线分析的多重手段，对工业控制系统实施流量分析，得出网络中潜在的安全隐患。工业漏洞库：威胁评估平台中包含行业领先的工业控制设备漏洞库，涵盖了各大主流工控设备生产厂商的设备和协议，囊括了已经公布的漏洞和由网络测试产品所挖掘到的设备和协议未知漏洞。威胁评分：威胁评分系统将引入强大的智能威胁分析引擎，支持全方位的智能评分，包括管理制度、业务流程、网络结构、资产信息和通信数据等。报告系统：威胁评估平台基于风险评估的流程进行设计，自动生成报告模板。2.5脆弱点分析系统以资产为主线利用大数据分析技术，对漏洞信息和威胁信息进行数据处理和关联分析，对安全威胁进行综合分析呈现、告警和威胁态势，展示截图如图2、图3所示。图2基于大数据的电力安全监测系统展示状况一图3基于大数据的电力安全监测系统展示状况二平台通过采用分布式网络空间设备探测技术、多维度的工控协议识别等，实现自动釆集、识别工业控制系统的漏洞与潜在威胁的能力。平台通过大数据建模分析与核心知识库进行风险评估、态势感知，预防设备潜在风险的发生。平台能够随数据以及应用压力增长自动实现弹性伸缩，同时可以满足未来跨数据中心进行数据存储与分析计算。平台能够感知工控联网设备的安全态势，精确定位全网脆弱节点并进行威胁评估。03核心技术研究本文研究的核心技术包括大数据技术、数据融合技术、威胁数据融合技术和流量包威胁检测技术。3.1大数据技术大数据技术是支撑系统高效运行的前提，是关联分析、挖掘脆弱点以及发现识别隐藏漏洞的关键。大数据技术是使用一系列非传统工具对海量结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理和分析技术。从数据分析流程的角度，可以把大数据技术分为以下几个层面。数据采集与预处理：利用ETL工具将分布的异构数据中的数据，如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换和集成，最后加载到数据仓库或者数据集市中，成为联机分析处理和数据挖掘的基础；可以利用日志采集工具把实时釆集的数据作为流计算系统的输入，进行实时处理分析。数据存储与管理：利用分布式文件系统、数据仓库、关系数据库和NoSQL数据库等，实现对结构化数据和非结构化数据的处理和分析。数据处理与分析：利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析。数据可视化呈现：采用可视化工具，对数据分析结果进行可视化呈现，帮助用户更好地理解数据和分析数据。3.2数据融合数据融合技术能有效融合所获得的多源数据，充分利用其冗余性和互补性，在多个数据源之间进行取长补短，从而为漏洞挖掘与分析系统的识别、挖掘以及验证漏洞做保障，以便更准确地识别、挖掘、分析和验证漏洞信息，也是检测结果数据提取精确呈现的核心技术。3.2.1数据融合的层次分类数据融合作为多级别、多层次的数据处理，经过对原始数据的融合操作，使得通过数据分析而得的结论更加准确与可靠。系统采取数据融合技术贯穿数据级融合、特征级融合和决策级融合。在整个系统架构上是贯穿数据采集层、漏洞挖掘与分析层和结果呈现层，既减轻了存储的压力，又提高了测效果。3.2.2数据融合关键算法系统除了采用基于模型和基于概率的方法（如加权平均法、卡尔曼滤波法、贝叶斯推理、小波分析以及经典概率等），还融入了现代方法，如逻辑推理和机器学习的人工智能方法（如聚类分析法、粗糙集、模糊理论以及进化法等）。3.3海量数据内容识别与威胁检测3.3.1基于端口的识别方法大部分网络应用的常用传输层端口号是固定的，因此根据端口号识别网络应用是最简单的一类方法。IANA主要将端口划分为3类。（1）熟知端口号。端口号的范围是0~1023,该类端口由IANA进行统一分配。（2）注册端口号。端口号的范围是1024~49151,主机中的用户级进程可以随意使用这些端口号进行数据传输。（3）动态端口号。端口号的范围是49152-65535,IANA没有对这类端口进行分配，网络应用可以任意使用这类端口。由于通过端口号解析的方法识别速度快、开销小，因而获得了广泛应用。但是，这种方法的识别准确率不高，因为很多应用软件使用随即生成的端口进行通信，不容易进行识别。相关研究表明，通过IANA分配的端口号对网络流量进行识别，有近约31%的字节流量（29%的数据包）不能被准确识别出来。3.3.2流量统计特征识别基于流量统计特征的识别方法利用计算机网络协议规范的差异导致的流量属性的不同识别网络协议。Moore等人首先对已经打好标签的网络流量数据集进行学习，然后按照高斯分布的特性对网络流量属性进行综合评估。首先根据网络流量特性对数据包到达时间间隔、数据包平均长度和数据包持续时间等进行特征选择，其次使用EM算法计算每个数据包属于某一类的类别概率。该种方法适合在训练数据集不足的情况下对网络流量进行模糊聚类。给出一个流量分类器框架，分类过程由基于统计特性的机器学习完成，并在此基础上给出一种特征选择方法，有利于降低分类的复杂度，提高分类精度。通过对多种聚类算法进行比较，评估各种聚类算法在计算机网络流量分类中的性能。3.3.3基于DPI的流量分析技术基于DPI流量检测技术，可以利用数据报文中的“指纹”（如特定端口、特定的字符或特定的位序列）信息的检测确定所承载业务的应用状况和实现对新协议的检测，可以基于对攻击者已经实施的行为分析判断攻击者正在进行的动作或即将实施的动作。3.3.4基于DFI的流量分析技术DFI是DPI在持续改善中衍生出来的检测技术,可用于网络安全数据采集和检测。DFI主要分为3部分：流特征选择、流特征提取和分类器分析。在深度流检测中，对会话流进行识别，提取流特征，然后