浅析大数据技术在公共信息安全领域的应用与发展趋势

00引言伴随着社会经济和科学技术的高速发展，我国已迈入信息化时代，“大数据”也从一个概念性词汇转化为对经济社会各领域具有渗透性影响的事物，给各行各业带来了诸多的变革动力和商业价值，例如淘宝、京东、支付宝、滴滴打车、新浪微博这些建立在大数据技术基础之上的应用软件给人们生活带来便利的同时也给商业带来了巨大的发展契机。但必须注意的是，在信息化与大数据持续发展的今天，伴随互联网发展而生的公共信息安全问题也更加突出，越来越多的高价值、敏感的文件资料依托网络进行传播，一旦计算机网络出现安全问题造成数据泄露，将会对用户和企业带来严重的经济损失，甚至会对公共利益和国家安全带来重大打击，造成难以估量的损失。因此，如何将大数据技术应用到公共信息安全维护当中，让信息存储、应用和传输更加安全可靠、助力企业增值增效成为大数据发展需要面临的重点问题。01大数据时代下的公共信息安全现状1.1大数据时代信息安全存在的隐患大数据在造福人类的同时，由于不法分子的利用也会对社会和人民的利益造成损害。随着互联网的发展，网络攻击的种类和数量呈现爆发式增长，特别是在大数据时代，由于网络攻击，隐私数据丢失、情报线索泄密、网络设备故障等危害公共信息安全的事件频发，进而导致网络诈骗、黑客攻击、网络盗窃等犯罪事件层出不穷。在科技信息技术不断发展的状态下，网络攻击的手段种类和作案方式越来越多元化、高级化，预防网络入侵也变得更加困难。在互联网乃至物联网时代，信息安全系统更新速度越来越快，信息安全成为公众最为关注的问题之一，传统的信息安全思路已无法保障大数据时代的信息安全。因此将大数据技术引入信息安全防护领域，推动网络信息安全的稳定性与可靠性，让数据更加安全，助力企业经营决策，为企业发展增值增效。1.2大数据时代公共信息安全获得的机遇在大数据时代，维护公共信息安全的技术、工具得以快速发展，让公共信息安全的监管更为精细、高效和及时。与传统数据信息存储模式不同，大数据技术实现了一个具有流动性、信息共享与连接互动的数据资源池构建，有助于数据在全球范围内的实时共享，推动数据信息的及时共享实现企业的高效运营。除了大数据的存储和传输技术，大数据挖掘和应用技术也带动了传统商业模式的变革。以往大数据的关注重点主要是数据的存储和传输，如今大数据的挖掘应用成为重点关注领域。将大数据挖掘技术应用到企业发展领域，不仅能直接为企业带来经济效益，也能推动企业发展变革，增强企业在市场上的竞争力。在日益严峻的网络安全态势下，维护公共信息安全的技术工具迫切需要得到改善升级。大数据技术的发展为维护公共信息安全提供了巨大的升级空间和发展可能性，在此背景下，利用大数据技术构建公共信息安全防御体系、防范网络安全攻击显得尤为迫在眉睫。02大数据技术概述麦肯锡全球研究所将“大数据”定义为：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。从数据本身看，大数据是利用传统数据库软件无法满足该大小数据处理分析需求的数据集合；从技术角度看，大数据技术是利用非常规工具对各种结构的数据进行采集、挖掘、分析和预测的大数据处理技术；从应用角度看，大数据是对业务领域的数据进行采集、集合运算、分析调用和集成应用，获得有价值信息的应用。多种技术组合共同构成了大数据技术，包括数据采集、存储管理、分析挖掘、可视化等多个过程技术。03大数据下公共信息安全的防御体系在大数据环境下，频发的网络攻击事件对公共信息安全造成了严重危害，隐私数据泄露、情报数据泄密、网络设备故障等问题相继出现，甚至引发了网络诈骗、网络盗窃等，维护公共信息安全的任务已经迫在眉睫。因此，本文构建适应于公共信息安全数据在信息安全风险精确感知、风险主动防御、态势智能监测和风险信息回溯升级四个方面的应用技术展开介绍，如图1所示，形成覆盖事前、事中和事后的持续监测和防护能力，协助企业判断各种潜在威胁，更好地做出商业决策，力求将大数据在信息安全领域的应用演化为IT商业智能发展趋势中的重要组成部分。图1全生命周期下的公共信息安全防御体系建设3.1信息安全风险精确感知由于信息存储系统存在漏洞、数据安全策略仍需完善、信息处理过程中的流程失误以及各种非法入侵和病毒感染等因素，均会导致当前的信息安全面临各种来自未知渠道的异常行为危险威胁。本文结合大数据采集分析技术、风险指标评估技术和轨迹追踪溯源、可视化技术等，提出如图2所示的信息安全风险感知计算框架，从信息采集、存储、管理和使用等多个视角，多维度精准感知信息安全风险，逐步提升异常行为精准管控能力，助力企业及时采取安全保障措施和进行科学商业决策，避免产生信息泄露风险和经济损失。图2信息安全风险感知计算框架（1）异常行为数据采集分析网络异常行为数据的获取主要是在分布式架构的系统上组件HBase集群，使用专门的设备进行采集，这种方式有助于获取稳定的数据传输和进行可靠的计算。在采集的数据存在大量冗余且数据之间关联性模糊时，可采用归一化、数据降维等算法对数据进行标准化处理，协助发现数据之间的隐含特征和关联关系。同时利用常用的大数据挖掘算法（贝叶斯、神经网络、关系网络等）挖掘数据之间的关联关系，该方法可在不需要任何先验知识的情况下提高异常检测效率，可协助管理人员发现异常行为数据之间的关联，提高信息安全风险识别效率和效果。（2）安全风险值计算与等级划分信息安全风险管控主要是对风险范围、风险值大小、影响程度等进行管控。因此提出一种信息资产安全风险值计算法，定性与定量相结合进行统计计算安全事件发生的可能性、损失度和风险值，并对风险值对应的风险程度进行风险等级划分，依据正比关系确定网络威胁出现频率。本方法作为信息系统安全风险评估的方法尝试，其结果能够反映信息系统资产当前风险状况，协助管理人员较快识别出信息系统存在的风险点。（3）风险实时定位和智能感知在信息存储系统中，采用全文检索方式，基于索引复制技术提高索引查询可靠性，基于索引分片与假设推理模型提高信息查询的及时响应能力，灵活展示检索结果。采用GIS快速定位和UML时序场景分析技术，实时定位信息安全风险发生位置以及系统存在的漏洞位置。信息风险智能感知是对影响信息安全的诸多要素进行获取、理解、评估及预测未来的发展趋势，是对信息安全定量分析的一种精细度量手段。在风险智能感知的各个阶段，可采用数据融合、循环对抗与假设推理模型进行风险的感知、理解与预测。（4）异常风险的可视化与动态交互为了实现异常信息风险的可视化动态展示和实时交互，直观展示信息安全态势和了解信息安全状况，以及为风险阻断和策略制定提供辅助，在异常风险可视化展示过程中，充分运用大数据分析和可视化展示技术，利用信息安全风险评估技术与网络环境下的风险融合技术，研究网络环境下的信息安全风险态势可视化。研究基于缩放设置、视点控制、视觉焦点、上下文调整、动态查找、关联更新等交互技术，实现异常风险可视化大屏的动态交互管理；研究基于图形化的气泡图、轨迹图、地形图的映射追踪技术应用于异常风险特征、系统风险漏洞和安全保护措施等方面之间的映射关系发现；研究基于层次关系的树形图、维嵌套技术等应用于异常信息风险主动发现、响应和处置过程的层次化管理。3.2信息安全风险主动防御随着科学技术的发展，网络黑客的非法攻击和入侵手段越来越趋向高级化、隐蔽化、精细化、定制化，其危害性也非常大，严重损害经济发展和破坏社会稳定。如果能够建立如图3所示的大数据在风险主动防御上的应用框架，通过实时跟踪网上数据来检测各种类型的非法入侵活动，提前采取主动防御措施，对黑客实施的攻击进行主动识别、报警和响应，能够及时发现潜在的威胁，提供安全分析与趋势预测，加强应对信息安全威胁的处理能力，达到对网络攻击进行提前预警和精准防控的效果。图3大数据在风险主动防御上的应用框架（1）网络异常攻击行为检测一般来说，网络设备故障、流量异常突变、可疑访问行为等都属于网络异常行为，不同程度上危害着公共信息安全。网络异常行为攻击检测主要是通过建立网络异常行为检测模型以检测发现网络中偏离正常行为模式的行为和违背规则制度的行为。大数据技术为异常行为检测的精确性、及时性和自动化性能提供了保障，例如利用数据采集引擎可实现海量网络日志与行为等数据的实时采集，采用统计分析和机器学习等方法可自动进行异常行为建模与检测，利用深度学习技术可自动准确提炼异常行为数据特征等，极大地降低了对人工操作的依赖程度。（2）信息安全威胁协同检测由于现在的信息安全威胁技术越来越复杂、高级且呈现低频率特征，导致现有利用机器学习与深度学习技术建立的信息安全威胁检测模型无法获得足够的数据样本进行学习训练与特征提取，因此提出信息安全威胁协同检测技术，提炼信息安全威胁情报中的多维度信息，结合每个维度的信息结构和含义，实现海量多源易购数据的关联和融合，并在此基础上构建信息安全威胁行为聚类模型，将与实际威胁具有较高相似程度的威胁行为进行推荐，该方法的应用使得网络威胁检测准确度和及时性得到极大提高。（3）信息安全实时审计追踪网络审计追踪主要是由网络安全管理员来记录和分析由于网络设备、操作系统和用户活动中所产生的信息安全事件，从而协助及时发现网络中存在的安全隐患问题。由于传统审计追踪技术通常是在离线状态下进行，且技术更新较慢，无法满足当前安全防护需要，因此考虑用大数据技术协助进行追踪检测。通过搜集用户历史行为数据进行建模分析，可实现用户对系统使用情况、使用行为和使用特征的实时智能监测，并且在观测到异常行为数据时，能够发起报警并保持跟踪监测状态。（4）复杂网络威胁精准预测复杂网络威胁通常指由多个单独威胁组合成系统威胁的过程，这些威胁之间存在选择关系、依赖关系和并列关系，预测复杂网络威胁具有非常大的挑战。在网络威胁态势日益严峻且更加隐蔽、难以监测的背景之下，迫切需要使用更加精确、高效的方法来预测复杂网络威胁。依托于大数据和云计算技术的快速发展，获取和存储来自不同领域与不同类型的大量网络威胁信息，基于机器学习、关系网络、NLP等技术，结合网络协议反向分析和数据流处理技术，联合分析各类威胁行为、威胁情报、告警信息等，提高对未来网络威胁的精准预测率。3.3信息安全态势智能监测信息安全态势感知是当前保护关键信息基础设施和重要信息系统的重要手段和重点发展方向，促进网络安全维护由“被动修护”向“主动防御”变革。信息安全态势感知主要是从网络设备、操作系统、安全设备等机器设备中采集各类网络安全事件数据及关联数据，例如安全日志、监控报警、网络流量、威胁情报等，通过处理、挖掘、可视化，评估当前网络信息安全状态、主要威胁并预测发展趋势，为网络信息安全的防护提供指导和决策意见。（1）海量多源异构数据汇聚融合在多种网络安全设备和应用系统中会产生多种不同类型的流量数据、日志数据等，这些数据一般缺乏统一的数据处理标准，数据之间的孤立特性导致挖掘数据之间的关联性和价值存在一定的困难。海量多源异构数据的关联融合是信息安全态势感知的基础，通过对PB量级数据的采集汇聚、深度融合与格式化存储管理，并采用关系拓展、群体聚类等大数据技术挖掘数据间的关联特性和潜在价值，为网络安全分析、态势感知与决策提供灵活可靠、高效稳定的数据支撑。（2）多类型信息安全威胁评估多类型信息安全威胁评估主要是对网络中的流量、代码、报文、域名等进行多层次检测评估，挖掘各种网络威胁和异常攻击行为。大数据一方面提供可用于协助精确评估各种威胁的方法技术，例如利用关联分析、聚类分析法协助发现其它类型的关联网络威胁，通过相关性检验补充各类网络威胁源，并基于对历史数据的统计建模实现对未知威胁和漏洞的检测。另一方面，大数据可支持构建网络安全态势画像，在准确评估当前安全态势的同时全面刻画各种网络攻击者的身份、行为、意图信息等，协助进行各种网络攻击事件的追踪溯源。（3）安全态势评估与决策支撑以保障网络信息数据的安全稳定为目标，采集融合各类网络威胁情报和攻击事件等安全数据信息来为网络安全态势评估与决策服务。为了挖掘信息安全事件之间的关联关系，在全网信息安全数据融合后采用知识图谱技术构建人—物—地—事—关系的多维网络安全态势图谱：以“人”的视角分析网络攻击者的真实身份、行为意图、心理特征与团伙关系等；以“物”的视角分析网络攻击的主要过程、工具、被攻击目标等；以“地”的视角挖掘攻击者的行踪轨迹、活动区域等；以“事”的视角分析攻击事件、事件类型、事件状态等；基于“关系”的角度评估攻击事件之间的相似关系、同源关系等。（4）信息安全态势可视化信息安全态势可视化主要分为安全数据与安全态势可视化，主要通过态势感知图来体现。态势可视化主要包括数据变换、图像映射、视图优化：数据变换主要将信息安全数据进行处理后存储于数据表中，基于数据之间的相关性存储数据关系表；图像映射将数据表转换为对应图像的结构和属性；视图优化通过调整图像的像素大小、颜色类型、坐标位置等图像参数设置来优化视图，最终形成信息安全态势可视化展示图，如图4所示。图4公共信息安全可视化监测展示3.4安全风险信息回溯升级信息安全风险行为路径溯源指通过网络中信息安全事件的特征还原攻击手法并最终追溯出攻击者的过程，其目的在于回溯攻击者和彻查薄弱点。攻击溯源主要分为过程溯源和网路溯源两部分。过程溯源最后输出的结果是攻击的整体步骤，用于展现主要攻击过程以及攻击者是谁、目的是什么。网络溯源最后输出的结果是网络拓扑图，用于展现攻击手段和攻击工具。基于足够、完善的安全事件告警输出数据可实现信息安全风险的攻击溯源，攻击者的社会属性和地理位置则依赖于异常行为信息的提取和挖掘。（1）网络攻击推演网络攻击推演主要为网络攻击场景构建和攻击过程的推演，包括形式化的描述刻画网络攻击事件的推演过程，挖掘攻击元素与被攻击元素的相关关系，研究不同攻击因子下受害因子的状态变化等。基于大数据技术进行单一攻击事件与多个攻击事件的过程推演模拟，有助于为未来应对各类攻击事件威胁提供实验数据、基础策略等支撑服务，更好地净化互联网环境。（2）网络拓扑还原与挖掘网络拓扑还原技术可在网络安全监控和流量分析中得到广泛应用，既能够实现对网络现状的清晰还原，也能支持配置分析、远程扫描、流量分析、事件分析等多种方式实现未知资产发现与核查等能力。网络拓扑还原技术可实现在已知若干端系统节点的情况下，还原出对网络全部节点和链路信息。在复杂、规模庞大的网络中实时准确测量信息系统的性能，可结合大数据技术进行网络性能测量，进一步挖掘出网络行为规律，以实现网络异常检测与分析，同时可协助进行信息系统的安全运营管理，维护信息系统安全。（3）异常行为攻击溯源根据异常行为在各时期的不同特征制定不同的异常行为攻击路径溯源算法，攻击区域可划分为攻击者、攻击来源、内部薄弱点和攻击目标，这些区域可分别依靠异常行为锁定攻击者、递归进行内外网分类筛选攻击来源、递归进行攻击范围和攻击类型内部薄弱点、人工或通过资产健康度等系统发现攻击目标。（4）信息安全防护体系升级信息安全防护体系的升级有助于极大地减少网络攻击的类型和数量，并减少各种网络攻击的活动时间和活动范围。大数据技术对信息安全防护体系的升级具有非常重要的意义，例如可基于对内外部异常行为信息的挖掘分析各类风险事件之间的关联关系和共性特征，实现安全防护系统的风险自动预警与异常告警；基于战略类、战术类信息内容确定产生风险的可能性、防御必要性及防护影响，形成检测类、监测类和防护类等安全设备自动化升级规则。04公共信息安全的未来发展趋势目前，在基础理念、技术研究和产品开发等方面，公共信息安全已经取得了卓越的进步。从信息安全所涉及的大到国家、小到个人，无论是政治、经济、体制还是社会工程等范畴，公共信息安全行业都将是十分具有发展前途的行业，必将为我国社会各行业可持续发展保驾护航。展望未来，新一轮科技革命和产业变革加速演进，复杂严峻的公共信息安全风险和威胁，使得关键基础信息设施和公共信息安全维护面临全新的风险和挑战，为了应对这些风险挑战，大数据技术被综合运用到公共信息安全防护的各个领域当中。4.1人工智能助力公共信息安全新生态“人工智能是引领这一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的‘头雁’效应。”习近平总书记强调，赢得全球科技竞争主动权的重要战略是加快发展新一代人工智能。在AI技术呈现快速升级态势，AI产业也随之爆发，以人工智能为基础的信息安全防护应用已成为我国公共信息安全产业发展的重点方向。由于网络攻击是不断演变的，信息安全防御过程中经常需要面临先前未知类型的恶意攻击。而人工智能技术可凭借其强大的大规模运算能力迅速排查筛选数百万次事件，以便发现各种异常行为、风险和威胁的信号，进行事前预警。特别是在发现和阻止黑客入侵信息系统、预防恶意软件和文件被执行、提高安全运营中心的运营效率，实时网络异常监测、检测恶意移动应用等关键创新领域，成为AI信息安全防护的突破口。4.2IT和OT加速融合加强信息安全防护IT与OT网络的连接促进了工业控制系统发展空间的拓展，但也逐渐爆发出各种信息安全问题。计算机网络技术为信息安全防护提供技术基础，再与管理手段和传统工业技术相结合，通过IT与OT的结合建立全方位信息防御体系，在此方式下制定的信息安全解决方案是符合实际且较为适宜的。当前企业一般倾向于推进生产执行系统，完成工业控制网络和信息管理网络之间的数据交换与系统集成，实现企业生产管理的高收益与高效率。因此，原本封闭的OT系统利用管理系统与互联网互联互通，互联网侧带来的各类网络攻击风险也随之而来。在此情况下，企业做好信息安全防护，重视IT与OT融合的安全成为重中之重。4.3