流量监测分析系统技术白皮书

目录一、前言4二、以业务应用为中心的监测分析技术52.1需求背景52.2异常流量分析系统简介62.3系统架构与流程72.4系统特点与优势8三、功能103.1核心功能10流量统计分析11异常流量分析12报警与追踪取证13统计报表143.2特色技术15快速流量数据处理技术15先进的流量分析技术17灵活高效的异常分析18及时有效的处理机制18智能的跟踪分析技术193.3产品部署203.4产品技术参数21四、硬件配置参数22五、总结23一、前言业务平安是政府和企业平安需求的核心。在信息化时代，越来越多的政府和企业业务由网络化应用系统承载。我们就不难理解，保障应用系统的平安稳定和高效运行是IT管理部门的主要工作内容和目标。随着信息化工作的推进，越来越多的应用系统交叉部署于网络。从关键应用〔如PKI、根底资源库综合查询等〕、一般应用〔如OA系统等〕到未批准的应用〔如网络游戏、P2P程序〕。未批准的应用对网络、效劳器等根底设施资源的非受控使用导致网络系统鱼龙混杂、性能难以提高、资源浪费严重；并导致关键应用系统对根底设施的使用权被侵占，系统运行的稳定性和高效性难以保障，甚至故障频发。随着网络规模的扩大和复杂化，网络行为越来越复杂且不易控制。对应用系统的网络访问操作的合规性难以得到保障，窃取、破坏数据等攻击行为难以被检测和发现。政府和企业的业务平安受到严重威胁。为保障应用系统的平安、稳定和高效运行，IT管理部门需要监测各个应用系统流量和网络行为，准确把握各应用系统的底层网络状况和内部运行情况，进而评估应用系统的健康状况。当异常发生时，还需要进行追踪审计、报警处理、联动阻断等进一步的操作。“异常流量监测分析系统”正是根据这些需求而设计。二、以业务应用为中心的监测分析技术2.1需求背景应用系统是信息化时代政府和企业核心业务赖以开展的根底。网络根底设施、软硬件根底设施和平安根底设施都是为应用系统效劳的。为了平安、稳定和高效地运行应用系统，IT管理部门也采取了各种管理手段，并投入了大量的运维工作。防火墙、防病毒、入侵检测等平安产品作为传统平安根底设施的主要组成局部，提供了网络边界的访问控制、病毒木马的查杀和一般性网络攻击行为的防范等功能，主要起到保障网络和软硬件根底设施的作用。但是，要保障应用系统平安稳定运行，必须针对具体应用进行平安配置，对特定应用系统的网络访问操作进行特定监测分析和合规性检查。这种超越网络层平安和物理层平安，面向应用的可定制化平安措施是保障业务应用平安的重要手段，也是目前的平安根底设施难以到达的层面。网管软件和流量分析管理软件专注于网络根底设施的运行状况。如通信线路的连通性、节点流量情况、以及各类协议在流量中的分布等。而IT管理部门关心的重点在于：哪些流量属于哪些应用系统、哪些协议在哪个应用系统中使用、以及注册运行的应用系统在总带宽中占有多少比例、哪些带宽被未注册或不合规的流量占用等。这些正是传统网管系统和流量分析管理系统难以做到。在带宽和流量方面，IT管理部门还希望掌握各个应用系统流量的时间分布、节点分布等信息。入侵检测和入侵防范技术是根据通用策略库对网络上的数据模式和行为模式进行实时检测和报警的。其策略库不针对应用系统，因此难以检测网络上对应用系统的各种网络访问操作的合规性。例如，针对数据库的UPDATETABLE操作在IDS/IPS看来是正常的，但是对于某些应用系统来说，数据库特定表的更新操作是不合规的，这也是IDS/IPS不能保障应用平安的实例。IT管理部门希望根据各应用系统的特点，对以应用系统为目标的网络访问操作行为进行合规性检查，来确保应用系统及其关键数据的平安。2.2异常流量分析系统简介“异常流量监测分析系统”作为平安根底设施的进一步延伸和扩展，以应用系统为核心，监测和管理信息化根底设施资源〔如网络带宽〕的使用分配、流量分布与变化、网络访问操作的合规性，日益显现其直接保障业务应用平安的重要作用。具体来讲，“异常流量监测与分析系统”主要起到以下作用：保障应用系统的带宽使用。监测带宽等资源使用的合规性，区分流量带宽中的注册流量和非注册流量。通过流量识别，以各应用系统流量特征为依据对流量信息进行分类归并，使流量带宽情况一目了然。具体包括：网络进出流量带宽中，注册的应用系统占了多少带宽？各个应用系统的带宽分别是多少？随时间变化规律如何？被违规使用的带宽占多少？是被谁使用的？等对应用系统所属流量数据的细节信息进行持续性统计和比照分析，描绘出各应用系统的正常流量轮廓，快速发现流量异常变化情况。具体包括：每个应用系统的流量细节如何？连接数、吞吐量、连接时间等按客户端节点排名情况如何？每个应用系统流量的协议分布、节点分布、时间分布如何？等对应用系统的网络访问行为进行针对性监测，及时发现网络中的异常访问操作和攻击行为，确保针对应用系统的网络使用和访问操作的合规性。如针对数据库管理系统〔SQLSERVER、Oracle、MySQL、SYBASE〕的各种SQL语句和关键数据表名、邮件发送及接收、WEB访问、文件传输等操作进行检测。追踪和审计异常网络行为，提供报警处理、报表等功能，通过联动对网络异常行为进行阻断等进一步处理。如异常数据操作的时间、节点位置、负责人等情况的追踪和报警，当月某应用系统的总体运行情况报告和健康状况评估报告等通过这些功能，IT管理部门能够准确把握各应用系统的底层网络状况和内部运行情况，对应用平安稳定运行可以做到心中有数，并可根据掌握的情况对应用系统的底层网络和内部结构进行优化，提高运行效率，最终到达保障应用系统的平安、稳定和高效运行的目标。2.3系统架构与流程异常流量监测分析系统采用监听方式从网络的中心节点收集流量信息，对各网络设备和节点的流量信息和网络行为进行持续性统计和比照分析，快速发现流量中的吞吐量和连接数等的异常变化、网络行为中的异常访问操作和攻击操作，可追踪异常网络行为、进行平安审计，同时为管理员提供报警和处理功能，并可通过联动对网络异常行为进行阻断等进一步处理。系统架构如下图：异常流量监测分析系统通过“设置、报警、追踪、取证、处理”五个步骤完成从一个异常的发现到异常的处理完毕工作。其中，首先设置“关注主机”以及与之对应的基于业务应用的策略，根据策略当有异常流量发生时就会“报警”，系统将引起“报警”的设备称之为“嫌疑主机”，然后对“嫌疑主机”通过“追踪取证”的工作，最终确定“嫌疑主机”引起异常情况的事实。这里“主机”的概念是一台拥有IP地址的设备。具体工作流程如下列图示所示：2.4系统特点与优势由于采用了以业务应用为核心的设计方法，相对于通用型的传统网络平安产品，异常流量监测分析系统具备针对应用进行平安配置、保障应用平安的特点。具体来说：传统的平安产品采用通用性设计，可以保证网络的根底平安，无法针对具体业务操作配置平安措施。的不同点在于，可以针对应用系统特点进行针对性配置，如对指定数据的指定操作行为进行记录、报警IDS/IPS基于特征的检测系统是依靠人为的预先设定报警规那么和不间断的对样本的升级来实现的，其样本库是通用的，难以针对特定应用系统的特点而设置。可以在部署的第一步即根据用户实际运行的应用系统进行针对性配置，帮助管理人员及时了解到网络的正常流量状况、应用系统的正常工作状态，并通过比照监测到网络中的异常流量和攻击行为，及其导致的应用系统异常等传统的平安设备运行规那么可以简单理解为“是”或者“否”，例如典型的防火墙判断并发连接数规那么是“上限1000”，高于1000的连接就是非法的连接。无法对在这之间异常变化的情况做出记录或判断。可以持续跟踪网络的连接、流量，对网络的连接数、流量数量阶跃进行智能判断。如某个时刻连接数突然从平均值50跃升至900，这种异常情况将被迅速监测到。采用异常流量监测分析系统，用户可以在以下方面获得收益：准确掌握网络运行概况、流量分布与变化、带宽使用情况等，定位网络瓶颈，优化网络使用，为带宽升级和网络规划提供可靠依据。各应用系统的流量轮廓，包括参与节点、协议、连接数、连接时间、吞吐量等，并通过比照分析评估应用系统的健康状况。针对应用系统定义其敏感的网络访问操作行为，并进行监测分析，迅速定位应用系统故障原因和引发故障的源节点，及时解决应用系统运行故障。对可疑网络节点的行为进行审计追踪，便于事后取证和分析。总之，通过异常流量监测分析系统，用户可以提高网络运行效率，保障关键业务系统和关键数据的平安性，迅速解决应用系统的运行故障并极大降低故障率，延长平均无故障时间间隔。三、功能3.1核心功能异常流量监测分析系统便于管理员了解网络运行状况、关键效劳器的访问情况、网络异常情况等，是网络规划、网络管理和平安运营等工作的重要工具。功能包括：持续性的流量统计与比照分析持续统计并保存全网流量、最高流量、平均流量等。根据需要查看当前和历史统计数据。应用系统流量监测可针对关键应用系统进行流量重点监测。包括流量累计、流量阶跃、连接数、连接持续时间和访问数五大类监测工程。如流量阶跃监测，当被监测对象本周期内的流量到达上一周期的指定百分比时系统自动产生一个报警。应用系统网络行为监测针对关键应用系统进行网络行为重点监测。包括数据库操作行为监测和指定协议操作行为监测两大类。数据库操作行为监测可对带有指定关键字的指定数据库类型的指定操作进行监测，并在指定时间内该行为重复指定次数后进行报警。指定协议操作行为监测可对指定协议的带有指定关键字的操作行为进行监测，并在指定时间内该行为重复指定次数后进行报警。异常行为追踪审计针对可疑或异常的网络行为，系统可以对其进行解析、重现和记录，形成平安审计，供取证和备查。可记录并重现数据库访问、邮件发送接收、文件传输以及WEB访问等网络行为。报警和处理针对异常流量和异常网络行为，系统可产生报警，并提供报警的审核、归类、处理和记录工具。紧急情况下的报警，系统可以通过邮件和短信实时发送给管理员。网络攻击检测防范和联动处理通过扩展入侵监测模块，系统可以根据策略库对网络上的数据模式和行为模式进行实时报警，起到IDS的作用；通过与根底信息库和“终端管理系统”等联动处理，可以进行节点定位、连接阻断、控制可疑主机等高级功能。3.1.1流量统计分析系统可对监听到的数据流量进行统计分析。统计分析内容包括全网数据的流量总和，可按最高、最低和平均流量进行分析，或按历史流量、IP流量、非IP流量等进行分析，并且以实时动态的饼图或柱状图或趋势图形式进行展现，还可按网络播送、多播、单播和总数据包的形式进行分析。对流量统计分析出某台设备或主机使用的是传输层或应用层的具体什么协议，发送和接收的数据流量。两个通信设备使用什么协议、在什么端口通信、发起和结束会话的时间点、在这一时间内传输的数据流量大小、最近24小时所有主机或设备数据流量总和、最近1小时活泼主机通信的起始时间、发送和接收数据包的总和、发送和接收的数据流量等详细信息。通过详实的流量分析结果、多样的分析形式、实时动态的展示方式，有效的帮助用户对整个网络的运行状态进行准确的把握。3.1.2异常流量分析系统帮助用户制定主机策略和应用策略，实现什么是网络异常流量的自定义，并对其进行分析。用户可将网络对象可分成“关注主机”、“嫌疑主机”、“追踪主机”、“可信主机”进行区别处理；对网络行为实施细致的流量及连接策略、数据库策略、端口及关键字策略、以及专门针对“嫌疑主机”的追踪策略。通过策略实施，对应用系统的数据流量累计和、流量阶跃、连接数、访问数、连接时间等进行分析，对ORACLE、MYSQL、SQLSERVER、SYBASE等多种数据库的SELECT、UPDATE、DROP、INSERT以及自定义操作进行分析，对特定应用端口设置关键字策略，如通过此端口传输的敏感字符串进行分析。3.1.3报警与追踪取证通过用户异常流量自定义策略，系统可对异常流量的访问进行密切监测，能对实时触发策略流量的事件提供控制台、短信、邮件等多种报警方式。灵活多样的报警策略，详细的报警信息、多种实用的报警方式，可帮助用户及时发现网络异常情况，快速处理网络故障。根据流量监控或报警信息，发现“嫌疑主机”后，用户可将该“主机”设置为“追踪主机”，通过对“追踪主机”设置追踪策略，追踪类型有WEB访问、文件传输、邮件发送接收、数据库操作等多种形式。通过对“追踪主机”上述应用行为进行实时监控，可详细记录“追踪主机”在访问了具体哪个应用效劳器的具体时间和具体效劳类型。追踪取证这一功能，可有效帮助用户解决“谁动了我的设备”，做了什么操作的问题，为管理员进一步解决网络故障提供了有力的佐证。3.1.4统计报表系统可对系统信息、用户信息、主机信息、异常报警信息、流量信息、策略信息等进行报表统计，其中的报表对象包括系统信息、流量和报警信息、日志信息等。各种报表按照统计周期的不同，可以分为年报表、月报表、周报表、日报表。每类报表都包含多种报表模板，这些模板根本可以满足用户的全部需求。在生成报表之前，允许用户从界面选择一些报表条件，如时间范围、统计周期、报表类型等，选定好条件之后就可以生成报表了。在流量分析页面中可以选择特定监控对象和时间范围，然后把查询结果输出HTML、EXCEL等格式的文档。详细的统计信息，丰富的报表功能可帮助用户进行数据分析和挖掘，帮助用户进行流量趋势的把握，完成网络规划和优化的工作。3.2特色技术快速流量数据处理技术零拷贝〔zero-copy〕传统的网络数据报处理，需要经过网络设备到系统内存空间再到用户应用程序空间的两次拷贝，同时还占用用户向系统发出的系统调用。而系统采用的零拷贝技术首先利用DMA技术将网络数据报直接传递到系统内核预先分配的地址空间中，防止CPU的参与；同时将系统内核中存储数据报的内存区域映射到检测程序的应用程序空间，检测程序直接对这块内存进行访问，从而减少了系统内核向用户空间的内存拷贝和系统调用的开销，实现了真正的“零拷贝”，大大提升了数据报文处理性能。并行快速协议栈分析〔Fastmatch〕系统所采用的并行快速协议栈分析技术可以快速的实现网络数据包的内容分析，为实时大容量网络数据分析提供了技术根底。数据处理流程图如下：采取并行协议栈取代传统串行协议栈，充分发挥SMP架构的性能，给多内核CPU足够的施展空间。选取硬件分流器中流行的IP+PORT分流策略，保证在大流量的情况下并行处理线程之间工作量均等，有效防止过载线程的出现。同时配合特有的大流量数据捕获模块，取消传统协议栈软中断的开销，进一步地提高系统并行处理的能力。先进硬件优化技术支持SEE4指令集SEE4指令集除扩展了Intel64指令集架构外，还参加有关图形、视频编码及处理、三维成像等指令，在应用速度上比传统的SSE2指令集快2~3倍，而TopOS系统支持SSE4指令集，可有效改善编译器效率及提高向量化整数及单精度代码的运算能力，提升缓冲区的读取数据频宽。支持SMP技术对称多处理技术〔SMP〕可实现所有处理器对内存、I/O、外部中断和系统资源的平等访问。而TopOS系统支持SMP技术，并可将任务队列对称地分布于所有可用处理器上，实现工作负载均匀地分配，从而极大地提高了整个系统的数据处理能力。支持超线程技术超线程技术就是利用特殊的硬件指令，把多线程处理器内部的两个逻辑内核模拟成两个物理芯片，从而使单个处理器能在某一时刻同步并行处理更多指令和数据的处理器技术。通过在支持多线程的TopOS系统和软件上的运用，有效提高处理器30%以上的数据处理能力。3.2.3先进的流量分析技术先进数据挖掘技术遗传算法技术遗传算法技术直接对自定义网络对象进行操作，具有内在的隐并行性和更好的全局寻优能力；其内置的概率化寻优方法可自动获取指导优化搜索空间和调整搜索方向。系统采用遗传算法的生物系统模拟检测技术，可有效快速对网络操作行为和流量数据内容进行分析，方便用户在大量数据流中找到符合异常策略流量。神经网络模型神经网络模型是对大脑系统的模拟，可根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出需要，适合分析入复杂输入数据。采用神经网络模型的系统，通过在用户实际环境输入和输出“训练”，可根据自己已调节好的权值计算出输出，方便用户对历史流量数据进行预测和分析。聚类分析技术聚类分析基于“物以类聚”的朴素思想，根据事物的特征对其进行聚类或分类。采用聚类分析技术，系统可实现对流量数据进行分类和定性归纳，也可以作为一个单独使用的工具，来帮助分析数据的分布、了解各数据类的特征、确定所感兴趣的数据类以便作进一步分析。快速检测分析技术快速协议分析技术系统采用的快速协议分析技术有效利用了网络协议的层次性和相关协议的知识，通过数据包的协议解码、数据重组、命令解析快速地判断流量应用类型，便于及时发现网络流量异常。对不同的协议类型采用模块化插件支持，用户增加、删除和修改协议检测方法都很方便。自适应模式匹配技术模式匹配算法是一种快速搜索异常特征的方法，系统所采用的自适应模式匹配技术集合多个模式匹配算法，系统可根据异常策略和协议变量特征灵活选择适宜的模式匹配算法，在关键字符匹配速度上到达最优。深度包检测技术〔DPI〕DPI是一种应用层的流量检测技术，通过深入分析TCP和UDP通信流量的内容，与后台应用数据库进行特征码的匹配，确定应用类型。网络流量经过时，系统使用DPI技术将其重新组合，从而得到整个应用程序的内容，用户可按照自定义的策略，通过队列等技术对应用程序进行分析操作。3.2.3灵活高效的异常分析网络对象和策略的异常分类分析系统主要应用二维的分析：网络对象(object)方式和策略(policy)方式。基于网络对象的异常分析主要指当网络中某个系统、应用的流量和通常的情况不一致时，系统区分该未知流量是否是操作相关的威胁并登记该威胁，网络对象可以分为“关注主机”、“嫌疑主机”、“追踪主机”、“可信主机”，并相应加载的不同分析方式策略。而基于策略的异常分析那么是检验网络中系统、应用或用户的当前网络行为是否符合相关策略，如访问策略、使用策略、应用系统策略等，该策略通过依附在具体的网络对象上进行具体分析。基于策略模式的软件设计系统异常策略分析设计上采用面向对象的策略模式，将网络对象角色〔环境变量〕与具体的应用策略〔行为〕分开。针对各种异常流量的过滤算法可以在具体策略中进行自定义，具体策略的增加、删除、修改不会影响到网络对象〔网络主机〕，正是这种特性使得具体流量策略的传递、继承、引用更加灵活，由用户自己决定在什么情况下使用什么具体策略角色。策略模式仅仅封装算法〔具体策略角色内容〕，提供新算法插入到已有系统中，以及老算法从系统中"退休"的方便。3.2.4及时有效的处理机制完善的处理流程通过报警分析引擎对输入流量进行分析，实时监控对象流量与策略比照状况，如有异常那么以不同的形式进行报警；按流量、连接数、访问数、数据库异常操作、关键字过滤等进行分类和归总，可提供短信、控制台、邮件等多种方式的报警信息。通过进行取证、报警、向上汇报进行处理，也可以修改或增加追踪策略对异常进行跟踪取证和深层次的挖掘，处理过程还可以参考报警处理知识库。报警处理流程图如下所示：基于ServiceDesk流程系统通过采用特有的ServiceDesk流程来记录和协调报警处理，分别为：报警发现和记录、初步归类和初步支持、报警调查和解决、报警中止。IT管理人员可通过控制台记录相关报警细节，系统自动会对报警进行归类活动，其中包括确定报警发生的原因和与之相对应的解决方法，也就是提供在线知识库查找针对常见问题的解决方案和方法，防止重复工作提高效率；接下来的活动就是评估报警，并追踪取证对报警的具体信息和操作进行记录，并给予解决；最后管理员将报警状态更新为：“处理完毕”，整个流程结束。3.2.5智能的跟踪分析技术系统监控过程中，系统采用智能分析技术提取网络目标的状态、会话信息、数据流向、应用信息等数据，截取目标的网络操作行为，解析网络协议，重现目标的网络操作内容，依据访问的协议类型，可复原的信息包括：邮件内容、数据库操作命令、FTP访问的操作命令以及浏览过的WEB页面。智能跟踪分析技术