NPMS系统体系结构

1、NPMS 系统体系结构、功能及接口一、系统功能定义1、 接收 V5 格式的 NetFlow。2、 接收 V7 格式的 NetFlow。3、 接收 V8 格式的 NetFlow。4、 接收 V9 格式的 NetFlow。5、 对 NetFlow 的处理能力不低于10,000 条/秒。6、 能基于源 IP 地址、目的 IP 地址、源端口号、目的端口号、协议类型等条件对接收到的 NetFlow 流过滤。7、 将过滤（或不过滤）后的NetFlow 流，写入二进制文件。8、 支持 zlib 压缩。9、 写入的文件长度可以按时间或大小来选择。10、文件名能按照某种规则命名。11、后台多进程方式运行。12、

2、自适应、健壮性。自适应一方面是指当网络设备发出的NetFlow 流的速率超过设定值，则采取定时采样方式来接收NetFlow 流，并将相关信息写入日志文件，以保证设备正常运行；另一方面是指系统能根据网络资源情况能动态地启动不同数量的子进程来工作。健壮性是指当启动的多个写入文件进程中的某个进程，由于各种原因成为僵死进程时，其父进程应及时将其杀死，以保证系统的健壮性。13、日志。日志内容包括系统开关机时间，异常情况记录。14、对自身服务器资源的监控。其内容包括CPU、内存、 I/O 等。15、支持转发功能。16、能接收多个网络设备发送的NetFlow。工具软件功能定义：1、特定要求发送特定类型的Ne

3、tFlow 流。2、模拟 DDOS 攻击。3、查看 NetFlow 流文件内容。二、系统体系结构1、 硬件体系结构SNMPCollecterNetFlowUDPRouterRouterNetFlowFlowCollecterFile ServerDB ServerWeb ServerUDPReportwoPFDeUDPNURouter转发2、 软件体系结构FlowCollecter 体系结构 1ShMemFlowWriteFile_1FlowWriteDB_1ManagerFlowWriteFile_2FlowWriteDB_2FlowFileM QDBFlowWriteDB_nFlowWri

4、teFile_nUDPFlowReDirector设计说明：1、 FlowCollecter 分成4 大部分： Manager、FlowWriteFile 、FlowWriteDB ，FlowRedirect。2、 Manager 处于该模块的总控部分。功能定义如下：（1）、负责接受网络设备或探针RTProbe 以 UDP 方式发送来的NetFlow 数据包。（2）、创建消息队列MQ 。（3）、fork 多个子进程，在每一个子进程中执行FlowWriteFile 。（4）、创建共享内存ShMem，并将简单的NetFlow 信息或统计信息存放在ShMem 中。这里简单的定义是做这些工作对Mana

5、ger 的影响不大。（5）、根据配置文件中的过滤规则，实现对NetFlow 的过滤。过滤规则，可以基于源 IP 地址、目的 IP 地址、源端口号、目的端口号、协议类型等。（6）、采用心跳（ heartbeat）机制实现对子进程FlowWirteFile 的监管。即当子进程没有在规定的时间（应定义为多少？），向定义的端口（ 1212）发送“子进程标识”信息，就认为该子进程为僵死进程，父进程监控该端口，然后杀死该子进程。3、 FlowWirteFile 处于该模块的第二部分。功能定义如下：（1）、从 Manager 创建的消息队列中取出NetFlow 数据。（2）、拆分 NetFlow 包。（3）

6、、打包。将 NetFlow 数据按照我们自定义的协议格式xFlow ，重新打包。注：拆包和打包的任务也可以考虑在Manager 部分完成。（4）、写入文件。将 xFlow 写入文件。注：应考虑文件格式（二进制文件，类似 RRD 循环文件格式等）。（5）、实现 zlib 压缩功能。（6）、能按照命名规则自动取文件名。（7）、能按照接收流的时间或文件长度规则，自动截取文件长度。也就是说NetFlow 流文件不会是一个文件，而是一系列文件的集合。4、 FlowWriteDB 处于该模块的第三部分。功能定义如下：（1）、从 FlowFile 文件中读取 NetFlow 数据。（2）、写入到 Postg

7、reSQL数据库。5、 FlowRedirect 处于该模块的第四部分。功能定义如下：（1）、从 FlowFile 文件中读 NetFlow 数据。（2）、将 NetFlow 数据以 UDP 的方式转发到某台主机。FlowCollecter 体系结构 2：ShMemFlowWriteFile_1FlowWriteDB_1ManagerFlowWriteFile_2FlowWriteDB_2FlowFileDBPipe1Pipe2FlowWriteDB_nFlowWriteFile_nPipeNUDPFlowReDirector设计说明：1、 FlowCollecter 分成 3 大部分： Ma

8、nager、FlowWriteFile 、FlowWriteDB 。2、 Manager 处于该模块的总控部分。功能定义如下：（1）、负责接受网络设备或探针RTProbe 以 UDP 方式发送来的NetFlow 数据包。（2）、创建消息队列n 个有名管道。（3）、fork 多个子进程，在每一个子进程中执行FlowWriteFile 。（4）、创建共享内存ShMem，并将简单的NetFlow 信息或统计信息存放在ShMem 中。这里简单的定义是做这些工作对Manager 的影响不大。（5）、根据配置文件中的过滤规则，实现对NetFlow 的过滤。过滤规则，可以基于源 IP 地址、目的 IP 地址

9、、源端口号、目的端口号、协议类型等。（6）、采用心跳（ heartbeat）机制实现对子进程FlowWirteFile 的监管。即当子进程没有在规定的时间（应定义为多少？），向定义的端口（ 1212）发送“子进程标识”信息，就认为该子进程为僵死进程，父进程监控该端口，然后杀死该子进程。3、 FlowWirteFile 处于该模块的第二部分。功能定义如下：（1）、从 Manager 创建的管道中取出NetFlow 数据。（2）、拆分 NetFlow 包。（3）、打包。将 NetFlow 数据按照我们自定义的协议格式xFlow ，重新打包。注：拆包和打包的任务也可以考虑在Manager 部分完成。

10、（4）、写入文件。将 xFlow 写入文件。注：应考虑文件格式（二进制文件，类似 RRD 循环文件格式等）。（5）、实现 zlib 压缩功能。（6）、能按照命名规则自动取文件名。（7）、能按照接收流的时间或文件长度规则，自动截取文件长度。也就是说NetFlow 流文件不会是一个文件，而是一系列文件的集合。4、 FlowWriteDB 处于该模块的第三部分。功能定义如下：（1）、从 FlowFile 文件中读取 NetFlow 数据。（2）、写入到 PostgreSQL数据库。5、 FlowRedirect 处于该模块的第四部分。功能定义如下：（1）、从 FlowFile 文件中读 NetFlo

11、w 数据。（2）、将 NetFlow 数据以 UDP 的方式转发到某台主机。三、系统接口定义1、 Manager 部分接口定义：（1）、NetFlow V5 格式V5 头格式（ 24 个字节）字节内容英文描述中文描述0 1versionNetFlowexportformatversionNetFlow 导出格式的版本号number2 3countNumberof flowsexportin this包中导出的流数目（ 130）packet (1 30)4 7SysUptimeCurrent time in milliseconds sincethe export device booted81

12、1unix_secsCurrent count of seconds since0000 UTC 197012 15unix_nsecsResidual nanoseconds since 0000UTC 19701619flow_sequenceSequence counter of total flowsseen20engine_typeType of flow-switching engine21engine_idSlot number of the flow-switchingengine2223reservedreserved从路由器启动以来的当前时间，以毫秒为单位从 0000UTC

13、1970 开始的秒数从 0000UTC1970 开始的剩余纳秒时间所有能看到的流的顺序计数器Flow 交换设备的类型 Flow 交换设备的插槽号未使用的字节V5 记录格式(48 个字节 )字节内容英文描述中文描述0 3srcaddrSource IP address4 7dstaddrDestination IP address811nexthopIP address of next hop router12 13inputSNMP index of input interface14 15outputSNMP index of output interface16 19dPktsPacket

14、s in the flow20 23dOctetsTotal number of layer 3 bytes in thepackets of the flow24 27FirstSysUptime at start of flow28 31LastSysUptime at the time the lastpacket of the flow was received32 33srcportTCP/UDPsource port number orequivalent34 35dstportTCP/UDPdestination port numberor equivalent36pad1Unu

15、sed(zero)bytes37tcp_flagsCumulative OR of TCP flags38protIP protocol type (for example, TCP= 6; UDP = 17)39tosIP type of service (ToS)40 41src_asAutonomous system number of thesource, either origin or peer42 43dst_asAutonomous system number of thedestination, either of peer44src_maskSource address p

16、refix mask bits源 IP地址目的 IP 地址下一跳的路由器 IP 地址接入接口的 SNMP 索引输出接口的 SNMP 索引流中的报文在流的报文中第3 层字节总数流开始处的SysUptime流中最后一个报文被接收时的SysUptimeTCP/UDP 源端口号或等价值TCP/UDP 目的端口号或等价值没有使用的字节TCP 标记的累积ORIP 协议（例如，TCP 6， UDP 17）服务的 IP 类型源的 AS，原来的或对等的目的 AS，原来的或对等的源地址前缀的掩码位45dst_maskDestination address prefix mask目的地址前缀的掩码位bits4648

17、pad2Unused (zero) bytes未使用的字节（2）、NetFlow V7 格式（ Catalyst 5000）V7 头格式（ 24 个字节）字节内容英文描述中文描述0 1versionNetFlowexport format versionnumber2 3countNumber of flows export in thispacket (1 30)4 7SysUptimeCurrent time in milliseconds sincethe export device booted8 11unix_secsCurrent count of seconds since000

18、0 UTC 197012 15unix_nsecsResidualnanoseconds since 0000UTC 19701619flow_sequenceSequence counter of total flowsseen20engine_typeType of flow-switching engine21engine_idSlot number of the flow-switchingengine2223reservedreservedNetFlow 导出格式的版本号包中导出的流数目（130）从路由器启动以来的当前时间，以毫秒为单位从 0000UTC1970 开始的秒数从 000

19、0UTC1970 开始的剩余纳秒时间所有能看到的流的顺序计数器Flow 交换设备的类型 Flow 交换设备的插槽号未使用的字节V7 记录格式(52 个字节 )字节内容英文描述中文描述0 3srcaddrSource IP address源 IP地址4 7dstaddrDestination IP address目的 IP 地址811nexthopIP address of next hop router下一跳的路由器 IP 地址12 13inputSNMP index of input interface接入接口的 SNMP 索引14 15outputSNMP index of output

20、interface输出接口的 SNMP 索引16 19dPktsPackets in the flow流中的报文20 23dOctetsTotal number of layer 3 bytes in the在流的报文中第 3 层字节总数packets of the flow24 27FirstSysUptime at start of flow流开始处的 SysUptime28 31LastSysUptime at the time the last流中最后一个报文被接收时的packet of the flow was received3233srcportTCP/UDPsource por

21、t numberorequivalent3435dstportTCP/UDPdestination portnumberor equivalent36flagsFlagsindicating,amongotherthings, what flow fields are invalid.37tcp_flagsTCP flags; always set to zero38protIP protocol type (for example, TCP= 6; UDP = 17)39tosIP type of service (ToS)4041src_asAutonomous system number

22、 of thesource, either origin or peer4243dst_asAutonomous system number of thedestination, either of peer44src_maskSource address prefix mask bits45dst_maskDestinationaddressprefixmaskbits4647flagsFlagsindicating,amongotherthings, what flow fields are invalid.4851router_scIP address oftherouterthatis

23、bypassedbytheCatalyst5000series switch. This is thesameaddressthe routeruses whenitsends NetFlow export packets. ThisIP address is propagated to allswitchesbypassingtherouterthrough the FCP protocalSysUptimeTCP/UDP 源端口号或等价值TCP/UDP 目的端口号或等价值TCP 标志IP 协议（例如，TCP 6， UDP 17）服务的 IP 类型源的 AS，原来的或对等的目的 AS，原来的或对等的源地址前缀的掩码位目的地址前缀的掩码位2、 FlowWriteFile 部分接口定义：3、 FlowWriteDB 部分接口定义：4、