netflow理解文档-liangzh.doc

Netflow理解文档1.1 NetFlow工作原理NetFlow先记录下初始化IP包的数据，如IP协议类型、服务种类（ToS）、接口标识等，为了更有效对数据进行匹配和计数NetFlow让随后的数据在同一个数据流中进行传输，同时，对它们使用各自相应的服务，如安全性过滤、QoS策略、流量策划等。实时数据被存储在NetFlow的缓存中，通过读取的操作指令就可以重新找回。NetFlow支持同时向两个管理服务器地址输出采集到的网络流量和流向统计信息，输出数据的方式有三种：简单高效UDP传输协议方式（传统方式）。但由于采用了UDP协议，数据传输的可靠性是不保证的。SNMPMIB方式。管理服务器可以通过SNMP协议访问网络设备NetFlowMIB库中存储的数据流TopN统计结果。可靠的SCTP传输协议方式。利用SCTP传输协议，支持拥塞识别，重传和排队机制，确保NetFlow统计结果数据正确发送给上层管理服务器。1.2 NetFlow功能l 根据不同的需要定制不同的计划集合(Aggregation Scheme)，这些计划集合包含了NetFlow发送数据中的一个或多个Key Fields和Value Fields，根据不同的需要进行选择，以满足一定的需求。l 较典型的是对网络数据的源地址、目的地址的分析，对流量中各种应用的分析（基于协议或者端口）或者路由器上各个端口的负载等的分析。1.3 NetFlow数据用途l 完成网络管理与规划、企业的记帐、部门的收费、ISP的计费、建立数据仓库，市场目的1.4 业务流程图2 NetFlow的处理流程在预处理阶段，NetFlow可以首先根据网络管理的需要对特定级别的数据流进行过滤或对高速网络端口进行数据包抽样，这样可以在确保需要的管理信息被采集和统计的同时，减少网络设备的处理负荷，增加全系统的可扩展性。在后处理阶段，NetFlow可以选择把采集到的数据流原始统计信息全部输出，由上层管理服务器统一接收后再进行数据的分类处理和汇总；也可以选择由网络设备自身对原始统计信息进行多种形式的数据汇聚，只把汇总后的统计结果发送给上层管理服务器。2.netflow v5数据结构NetFlow/Netstream DataIPIPNetFlow/Netstream DataUDPHeader Flow Records通过头部结构的Version字段，可以区分数据区采用何种结构的数据。目前支持三种Version：5/8/9。也可以用TCP/SCTP进行传输，但目前不支持1.4.1 NetFlow V5报文头（24 Bytes）内容 Version：NetFlow版本： Count：Flow记录数 SysUpTime：系统运行时间 UnixSecs：UTC标准时间(自1970-01-01零点经过的秒数) UnixNsecs：UTC标准时间(不足一秒的纳秒数) StreamSeq：流记录序号(NetFlow报文丢失判断) EngineType： 类型 EngineID： 编号1.4.2 NetFlow V5 流记录格式Table2 流记录格式NameDescriptionOffsetField Length in BytesSource IPaddr IP address of the device that sent the flow 04Destination IPaddr IP address of the destination device44Next hop router IP address n/a84Inbound snmpIFindex SNMP index number that identifies the Inbound interface on the Packeteer unit:1 Inside (built-in) 2 Outside (built-in)3 Upper_Inside (upper LEM) 4 Upper_Outside (upper LEM) 5 Lower_Inside (lower LEM) 6 Lower_Outside (lower LEM) 122Outbound snmpIFindex SNMP index number that identifies the Outbound interface on the Packeteer unit:1 Inside (built-in) 2 Outside (built-in)3 Upper_Inside (upper LEM) 4 Upper_Outside (upper LEM) 5 Lower_Inside (lower LEM) 6 Lower_Outside (lower LEM) 142Packet Count Number of packets in the flow 164Byte Count Total number of bytes in the flow 204Time at Start of Flow Value of SysUpTime when the first packet in the flow was seen (measured in milliseconds) 244Time at End of Flow Value of SysUpTime when the last packet in the flow was seen (measured in milliseconds) 284Source Port Port number of the device that the flow went out of 322Destination Port Port number of the device that the flow went to 342One pad byte n/a361TCP flagsProtocol state (URG=32, ACK=16, PSH=8, RST=4, SYN=2, FIN=1). For example, a value of 27 indicates the flow had a SYN, ACK, PUSH, and FIN (2+16+8+1=27). 371Layer 4 Protocol Type of layer 4 protocol. For example, ICMP=1, TCP=6, Telnet=14, UDP=17381IP Type of Service (ToS) / DiffservValue that designates special handling of traffic (precedence, delay, throughput, and reliability)391Source Autonomous Sys ID n/a402Dest. Autonomous Sys ID n/a422Source Mask Bits Count n/a441Destination Mask Bits Count n/a451Two Pad Bytes n/a4621.4.3 NetFlow V5报文数据记录： SrcAddr： 源地址 DstAddr：目的地址 NextHop：下一跳地址(BGP下一跳地址) Input：入接口 Output：出接口 Pkts：报文数 Octets：字节数 FirstTime：流创建时间 LastTime： 流结束/老化时间 SrcPort： 源端口 DstPort：目的端口（可以分析应用） Prot： 协议 TcpFlags： Tcp标志 TOS：服务类型 SrcAs：源自治域（根据配置含义不同可以是Origin/Peer） DstAs：目的自治域 SrcMask：源掩码 DstMask： 目的掩码在此，对最大老化时间进行一个说明。也就是说，如果路由器在X段时间内没有收到刷新记录，它就将现有的记录丢弃而去等待更新的记录。要注意必须使到目的地的路径信息无效。例如，当路由器Y连向某一局网的链路断开时，路由器Y向路由器Z广播了这条链路的信息，这时局网中的路由器们此时还在认为它们仍可以到达Z。如果它们在最大老化时间内接收不到刷新记录，它们就会假设到Y的链路已经不可达。这样所有的路由器的路由表才会一致，路由器Y和Z也可以使用有限的序列码。NetFlow高速缓存的默认大小可以满足需要。然而可以增加或减少高速缓存中保留的条目数，来满足信息流比率的需要。默认值是64K流动高速缓存条目，每个高速缓存条目大约占用64 字节的存贮空间。假定