NPM配置文件说明

.@;NPM配置文件说明导览SmartProbe配置SmartProbe配置文件smartprobe.xmldispatcher.xmlcleaner.xmlwatcher.xmlPktminer配置文件pktminer.xmlpm2.iniDP配置文件dp.xmlSmartProbe配置文件更新NPMData配置NPMData配置文件dataflow.xmlnpmd.xmlexpire.xmlwatcher.xmlNPMData配置更新NPMWeb配置NPMWeb配置文件smartprobe.xmlsever.xmlnpmweb.xmlexpire.xmlspvd.xmlsyslog.xmlNPMWeb配置更新

SmartProbe配置SmartProbe配置文件smartprobe.xml用于配置SmartProbe的环境参数/opt/smartprobe/etc/system/local/smartprobe.xml

Expandsource<?xmlversion="1.0"encoding="UTF-8"?><smartprobeversion="1.0"><web_port>9000</web_port>#web_port：web进程绑定的端口号，默认值：9000<store_folder>./var/store</store_folder>#store_folder：pcap包文件/NTS文件/NTA文件存储的顶层目录，默认值：/opt/smartprobe/var/store/<python>/opt/python27/bin/python</python><supervisorctl>/opt/python27/bin/supervisorctl</supervisorctl></smartprobe>dispatcher.xml用于配置SmartProbe与NPMServer的数据传递参数/opt/smartprobe/etc/system/local/dispatcher.xml

Expandsource<?xmlversion="1.0"encoding="UTF-8"?><dispatchersversion="1.0"><!--add/removeauth_keytocontrolaccesible--><auth_key>anonymous</auth_key>#auth_key：NPM授权smartprobe链接，默认值：anonymous;更改后需要在NPMWeb上的smartprobe.xml中同步更新；<!--cachentsbeforesend,default:1000--><cache_count>1000</cache_count></dispatchers>cleaner.xml用于配置SmartProbe的数据清理/opt/smartprobe/etc/system/local/cleaner.xml

Expandsource<?xmlversion="1.0"encoding="UTF-8"?><cleaner>#cleaner：清理相关配置<tick>60</tick>#tick：检查磁盘容量的频率，默认值：60，单位：秒<limit>10%</limit>#limit：磁盘空闲容量的最低值，默认值：10%，可选用百分比和绝对值表示。当磁盘容量低于该值时，cleaner会被触发清除旧数据，释放磁盘空间<free>10%</free>#free：每次清除操作，释放的磁盘空间，默认值：10%，可选用百分比和绝对值表示。含义是：不断清除旧数据，直至磁盘容量高于设定的limit。默认值足以满足需求，一般不需要修改此配置项<verbose>1</verbose>#verbose：按容量清理时显示log详细信息的级别<task>#task：DP任务产生的临时文件存放的过期时间。默认值：1天<keeptimeunit="day">1</keeptime></task></cleaner>位置标签默认值说明<cleaner><tick>60秒检查磁盘容量的间隔时间<cleaner><limit>10%磁盘清理的阈值，即空闲容量低于10%开始清理；支持百分比和绝对值<cleaner><free>10%一次清理释放的空间，支持百分比和绝对值<cleaner><task><keeptime>2天DP任务临时文件保存的时间，单位为小时、天watcher.xml用于配置SmartProbe的磁盘容量保护/opt/smartprobe/etc/system/local/watcher.xml

Expandsource<?xmlversion="1.0"encoding="UTF-8"?><watcher><tick>60</tick>#tick：检查磁盘容量的频率，默认值：60，单位：秒<stop>90%</stop>#stop：SP停止工作时，磁盘容量占用百分比，默认值：90%。当磁盘容量占用大于等于此百分比时，SP停止工作</watcher>位置标签默认值说明<watcher><tick>60秒检查磁盘容量的间隔时间<watcher><stop>90%SP停止工作的阈值，即磁盘占用空间超过90%SP停止工作；支持百分比和绝对值Pktminer配置文件pktminer.xml用于配置SmartProbe的Packetminer进程对于每个网络接口的数据包捕获参数/opt/smartprobe/etc/system/local/pktminer.xml

Expandsource<pktminerversion="1.0"><version>v2</version>#version:Pktminer的工作模式，v1代表工作在标准版模式下，v2代表工作在高性能模式下<v1>#针对标准版的配置项<mode>pring</mode><!--isolatedcpus,forexample:"1,2"--><isol_cpus></isol_cpus>#isol_cpus:绑定的cpu，安装完已确定，不能修改</v1><v2>#针对高性能的配置项<!--connectport.Defaultis5555--><zmq_port>5555</zmq_port>#zmq_port:pktminer监听的端口号，默认值：5555<!--connecttimeoutmillisecond.Defaultis2000ms--><zmq_timeout>2000</zmq_timeout>#zmq_timeout：pktminer请求的超时时间，默认值：2000，单位：毫秒（ms）</v2><!--buffer_sizedefault:512MB,supportunit:MB,GB--><buffer_sizeunit="MB">512</buffer_size>#buffer_size：为libpcap分配的buffersize，最大为1G<!--share_hwmdefault:512MB,supportunit:MB,GB--><share_hwmunit="MB">512</share_hwm>#share_hwm：pring所用的sharememory，最大值为2G<!--snap_lendefault:2048B,supportunit:BKBMB--><snap_lenunit="B">2048</snap_len><!--timeoutdefault:3s--><timeout>3</timeout>#timeout:检查snooppacket的参数，这个一般不用改，默认值即可<!--file_durationdefault:15s--><file_duration>15</file_duration>#file_duration：控制数据包文件生成间隔，默认值为15秒<!--为指定网卡的设置独立的配置--><!--<ethname="eth0">#eth：针对特定网卡的数据包文件生成间隔，默认值：30秒<file_duration>30</file_duration></eth><ethname="eth1">#eth：针对特定网卡的相关配置<throughput>1000</throughput>#throughput：网卡速率设置</eth>--><!--汇聚端口--><!--<aggregation_portname="nic0-1">#aggregation_port：汇聚模式，该模式会将多个物理网卡抽象为一个逻辑网卡，在这个标签下添加需要汇聚的网卡即可<ethname="nic0"/><ethname="nic1"/></aggregation_port>--></pktminer>位置标签默认值说明<pktminer><buffer_size>512MB标准版为libpcap分配的buffersize,最大为1GB<pktminer><share_hw>512MB为Pring分配的缓存大小，最大为2GB<pktminer><aggregation_port>无配置汇聚端口<pktminer><eth><throughput>无为某个网口设置的速率pm2.ini用于配置SmartProbe的Packetminer进程对于每个网络接口的系统参数/opt/smartprobe/etc/system/local/pm2.ini

Expandsource[global]core_mask=0xffffffffhugepage_memory_mb=12000nic_rx_ring_size=4032pring_data_hwm=0x7fff0000burst_size_io_rx_r_nic=4096burst_size_io_rx_w_ring=144burst_size_worker_w_pcap=144burst_spool_rate=5burst_lpool_rate=10burst_upper_limit=100000000burst_time_span=0sleep_on=1sleep_interval=100sleep_time=1zmq_port=5555debug=0 #debug:debug开关，默认关闭[nic0]enable=1 #enable:是否开启此网卡的抓包功能port=0 #port:网卡编号queue=0io_core=1 #io_core:配置io线程所用的coreidworker_core=31 #worker_core:配置worker线程所用的coreidheartbeat_ms=1000pring=p0 #pring:pring的id，可以和/dev/shm目录下的文件相对应pring_count=4#pring的个数pring_slice=128file_duration=60 #file_duration:pcap.sz文件生成的间隔pring_snap_len=65535pcap_dir=/opt/smartprobe/var/store/pcap/nic0#pcap_dir：数据包输出目录compress=1 #compress:是否压缩为sz文件.因为目前数据清理只支持sz文件，所以默认是压缩的 #compressor_core=3,4默认不开启，此时数据压缩是由worker线程来承担的;当流量>4Gbps时，需要多个线程共同压缩，此时需要开启这个选项，一般情况下，2个core用于压缩足够了[nic1]enable=1port=1queue=0io_core=2worker_core=30heartbeat_ms=1000pring=p1pring_count=4pring_slice=128file_duration=60pring_snap_len=65535pcap_dir=/opt/smartprobe/var/store/pcap/nic1compress=1位置标签默认值说明[nic_x]pring_count无为单个接口分配的pring个数，高性能版可以>1

compress1是否开启存包压缩，0为不压缩，1为压缩

compressor_core无执行压缩的核编号DP配置文件dp.xml用于配置SmartProbe的DP进程进行数据包解析的参数/opt/smartprobe/etc/system/local/dp.xml

Expandsource<dpversion="1.0"><!--commentitifyouwantusedefaultvalue.[1/4systemmemory],supportunit:MB,GB--><!--<max_memunit="MB">2048</max_mem>--><!--network_packet_length,defaultis84--><network_packet_length>84</network_packet_length><!--max_flow_count,defaultis1000000--><max_flow_count>1000000</max_flow_count>#max_flow_count：DP支持处理的最大并发连接数，默认值：1000000<!--Flowtimeoutmillisecond.Defaultis120000ms.Groupcanoverride.--><flow_timeout>120000</flow_timeout>#flow_timeout：会话最长保持时间，默认值：120000，单位：毫秒（ms）<!--Flowattachtimeoutmillisecond.Defaultis9000ms.Groupcanoverride.--><flow_attach_timeout>9000</flow_attach_timeout>#flow_attach_timeout：会话建连超时时间，默认值：12000，单位：毫秒（ms）<!--Flowdetachtimeoutmillisecond.Defaultis120000ms.Groupcanoverride.--><flow_detach_timeout>120000</flow_detach_timeout>#flow_detach_timeout：会话拆连的超时时间，默认值：9000，单位：毫秒（ms）<!--globalzmqouputcompressionconfig,choices:none,spz--><zmq_compression>spz</zmq_compression><!--globalzmqouputcompressionblocksize--><zmq_compression_block_size>200000</zmq_compression_block_size><ways_inside_group>#ways_inside_group：多路存储NTA/NTS/PCAP数据文件方式<!--decidewaystowritefilesuchasnts,nta...--><export>2</export>#export：控制NTA/NTS数据多路输出，默认值：2，表示2路存储<!--decidewaystowritepcap--><store>2</store>#store：控制PCAP数据多路存储，默认值：2，表示2路存储</ways_inside_group><!--fornta/ntaa--><!--Globalwith-siteapp-matchedstatisunitcountthreshold.Setto"0"todisable,defaultis"1000000".--><global_known_unit_count>400000</global_known_unit_count>#global_known_unit_count：已知应用的Flow数上限，超过则合并到其他，默认值：1分钟40万<!--Globalwithout-siteapp-matchedstatisunitcountthreshold.Setto"0"todisable,defaultis"1000000".--><global_unknown_unit_count>200000</global_unknown_unit_count>#global_unknown_unit_count：未知应用的Flow数上限，超过则合并到其他，默认值：1分钟20万<!--Whenunitoverflow,theunitwhichtotal'PktLen'or'PktCnt'inminimumx%willbemerged.Setto0todisableshrink.--><unit_shrinkage>0.6</unit_shrinkage>#unit_shrinkage：被合并的Flow数比例，默认值：0.6<cache>#cache：各环节缓存区大小<snoop>20000</snoop><pre_parse>100000</pre_parse><ntr_parse>200000</ntr_parse><ntd_parse>200000</ntd_parse><ntr_pack>100000</ntr_pack><nta_aggregate>100000</nta_aggregate><nta_pack>100000</nta_pack><ntae_extend>100000</ntae_extend><ntae_pack>100000</ntae_pack><nts_pack>100000</nts_pack><ntse_extend>100000</ntse_extend><ntse_pack>100000</ntse_pack><store_file_backend>200000</store_file_backend><export_file_backend>200000</export_file_backend></cache><runtime>#runtime：实时模式下DP的相关配置<sync_beat>5000</sync_beat><report_beat>60000</report_beat>#report_beat：控制数据的基础颗粒度，默认值：1分钟，可用值：15秒，1分钟<ntse_report_beat>60000</ntse_report_beat><ntae_report_beat>60000</ntae_report_beat>#ntae_report_beat：控制NTA数据输出和存储的颗粒度，默认值：1分钟，5分钟，15分钟，1小时，可选15秒<!--<ntae_report_beat>15000</ntae_report_beat>--><!--uncommentthesetoenablentaeforotherreport_beat--><ntae_report_beat>300000</ntae_report_beat>#5分钟NTA颗粒度存储<ntae_report_beat>900000</ntae_report_beat>#15分钟NTA颗粒度存储<ntae_report_beat>3600000</ntae_report_beat>#1小时NTA颗粒度存储<!--setto1toenable0todisable--><ntaa_enable>1</ntaa_enable><!--know/unknown/shrinkageconfigfordifferenttimespanofntae--><!--<global_known_unit_count_300>400000</global_known_unit_count_300><global_unknown_unit_count_300>200000</global_unknown_unit_count_300><unit_shrinkage_300>0.6</unit_shrinkage_300><global_known_unit_count_900>400000</global_known_unit_count_900><global_unknown_unit_count_900>200000</global_unknown_unit_count_900><unit_shrinkage_900>0.6</unit_shrinkage_900><global_known_unit_count_3600>400000</global_known_unit_count_3600><global_unknown_unit_count_3600>200000</global_unknown_unit_count_3600><unit_shrinkage_3600>0.6</unit_shrinkage_3600>--><work_count>#worker_count：工作线程数量配置<sync>0</sync><pre_parse>9</pre_parse><ntr_parse>13</ntr_parse><nts_pack>8</nts_pack><nta_aggregate>6</nta_aggregate><ntse_extend>4</ntse_extend><ntse_pack>4</ntse_pack><store_file_backend>5</store_file_backend><export_file_backend>5</export_file_backend></work_count><!--runtimezmqouputcompressionconfig,choices:none,spz--><!--<zmq_compression>spz</zmq_compression>--><!--runtimezmqouputcompressionblocksize--><!--<zmq_compression_block_size>200000</zmq_compression_block_size>--><!--onlyruntimesupportfollowingoptions--><store>#store：数据存储相关配置，选择各种数据的压缩格式<!--nts/ntsecompressionconfig,choices:none,spz,sz,gz,zip--><nts_compression>sz</nts_compression><!--nta/ntaecompressionconfig,choices:none,spz,sz,gz,zip--><nta_compression>sz</nta_compression><!--nts/ntserecordconfig,choices:simple,full--><nts_record>simple</nts_record><!--nts/ntsepackconfig,choices:compact,msgpack,text--><nts_pack>compact</nts_pack><nta_pack>msgpack</nta_pack><!--pcapcompressionconfig,choices:none,spz,sz,gz,zip--><pcap_compression>sz</pcap_compression><!--ipfixcompressionconfig,choices:none,spz,sz,gz,zip--><ipfix_compression>sz</ipfix_compression><sflow_compression>sz</sflow_compression><nflow_compression>sz</nflow_compression></store><!--Setmergetypeforunmarkedflow.TheUnmarkFlowpointstotheflowwhichisnotdefinedby"SITE","APP",or"SPV".Thisvaluecanbe"notMerge","mergePort",or"mergeIpPort".The"notMerge"meansdonotmerge,the"mergePort"meanstoignoretheportinformation,and"mergeIpPort"meanstoignorebothIPsandports.Defaultis"notMerger".--><unmark_flow_merge>notMerge</unmark_flow_merge><global_dynamic_cache_count>1000000</global_dynamic_cache_count>：<!--disableDynamic,dynamicFirst,thirdPartyFirst,disableThirdParty,defaultisdynamicFirst.--><app_id_policy>dynamicFirst</app_id_policy></runtime><batch>#batch：batch模式相关配置，用于数据包提取<max_memunit="MB">5120</max_mem><!--pcap_extractconfig,chooseoneormoreoptionsinthethreemodebelowandsetoterstozero--><pcap_extract>#pcap_extract：数据包提取相关配置<!--pcapextractmode:Highperfversionsupport(dp,pktfilter)mode,Standardversiononlysupportdpmode,default:pktfilter--><mode>pktfilter</mode>#mode：控制数据包提取模式，默认值：pktfilter，可选值:dp，pktfilter<!--pktfilterpcapextractprocesscount,default:4--><pktfilter_worker_count>4</pktfilter_worker_count>#pktfilter_worker_count：pktfilter模式提包并发进程数量设置<!--pcapextractsplitpcapfiletime_spanunitmillisecond--><time_span>0</time_span>#time_span：按时间间隔控制数据包切割，默认值：0<!--packetcounttosplitthepcapfile.--><packet_count_span>0</packet_count_span>#packet_count_span：按包数控制数据包切割，默认值：0<!--filesizetosplitthepcapfile.--><file_size_span>1073741824</file_size_span>#file_size_span：按文件大小控制数据包切割：默认值：1G</pcap_extract><work_count><sync>0</sync><pre_parse>5</pre_parse><ntr_parse>9</ntr_parse><nts_pack>5</nts_pack><ntd_parse>4</ntd_parse><store_file_backend>2</store_file_backend><export_file_backend>1</export_file_backend></work_count><!--disableDynamic,dynamicFirst,thirdPartyFirst,disableThirdParty,defaultisdynamicFirst.--><app_id_policy>dynamicFirst</app_id_policy></batch><tools>#tools：数据文件和数据包解压缩工具相关配置<!--<max_memunit="MB">2048</max_mem>--><work_count><sync>0</sync><pre_parse>5</pre_parse><ntr_parse>9</ntr_parse><nts_pack>5</nts_pack></work_count></tools><cocurrent>#cocurrent：控制DP任务同时执行的数量<nts>24</nts>#nts:控制应用发现的任务数，默认值：24，0表示禁止应用发现<ntr>30</ntr>#ntr：控制故障诊断的任务数，默认值：30，0表示禁止故障诊断<loadnts>20</loadnts><pcap>20</pcap>#pcap：控制下载数据包的任务数，默认值：20，0表示禁止下载数据包</cocurrent><!--reloadapps/sitessignal--><zmq_signal>#zmq_signal:DP监听信号的相关配置项<!--connectendpoint.Defaultistcp://:5577--><endpoint>tcp://:5577</endpoint>#endpoing:监听的端点，默认值：tcp://:5577<!--connecttimeoutmillisecond.Defaultis2000ms--><timeout>2000</timeout>#timeout：DP请求的超时时间，默认值：2000，单位：毫秒（ms）</zmq_signal><adapter_zmq_signal>#adapter_zmq_signal:DP-adapter监听信号的相关配置项<!--connectendpoint.Defaultistcp://:5578--><endpoint>tcp://:5578</endpoint><!--connecttimeoutmillisecond.Defaultis2000ms--><timeout>2000</timeout></adapter_zmq_signal><!--specialsettings--><!--<ethname="default">#eth：针对特定端口的相关配置，name：端口名字<property><flowHashIncludeVlanEnable>true</flowHashIncludeVlanEnable><flowHashIncludeMacEnable>false</flowHashIncludeMacEnable><timeOutOfOrderCheckEnable>true</timeOutOfOrderCheckEnable><flowHashIncludeGreKeyEnable>true</flowHashIncludeGreKeyEnable></property></eth>--><!--<ethname="eth2">#eth：针对特定端口的相关配置，name：端口名字<property><flowHashIncludeVlanEnable>false</flowHashIncludeVlanEnable>#flowHashIncludeVlanEnable：控制VLAN数据弃用和禁止，默认为false<stripGreEnable>false</stripGreEnable></property></eth>--></dp>

位置标签默认值说明<dp><max_flow_count>1000000支持的最大并发连接数，最大值为1200000<dp><global_known_unit_count>400000已知应用Flow数上限，超过则合并到总量<dp><global_unknown_unit_count>200000未知应用Flow数上限，超过则合并到总量<dp><unit_shrinkage>0.6当上述两个Flow数达到上限，被合并到总量的比例<dp><batch><pcap_extract><pktfilter_worker_count>4提数据包并发进程数<dp><batch><pcap_extract><time_span>0按时间控制的切包，单位毫秒<dp><batch><pcap_extract><packet_count_span>0按包数控制的切包<dp><batch><pcap_extract><file_size_snap>1073741824按文件大小控制的切包，单位Byte<dp><eth><property><flowHashIncludeVlanEnable>false计算Flow是否按VLAN区分SmartProbe配置文件更新smartproberestartNPMUI中进入管理，同步配置

NPMData配置NPMData配置文件dataflow.xml用于配置NPMDataServer的数据统计计算参数/opt/npm/etc/system/local/dataflow.xml

Expandsource<?xmlversion="1.0"encoding="UTF-8"?><dataflowversion="1.0"><global><!--base_span:15,60--><base_span>60</base_span>#base_span：控制数据的基础颗粒度，默认值：60秒，可用值：15秒，60秒</global><worker>#worker：进程组worker的相关配置<hwm>1000</hwm><port_start>23200</port_start>#port_start：worker进程的起始端口，默认值为23200<count>8</count>#count：进程数量设置<!--recv_mode:auto,drop--><recv_mode>auto</recv_mode><!--spv_match_mode:dp,auto,drop--><spv_match_mode>auto</spv_match_mode><topn><count>-1</count></topn><!--priorityforzmqTCPattach/detachusingworkerconnectingSPdirectly,e.g.-5or-10--><nice>0</nice><!--dumpfilespan,-1:auto,0:disable--><span>0</span><!--groupsettings,ipport:[ipport,ipportpair],convs:[ip,convs]--><ipport><span>0</span></ipport></worker><group>#group：进程组group相关的配置<count>0</count>#count：进程数量设置</group><exporter>#exporter：进程组exporter相关的配置<port_start>23300</port_start><!--exportmodesafe/fast--><mode>safe</mode><count>4</count></exporter><sink><port>23400</port></sink><alerter><port>23401</port><count>2</count>#count：进程数量设置</alerter><spanaggr>#弃用<count>0</count><spans>15,60,300,900,3600</spans><topn>50</topn><topn_fields>pktcnt,pktlen,flow_count</topn_fields><!--stat/reportsearchmode,full、topn、sp--><search_mode>sp</search_mode><!--groupsettings,ipport:[ipport,ipportpair],convs:[ip,convs]--><ipport><spans>900</spans></ipport><!--ifspanaggr'susedmemory>total_memory*max_memory_percent,autorestartprocess--><max_memory_percent>0.05</max_memory_percent></spanaggr><dashboarder>#dashboarder：进程组dashboarder相关设置<port>23600</port><count>1</count></dashboarder></dataflow>位置标签默认值说明<dataflow><worker><count>18worker进程数<dataflow><group><count>0group进程数<dataflow><exporter><count>4exporter进程数<dataflow><alerter><count>2alerter进程数<dataflow><dashboarder><count>1dashboarder进程数npmd.xml用于配置NPMDataServer的通讯参数/opt/npm/etc/system/local/npmd.xml

Expandsource<?xmlversion="1.0"encoding="utf-8"?><npmdversion="1.0"><id>60a55f30-f317-11e5-a452-0242ac11016c</id>#npmdata服务器的ID,该NPMD实例的唯一标识，安装时指定，无需修改<host>20</host>#npmdata服务器的主机ip地址<web_port>23080</web_port>#web_port:web_data进程绑定的端口号，默认值：23080<sp_loader>#sp_loader：从Smartprobe获取数据时使用的端口范围，无需修改<port_start>28000</port_start><port_end>28300</port_end></sp_loader></npmd>位置标签默认值说明<npmd><id>

NPMData的ID，唯一标识<npmd><host>

NPMData的IP地址expire.xml用于配置NPMDataServer的数据清理和老化参数/opt/npm/etc/system/local/expire.xml

Expandsource<?xmlversion="1.0"encoding="UTF-8"?><expir