证券行业低延迟应用解决方案-v1.6-2015.05

CiscoConfidential1证券行业低延迟应用解决方案xxCommercialseteamcentral思科系统(中国)网络时延优化–交换券商高频交易背景和需求网络时延优化–交换（实测分析）应用时延优化–网卡、内存、闪存券商高频交易案例分享议程高频交易时延优化整体解决方案长江证券某大型期货交易所郑州商品交易所中原证券其它证券案例纽交所的技术严谨及高频交易发展趋势1908年纽约证交所1963年纽约证交所HFT高频交易交换速度是才未来资本市场技术改造的中心提高HFT高频交易速度是资本市场技术开发耗资的重点HFT硬件的寿命是6个月至一年。只要新设备能快一微秒(1µ-second)立刻更新。例如：Intel

Xeon5500-basedNehalem仅是一年前的产品。不少公司已采用Intel的Xeon5600Westmere六核心芯片华尔街的心理是如果同行对手换了新设备，必须紧紧跟上，再相互挖软件开发的人才结果：HFT系统交易速度可小于每交易10微秒；证交所系统交易速度可小于每交易250微秒“HighFrequencyTradingmaybepoisedtotakeovertheworld!”资深人员认为：高频交易可能会主宰世界以加快速度为目标，各交易所都进行了技术改革纽约泛欧交易所声称他们在欧洲现金市场成交执行时间的目标是150微秒至400微秒美国纳斯达克宣布其平均成交执行时间是157微秒美国BATS交易所也声明他们的平均成交执行时间是250微秒

为什么芝加哥到纽约低延时光缆曾被评为2010年最有影响的创新？苦战3年、耗资3亿多美元，从芝加哥到纽约最短、最快的光缆于2010年8月底竣工全长825英里，比现有光缆要短100英里。来回延时仅13.33毫秒，比以前快3.67毫秒。大约每毫秒耗资1亿美元。3.67毫秒的价值是什么呢？据专家分析，对一个金融代理商来说慢1毫秒，每年要损失400万美元！华尔街的向0时延的竞争交易数据在交易总线上交换，从一台主机（源），通过网络传输，在另一台主机（目的地）结束它的进程，丢包产生的时延(PacketDropDelay)、排队时延(QueuingDelay)、交换时延(NominalSwitchDelay)、传播时延(PropagationDelay)和串行时延(SerializationDelay)，而这些时延累加起来就是交易数据在服务器外部的总时延。通过kernalbypass、TCP卸载和RemoteDataMemoryAccess（RDMA）等技术都极大地降低了服务器内部的时延3，存储操作时延在高性能交易系统中，如何减少系统中每个环节的时延，使交易数据在会员和交易所交易引擎之间达到双向最快，成为一个非常重要的工作，这就是现在在华尔街经常被提到的“RacetoZero”（向0时延的竞争）在国外，高频交易实际就是高科技的“军备竞赛”由于HFT占整个市场成交量的2/3以上，各华尔街公司，无论是大是小、是买方还是卖方，包括证交所在内，展开了高科技“军备竞赛”高频交易的目的是在每笔交易上赚一丁点儿钱，以做得快、做得多取胜。要快一定得在交易所托管中心做。10年之间，高频交易成交执行时间从原先的几秒钟降低到小于1毫秒(millisecond)，甚至只有几个微秒(microsecond)。在国内，证劵公司为什么需要低延时能力？1.虽然国内还不允许高频交易，但随着国家政策的逐步放开，券商T+0交易会逐步普及，会是未来主要的业务推动力。2.证券公司放到各交易所托管机房的设备在低延迟能力的差异性上，会极大的影响到T+0交易的最终盈利能力。3.交易所已经开始大规模采用低延迟交易的技术了，券商难道还停留在传统交易阶段吗？4.低延迟交换产品比传统交换设备价格高不了多少。

XX证券公司高速报单场景低时延交换机的部署位置XX期货交易所数据中心部分拓扑低时延交换机的部署位置网络时延优化–交换券商高频交易背景和需求网络时延优化–交换（实测分析）应用时延优化–网卡、内存、闪存券商高频交易案例分享议程高频交易时延优化整体解决方案长江证券某大型期货交易所郑州商品交易所中原证券其它证券案例FocushasbeenhereWhenfocusshouldbehere券商高频交易建设的技术关键点–降低时延(Y轴

微秒)券商的交换网络为什么必须要低时延？–避免丢包产生时延！传统网络的问题：数据传输过程中由于拥塞造成的丢包会对时延产生非常大的影响，具体受影响程度根据丢包数目的多少可以从5000微秒到微秒，远远超过任何其它环节对时延的影响。优化方法：避免丢包产生的时延影响除了采用合理的网络架构、优化流量传输模型外，最主要的手段就是提升网络的带宽到10G、40G甚至100G，这样即使在交易流量发生Microburst情况下，网络带宽上也保有充分的余量不会发生拥塞。券商的交换网络为什么必须要低时延？

–降低排队时延！在队列缓冲区中，当数据包等待传输时，它经受排队时延。一个特定数据包的排队时延将取决于先期到达的、正在排队等待向链路传输数据包的数量。如果该队列是空的，并且当前没有其他数据包在传输，则该数据包的排队时延为0。另一方面，如果流量很大，并且有许多其他数据包也在等待传输，该排队时延将很大。网络链路的速率越高，转发清空速度越快，数据包在缓冲区内停留的排队时延也越短，实际的排队时延通常在毫秒到微秒级。券商的交换网络为什么必须要低时延？

–减小交换时延！速度再快的交换机转发数据包也需要一定的时间，随着技术的发展，交换时延已经从过去的微秒级降低到纳秒级，影响交换时延的主要因素有交换机的转发模式，一般来说cutthrough模式要比storeandforward模式时延低，另外，也和交换机硬件芯片设计相关，目前最快的交换机都是采用SOC（switchonchip）设计架构，所有的功能电路都集成在一块ASIC芯片上，甚至连端口的物理电路都集成在这块芯片上，这样可以大大减少内部各个环节的时延消耗。毫秒Millisecond(ms)微秒Microsecond(us)纳秒Nanosecond(ns)1/1000S1/1000000S1/1000000000SIntervalSecondsMulticastPITCHTOPTCP

PITCHTCP

FASTPITCHMPSMb/sMPSMb/sMPSMb/sMPSMb/s.0013,408,000382331,00086638,000251638,00093.012,641,900296267,90072595,300233595,300771250,86186116,06331288,612134288,612575132,8794663,03016162,90975162,9093410109,1643853,56514139,68765139,687333071,1362542,77311115,78354115,783276060,1892139,23910100,41547100,41523从BATS的提供的数据中可以看出一毫秒间隔内的毛刺速率远远超过一秒为单位的峰值速率，尤其以MulticastPITCH协议最为明显（BATS大多数会员机构采用over在multicast上的PITCH2.X协议来从BATS实时接受市场行情数据

。市场行情数据出现瞬间毛刺突发时，如果会员的带宽不够，就会在队列中缓冲，这样发送的交易订单也会稍稍滞后，在瞬息万变的市场中往往造成错失交易机会，很多会员发现是无法容忍这样的延迟，在千兆局域网上，一个100毫秒的毛刺（microburst）可能导致1万个交易窗口的丢失或过度延迟。

---来自美国第三大交易所BATS券商的交换网络为什么必须要避毛刺？

–避免交易窗口的丢失或过度延迟！Microburst对交易网络性能的影响是什么？–拥塞、丢包、时延增加！毛刺会导致过载设计的链路严重拥塞以致交换机丢包5毫秒为单位拥塞阀值超过更精细的流量监测显示毛刺已造成拥塞拥塞阀值没有超过1秒为单位5分钟为单位以往的流量监测错过问题在性能和功能方面引领着行业方向超低时延活动缓存监测提前检测拥塞网络地址翻译不影响任何性能精准时钟同步智能流量镜像以提供更佳性能分析专为高性能环境定制的思科芯片交换设备如何做到低时延呢？

–思科AlgoBoostASIC技术！CISCOALGORITHMBOOSTTECHNOLOGY可视化最低时延最强性能思科Nexus3548是首款采用思科AlgoBoost技术的Nexus交换机久经考验，特性丰富的NX-OS48端口SFP+单机架单元10G/1G/100M/40G二层/三层单播/组播全线速转发18MB缓存;4KACLTCAM更大数据表项使下一代高性能网络成为可能CISCOALGORITHMBOOSTTECHNOLOGY可视化最低时延最强性能123456…2448…302928272625数据报文Nexus3548的动态缓存监测可以帮助监控缓冲区的精细化流量Bytes384K768K1.1M1.5M1.9M2.3M2.6M3.1M3.5M3.8M4.2M…6.1M9/15/20123:11:01PM505109014000000…09/15/20123:11:02PM0000010901005000…09/15/20123:11:03PM0000001080110500…09/15/20123:11:04PM0000010012030000…09/15/20123:11:05PM051085150000000…09/15/20123:11:06PM20050000000000…0采样次数AlgoBoostBufferHistogram共享缓存硬件采样软件采样为什么要用组播？服务器之间采用“信息中间件”（Messaging

Middle-Ware）来进行信息交换，如：Tibco，29West

LBM。短包（80~100字节长）组播是其通讯方式。目前大型系统，如自动做市系统，由200

~

400服务器组成采用大约500组(500MulticastGroups)，以网状组播为主。为什么要用这么多组？美国个市场股票代码总和大约是10,000左右。每组（Each

Multicast

Group）包含20个股票代码。今后会采用更多组吗？趋势是不断增加组数，最终目标是每组代表一个股票代码以减轻各服务器负载。对网络设备的组播要求显著提高--网络设备必须能处理10,000组的能力。证券市场为什么如此看重组播能力？–减轻各服务器负载！券商的交换设备为什么需要精准时钟？–实时精准监测低时延交易！传统监测工具的精度已不能满足高性能交易的要求传统监测工具的采样频率以秒为时间单位，低时延交易需要以微秒作为衡量的基本时间单位在电子交易过程中，每个交易往往是由几个计算机进程来完成的，新的时延测量技术必须能测出在过程中每个进程的延时

高性能交易平台无法使用NTP作为时间同步协议，精确时钟同步是在算法交易环境中延时测量的另一个挑战

IEEE1588PTP精准时钟协议在高性能交易系统中，为了测出每个计算进程的执行时间，各相关服务器的时钟不但要精确，而且还要高精度同步。采用（IEEE1588PTPv2）PrecisionTimeProtocol—精确时间协议来代替NTP是一个已被验证可行的实现高精度系统时钟及其同步的方案支持精准时钟协议Nexus3548专有硬件的精准时钟券商高性能低时延交易网络需求总结能够以极低时延提供巅峰性能的多播小包转发--–大多数高频交易应用的中间件软件如Tibco,29West,Wombat采用都是多播小包格式（当系统中采用万兆的服务器连接，发送到整个网络中的总流量非常容易就达到惊人的水平）恒定的低时延和拥塞状态下可预测的行为--–网络的目标是在最坏的拥塞情况下，网络也能够正常运转并持续保持最大的性能（这点非常非常重要）支持精确的性能监测--–当交易运行在微秒时延级别时，只有采用更为精确的时间同步机制如IEEE1588才能使精确的性能监测成为可能网络时延优化–交换券商高频交易背景和需求网络时延优化–交换（实测分析）应用时延优化–网卡、内存、闪存券商高频交易案例分享议程高频交易时延优化整体解决方案长江证券某大型期货交易所郑州商品交易所中原证券其它证券案例某证券公司测试分析–低延迟测试环境C210M2C210M1Redhat6.3Redhat6.3公司网络Eth02.2.2.1Eth02.2.2.2Mgmt0192.168.100.76Mgmt0192.168.100.77NEXUS3548WS-C3550

千兆双绞线万兆多模光纤生产测试环境服务器1：C210M2:

CPU:*2

内存：40G

网卡：solarflare6122F（双10G光纤接口）系统：redhat6.3（64位）网卡驱动软件：openonload-201210-u1.tgzTCP/UDP测试软件：sfnettest-1.5.0.tgz

netperf-2.6.0.tar.gz服务器2：C210M1:

CPU:

内存：8G

网卡：solarflare6122F（双10G光纤接口）系统：redhat6.3（64位）网卡驱动软件：openonload-201210-u1.tgzTCP/UDP测试软件：sfnettest-1.5.0.tgz

netperf-2.6.0.tar.gzNEXUS3548交换机：48口全万兆光纤交换机+enterprises(license)+algoboost(license)并开启急速模式。服务器1的ETH0(2.2.2.1)通过万兆光纤连接到NEXUS3548上，再从NEXUS3548的另一个接口通过万兆光纤连接到服务器2的ETH0(2.2.2.2)上。TCP/UDP以及NEXUS3548测试方法C210M2C210M1NEXUS3548测试一：使用测试软件测试服务器1通过NEXUS3548到服务器2的TCP/UDP的延时测试二：使用测试软件测试服务器1直接到服务器2的TCP/UDP的延时然后用，测试一的时间减去测试二的时间，得出NEXUS3548的转发延时。Sfnettest测试软件服务器1直连服务器2TCP延时Sfnettest测试软件服务器1经过3548服务器2TCP延时Sfnettest测试软件服务器1直连服务器2UDP延时Sfnettest测试软件服务器1经过3548服务器2UDP延时TCP/UDP以及NEXUS3548延时总结

TCP（32字节，时间单位纳秒）UDP（32字节，时间单位纳秒）

直连经过3548NEXUS3548直连经过3548NEXUS3548sfnettest软件3703390720434823628146网络时延优化–交换券商高频交易背景和需求网络时延优化–交换（实测分析）应用时延优化–网卡、内存、闪存券商高频交易案例分享议程高频交易时延优化整体解决方案长江证券某大型期货交易所郑州商品交易所中原证券其它证券案例ApplicationMiddleware/OpenMPIKernelMiddleware:~20usecOS/Kernel:~6usecNIC:~3usecNICNetwork:~5usecperhopApptoAppLatencyComponentsServerApptoAppStandardLatency~60usec应用的时延发生在哪里？Total:17uSec(w/nointerruptcoalescing)Network:~5usecperhopApptoAppLatencyComponentsCISCOALGORITHMBOOSTTECHNOLOGYVISIBILITYULTRA-LOWLATENCYPERFORMANCETotal:12.5uSec(w/nointerruptcoalescing)ApptoAppStandardLatencyImprovedByover4usec应用的时延发生在哪里？

–网络时延优化ApptoAppLatencyComponentsTotal:2.45uSec(withUSNIC)ApptoAppStandardLatencyImprovedBy~15usecOSKernelvEthApplicationusNIC应用的时延发生在哪里？

–网卡时延优化CiscoUserspaceNIC(usNIC)的特点从Linuxuserspace直接访问网卡硬件OperatingSystembypassViatheLinuxVerbsAPI超低延迟环境下的CiscoVIC卡2ndgeneration80GbpsCiscoASIC2x10GbpsEthernetportsPCIandmezzanineformfactorsHalf-roundtrip(HRT)ping-ponglatencies:Backtoback: 1.57μsMPIbacktoback: 1.85μsThroughMPI+N3548: 2.05μsmeasuredonXeonE5-2690v2servers网络时延优化–交换券商高频交易背景和需求网络时延优化–交换（实测分析）应用时延优化–网卡、内存、闪存券商高频交易案例分享议程高频交易时延优化整体解决方案长江证券某大型期货交易所郑州商品交易所中原证券其它证券案例证券行业案例分享－长江证券高频交易平台设计拓扑高频交易生产区Nexus3548思科解决方案采用超低延迟交换机N3548解决交易所高频交易网络中的延迟问题，思科产品配置N3548低延迟交换机*2台用户需求解决方案及收益所有参与大宗交易的服务器放在交易所托管中心，高性能交易平台有助于提升经纪业务的竞争力，争取更多的机构客户。业界领先超低时延性能，普通模式@≈250ns极速模式@≈190ns领先竞争对手Arista200多ns!高频交易等自动化高性能交易已成为国际证券行业的主流趋势专为高性能环境定制的思科芯片活动缓存监测提前检测拥塞精准时钟同步智能流量镜像以提供更佳性能分析高性能交易平台已成为在瞬息万变的市场执行最佳交易策略的关键，可以为自营业务带来巨大的利润空间久经考验，特性丰富的NX-OS二层/三层单播/组播全线速转发48端口SFP+单机架单元+40G对于长江证券这样的券商来说慢1毫秒，每年要损失上百万人民币！高频交易的目的是在每笔交易上以做得快、做得多取胜。在性能和功能方面引领着行业方向使下一代高性能网络成为可能证券行业案例分享－长江证券高频交易平台项目网络时延优化–交换券商高频交易背景和需求网络时延优化–交换（实测分析）应用时延优化–网卡、内存、闪存券商高频交易案例分享议程高频交易时延优化整体解决方案长江证券某大型期货交易所郑州商品交易所中原证券其它证券案例某大型期货交易所交易网低延迟拓扑设计低时延交换机万兆网卡接入订单区和行情区分离万兆无阻塞交换骨干带宽平滑升级安全边界部署在统一接入汇聚平台，ACL隔离组播发布行情数据，提高行情发布效率N3548*6N7004*2网络时延优化–交换券商高频交易背景和需求网络时延优化–交换（实测分析）应用时延优化–网卡、内存、闪存券商高频交易案例分享议程高频交易时延优化整体解决方案长江证券某大型期货交易所郑州商品交易所中原证券其它证券案例郑州商品交易所开发测试平台高频交易生产测试区CORENexus3548防火墙UCS

C460M4思科解决方案采取最高端的思科UCS

C460M4机架服务器，配置低延迟网卡usNIC采用超低延迟交换机N3548解决交易所高频交易网络中的延迟问题，思科产品配置UCSC460M4（usNIC）

*2台N3548低延迟交换机*2台用户需求解决方案及收益交易的超低延迟需求及未来高频交易技术储备及研究低延迟电子交易网络架构必须满足高频交易的需求，最大程度的解决计算、网络、I/O对交易产生的影响，而且必须从服务器、网卡、交换机三个层面都需要对低延迟的支持采取最高端的思科UCS

C460M4机架服务器，配置低延迟网卡usNIC；采用超低延迟交换机N3548解决交易所交易网络中的延迟问题。为郑州商品交易所高频交易研发平台打下了坚实的基础，解决用户未来在高频交易中可能产生的困扰。精确的时钟信号是显示信息相关性的重要因素高性能交易平台无法使用NTP作为时间同步协议，精确时钟同步是在算法交易环境中延时测量的另一个挑战。如网络设备的时钟以及服务器的时钟同步的准确度远远不能满足用微妙级的时间分辨率来观测交易的要求。采用基于思科N3K的接入交换机解决方案，满足精准时钟协议对显示信息相关性的网络需求。基于PTP的镜像网络架构针对交易用户的信息，需要通过对网络中数据的筛选和精炼，从而能够把网络设施的状态以及应用数据包之间的逻辑关系充分显示出来。通过思科N3K解决方案，在需要基于PTP的镜像网络架构下满足用户的交易用户信息需求。交易所行业案例分享－郑商所数据中心测试生产区项目交易生产测试区CORENexus3548防火墙UCS

C460M4网络时延优化–交换券商高频交易背景和需求网络时延优化–交换（实测分析）应用时延优化–网卡、内存、闪存券商高频交易案例分享议程高频交易时延优化整体解决方案长江证券某大型期货交易所郑州商品交易所中原证券其它证券案例证券行业案例分享－中原证券数据中心设计拓扑核心交换机VDC-AGG中原证券主数据中心核心网WAN银行接入区域分支机构接入区域期货接入区域证券交易所接入区业务生产区办公服务区运行管理区开发、测试区用户接入区数据库区域N7K-1N7K-2银行中原期货上海证券交易所深圳证券交易所郑东同城灾备中心CWDM中国联通中国电信中国移动链路负载均衡器互联网接入区用户需求解决方案及收益现阶段网络架构不够清晰，无明显的功能区域划分，各网络区域采用核心层+接入层