优化高频交易系统时延

CiscoLowLatency Phase Solution:使 通讯链Phase Phase Solution:高 系统的引©2010Ciscoand/oritsaffiliates.All 由于HFT占整个市场量的2/3高频的目的是在每笔上多取胜。要快一定得在所托 ©2010Ciscoand/oritsaffiliates.All © © 由几百台高速服务器每台高速服务器接入三个不同性：OrderFlowNetwork–订单网，与客连，一对一的通讯形式，数据量很MarketDataNetwork行情数据网用来接收所等送来的行情数据，单向组MessagingBus消息总线网，服务器采来互通信息，通讯方式是IPUDP短包网

在任何负载下交换机必须保证息然保持息包组播和单播低时延的©2010Ciscoand/oritsaffiliates.All 卖委托单排序、撮合配对并产生实 会员单主备温三 备实时同 ©2010Ciscoand/oritsaffiliates.All 在高性 提到的“RacetoZero”（向0时延的竞争（），通过网络传输，在另一台主机目的地）(actDopDe)排队时延(QueuingDelay)、交换时延(NominalSwitchDelay)、时延(PropagationDelay)和串行时延(SerializationDelay)，而这些时延累加起来就是数据在服务器外部的总时延通过kernalbypass、TCP卸载RemoteDataMemory（RDMA）等技术都极大地低了服务器内部的时 ©2010Ciscoand/oritsaffiliates.All Nexus3548©2014Ciscoand/oritsaffiliates.All 传输模型外，最主要的就是提升网络的带宽到10G、40G甚至100G，这样即使在流量发生Microburst情况下，网络©2012Ciscoand/oritsaffiliates.All QueuingDelay(variableQueueSiz512Kb/2Mb/10Mb/100Mb/1Gb/9KB141ms36ms7.2ms0.7ms0.07ms32KB500ms128ms25.6ms2.56ms0.25ms64KB1000ms256ms51.2ms5.12ms0.51ms128KB2000ms512ms102ms10.2ms1ms©2012Ciscoand/oritsaffiliates.All （switchonchip） 上©2012Ciscoand/oritsaffiliates.All

普通模式@

时延测试包括平均时平均时（纳秒0

极速模式@ 9216数据包大小（字节业界领先时延性

普通模式–全扩展表项极速SPAN–不对数据做处在性能和功能方面引领着行业方

超低时活动缓存监测提前检测拥网络地址翻译不影响任何性精准时钟同智能流量镜像以提供

---MulticastFASTPITCH15 第三 所来从BATS实时接受市场行情数据。 1秒为单 拥塞阀值没有超5分钟为单 5毫秒为单 拥塞阀值超

处理微小突发流

数据报

高性 特网络地址

4K硬 静态或动

如：Tibco29WestLBM。短包（80~100字节长）目前大型系统，如自动做市系统，由200~400个市 每组（EachMulticastGroup）包含20 组吗 对网络设备的组播要求显著提高网络设备必须能处理10,000©2012Ciscoand/oritsaffiliates.All 所O 所托管O

行情数据分消息总HFT机， 所送过来的市场数据以传统监测工具的精度已不能满足高性 的要传统监测工具的采样频率以秒为时间单位，低时 需要以微秒作为量的基本时间单在电 过程中，每 往往是由几个计算机进程来完成的，新的延测量技术必须能测高性 平台无法使用NTP作为时间同步协议，精确时钟同步是在算环境中延时测量的另能 了出个算程执时相服务且要精同。采用（IEEE1588PTPv2）PrecisionTimeProtocol—精确时间协议来代NTP是一个已被验证可行的实现高精度系统时钟及其同步的方精准时 最高支持81路镜1采样和过

分析 精准时钟时间 2精

可编SDN—Cisco系统阀开机自动 AVgAVgLatency0-Testwasrunwith48portsat100%-IxNetwork6.10:RFC2544&©2010Ciscoand/oritsaffiliates.All Cisco 公司 Redhat6.3

Redhat

NEXUS千兆双绞 万兆多模光并开启急速模服务器 服务器 CPU:E5649@2.53GHz*内存网卡：solarflare6122F（双10G光纤接口）系统：redhat6.3（64位）网卡驱动软件：openonload-201210-TCP/UDP测试软件：sfnettest-netperf-

内存网卡：solarflare6122F（双10G光纤接口）系统：redhat6.3（64位）网卡驱动软件：openonload-201210-TCP/UDP测试软件：sfnettest-netperf-

NEXUS1通过NEXUS3548到服务器2的

然后用，测试一的时间减去测试二的时间，得出NEXUS3548TCP（32字节，时间单位纳秒UDP（32字节，时间单位纳秒直经过NEXUS直经过NEXUSUserspaceNIC©2014Ciscoand/oritsaffiliates.All CiscoUserSpaceNICusNIC概KernelBypassTechnologyforLowusNIC是什么基于CiscoVIC1200的低时延技术什么我们需要10G:VIC1200，NexusN3548,N5K,40Gb:VIC1285dual©2014Ciscoand/oritsaffiliates.All 应用端到端时延(inWare,1,6%Middleware/OpenMPI

Network,

2,12%NIC,9,©2014Ciscoand/oritsaffiliates.All

Total:17uSec(w/no延

Optimised,CISCOBOOSTCISCOBOOST

Ware,1,

2,Network,NIC,9,ApptoAppStandardLatencyImprovedBy 延

Ware,1,6%CISCOBOOSTCISCOBOOST4.75,0.25,1NIC,9,Total:12.5uSec(w/noApptoAppStandardLatencyImprovedBy 应用端到端时延

Ware,1,6%2,12%4.75,0.25,1NIC,9,Total:12.5uSec(w/noApptoAppStandardLatencyImprovedByover应用端到端时延

Ware,

0,NIC,0.25,14.55,Total:2.45uSec(withApptoAppStandardLatencyImprovedBy~usNIC系统架

Userspacesockets

UserspaceverbsTCPGeneralEthernetCiscoVIC

andVerbsIBCiscoUSNIC

SendandfastpathCiscoVICCiscoCiscoVIC©2014Ciscoand/oritsaffiliates.All (CiscoUserSpace

UDusNIC

usNICLinuxEnic VIC

VIC©2013CiscoSystems,Inc.All 时延0.00

mpi.outcp.ouverbs.ou

NetPIPEtimesforTCPandUSNIC:Latenci0.0001e-051e-061©2014Ciscoand/oritsaffiliates.All

10 100Buffersize

1000 10000CiscoUserspaceNICusNIC)特从Linuxuserspace直 网卡硬OperatingSystemViatheLinuxVerbsUtilizesCiscoVirtualInterface(VIC)forultra-lowEthernet2ndgeneration80GbpsCisco2x10GbpsEthernetPCIandmezzanineformHalf-roundtrip -ponglatenciesBacktoMPIbacktoThrough

measuredonXeonE5-2690v2©2014Ciscoand/oritsaffiliates.All ©2014Ciscoand/oritsaffiliates.Allrights CiscoUCSC220M3Rack E5-2690Processor2.9GHz(3.3GHzTurbo),2Socket,81600MHzDDR3Memory,8GBx16,128GBCiscoVIC1225withUltraLowLatencyNetworkingusNICCiscoNexus48Port10GbpsUltraLowLatencyEthernetNetworkingOS:Centos6.4,Kernel:2.6.32-358.el6.x86_64Lmbench(verNetPIPE(ver MPI arks(verHighPerformanceLinpack(verOther: CCompiler(ver13.0.1),OpenMPI(ver1.6.5),CiscousNIC©2014Ciscoand/oritsaffiliates.All (CiscoUCSC220M3Serverwith E5-2690

20MBL3 QPILatencyLatency32KBL1

256KBL20 Local Remote©2014Ciscoand/oritsaffiliates.All 内存带宽(CiscoUCSC220M3Serverwith E5-26900

32

L1

KBL2

20MBL3

Local Read-©2014Ciscoand/oritsaffiliates.All Open

260UDVerbsVIC

5001200

Nexus

200©2014Ciscoand/oritsaffiliates.All (PointtoPointwithNexus3548

Gbps ThroughputThroughputLatencyLatency

MessageSizeCiscousNIC CiscousNIC©2014Ciscoand/oritsaffiliates.All (SendRecv&

FullBi-directionalPerformancebothExchangeandThroughputThroughputyy

usecsSendRecvLatencyusecsExchange

MessageSize

SendRecvThroughputSendRecvLatency

ExchangeThroughputExchangeLatency©2014Ciscoand/oritsaffiliates.All CiscousNIC配合CiscoNexus35482.16usecs时延通过smallmessageswithOpenCiscousNIC集成开放源Open 在高 ©2014Ciscoand/oritsaffiliates.All ，兴 ，广 所，东 总线网络，平安金融科©2014Ciscoand/oritsaffiliates.All UCSInvicta©2014Ciscoand/oritsaffiliate