腾讯云网络架构设计实践

腾讯云网络架构设计实践

——高可靠、高性能、低时延、大规模、平滑升级腾讯云网络产品中心周显平目录公有云用户视图下的云网络公有云虚拟化云网络的挑战腾讯云虚拟化云网络架构Vswitch的高性能设计Vswitch的平滑升级设计端到端的时延优化设计云联网跨域时延优化设计BGPAnycastIP公网加速VM热迁移网络中断时间优化大规模流表的管理设计用户视图下的虚拟化云网络用户在控制台操作即可实现：

云上网络的规划设计、部署建设、运营监控和计量计费虚拟化云网络的挑战高可靠：跨可用区容灾、故障快速自愈大规模公有云的云网络运营过程中，用户对云网络对要求和期望越来越高，也是我们的挑战和目标：变更透明：升级无中断、bugfix/优化/新特性可快速迭代上线高性能：高吞吐量、低时延大规模：60KVMs/vpc、百万私有网络、流表快速下发热迁移：VM热迁移中断时间<100ms，减少物理机维护对业务影响anycastvip(Region级网关集群)腾讯云虚拟化云网络架构HostAVMAVMXVirtualSwitchAvailablezoneⅠHostBVMOVMEVirtualSwitchHostCVMBVMyVirtualSwitchAvailablezoneⅡHostDVMPVMFVirtualSwitchRegionXXFlowtableproxyFlowtableproxySDNGWSDNGWFlowtableproxyFlowtableproxySDNregioncontrollerSDNregioncontrollerSDNGWSDNGW云联网DCI客户IDCHostHostISPBGPpeer专线接入BGPpeerSDNGW包括:VPCGW、CCNGW、MCGW、CLBGW、IGW。GlobaSDNcontrollerclusterHost高性能virtualSwitchuserspacefastpathVM通信通道会话查询action执行packetIOpacketIO物理网卡配置变更VMslowpathKernel安全组分布式交换机分布式路由器NATLBFlowtableproxyFlowtableproxyFlowtableagentFlowtable物理网卡Slowpath流量占比小于20%fastpath流量占比大于80%Miss上送Miss上送Vswitch主要实现分布式虚拟交换机、分布式虚拟路由器.基于GRE协议的overlay封装，与underlay网络解耦。快慢路径分离，显著提升转发性能。Fastpath独占cpu，不抢占guestVM的cpuFastpath的包转发性能提升10倍，包转发时延降低50%。Fastpath和slowpath框架统一适配多种异构平台(DPDK、smartnic、FPGA)Hostslowpath升级变更无感知userspacefastpath通信通道KernelslowpathFlowtableproxyFlowtableagentOldvswitchFlowtableTmpvswitchFlowtableHostuserspacefastpath通信通道KernelslowpathFlowtableproxyFlowtableagentOldvswitchFlowtableTmpvswitchFlowtableHostuserspacefastpath通信通道KernelslowpathFlowtableproxyFlowtableagentnewvswitchFlowtableTmpvswitchFlowtableHostuserspacefastpath通信通道KernelslowpathFlowtableproxyFlowtableagentnewvswitchFlowtable完成安装tmpvswitch完成tmpviswitch的流表安装1打开开关将流量切换到tmpvswitch2删除旧vswitch安装先vswitch，并安装流表3关闭开关将流量切换到新vswitch，并删除tmpvswitch4升级过程的网络中断时间从500ms优化到几乎为0Hostfastpath升级变更无感知userspace通信通道slowpathFlowtableproxyFlowtableagentvswitchFlowtable网卡将数据包发给VF1启动newfastpath进程初始化VF21切换vring由newfastpath收发包切换网卡收发包到VF22关闭oldfastpath，完成升级3VMoldfastpathnewfastpathNIC(SRIOV)VF1VF2vringHostuserspace通信通道slowpathFlowtableproxyFlowtableagentvswitchFlowtableVMoldfastpathnewfastpathNIC(SRIOV)VF1VF2vringHostuserspace通信通道slowpathFlowtableproxyFlowtableagentvswitchFlowtableVMnewfastpathNIC(SRIOV)VF2vringanycastvip(Region级网关集群)端到端就近接入和就近调度HostAVMAVMXVirtualSwitchAvailablezoneⅠHostBVMOVMEVirtualSwitchHostCVMBVMyVirtualSwitchAvailablezoneⅡHostDVMPVMFVirtualSwitchRegionXXSDNGWSDNGWSDNGWSDNGW客户IDCHostHost基础服务RS基础服务RS基础服务RS基础服务RS专线客户IDCHostHost专线分布式就近部署SDNGW。统一Anycastvip提供服务。Underlay最短路径选路确保时延最小。单设备、单zone设备故障，underlay路由自动收敛后故障自愈。减少跨zone流量，降低业务抖动概率。1、跨可用区容灾2、访问时延降低3~5倍云联网跨城流量分级调度40ms25ms30ms45ms挑战：光缆物理路径不同，时延不等，时延抖动明显。方案：端到端的探测隧道延时，通过算法聚合分类线路，根据业务要求分级调度。加速故障收敛：周期探测隧道，实时踢除不健康隧道，快速感知线路故障并且自愈。收敛时间与DCIunderlay网络解耦。38ms27ms32ms43ms开启前后时延对比DCI云联网对延时敏感的业务可调度走最优链路TencentCloudNetwork省内pop点省pop点腾讯云骨干网useruser腾讯云骨干网腾讯云骨干网InternetInternet长距离传输走腾讯云DCI专线短距离走运营商公网BGPAnycast公网加速AnycastBGPip和普通BGPip时延对比全地域同服：

使用同一个ip提供服务，简化DNS、备案等管理。多出口容灾：

多公网出口同时提供服务，出口故障自动切换容灾。分布式抗攻击：多公网出口同时DDOS防护。跨域传输加速：公网就近接入pop点，长距离走腾讯云DCI专线，减小网络时延。公网抖动降低80%，丢包率降低50%，延迟减少35%userInternet普通BGPIPAnycastBGPIPVM热迁移网络中断时间优化开始热迁移迭代迁移脏内存迁移最后的脏内存迁移寄存器virtio状态更新映射关系热迁移完成流量不再中转，正常收发子机在源母机停机(100ms内)子机在目的母机迭代迁移会话表迁移最后的流表开启源母机代理周边模块映射关系生效子机在源母机目的母机上开机VMrunningVMrunningVMstopVMrunningVMrunning大规模私有网络流表的管理HostAVMAVMXVirtualSwitchAvailablezoneⅠHostBVMOVMEVirtualSwitchHostCVMBVMyVirtualSwitchAvailablezoneⅡHostDVMPVMFVirtualSwitchRegionXXFlowtableproxyFlowtableproxySDNGWSDNGWFlowtableproxyFlowtableproxyS