2022IT云负载均衡技术白皮书

IIIIIT云负载均衡技术白皮书PAGE\*ROMANPAGE\*ROMANIV目录前言 III一、背景 1（一）硬件负载均衡器在中国移动IT云的应用 1（二）硬件负载均衡器的局限性 2硬件负载均衡的租户业务支撑能力受架构、技术限制 2硬件负载均衡定制化开发成本高 3应用负载均衡器在中国移动IT云的应用 3二、应用负载均衡器技术原理 4（一）应用负载均衡器数据平面使用的技术 4OVS+DPDK技术 4SR-IOV技术 5OVS+DPDK与SR-IOV技术对比 6（二）应用负载均衡器与云平台对接技术 8声明式API对接技术 9LBaaS对接技术 10LBaaS对接与API对接技术对比 11（三）应用负载均衡器管理平面部署方案 11带外管理方式 11带内管理方式 12带外管理与带内管理方案对比 12三、中国移动IT云应用负载均衡器部署方案 13（一）中国移动IT云应用负载均衡器的组网方案 13（二）中国移动IT云应用负载均衡器部署方案 1410G网卡服务器vLB部署方案 1425G网卡服务器vLB部署方案 15网卡部署方案的选择 16（三）vLB高可靠性方案 16四、技术展望 17（一）通过智能网卡卸载HTTPS流量 17（二）支持带外管理 20五、缩略语 21PAGEPAGE10一、背景（一）硬件负载均衡器在中国移动IT云的应用当前，国内云计算处于高速发展期，随着云计算在降本增效、资源配置优化等方面的价值凸显，越来越多的企业纷纷规划和建设了各类云计算数据中心，利用云计算技术支撑和满足IT系统建设。ITITIT业务网络划分为多个POD，PODOpenStackSDN（虚拟交换机、SDN）、SDN采用传统组网方式。PODPOD图1IT云区域中心资源池节点网络拓扑图ITOpenStackLBaaSOpenStackLBaaSv2EPCECOpenStackAPI行交互；LBLBaaSECLBLBaaS图2IT云硬件负载均衡器部署架构图（二）硬件负载均衡器的局限性硬件负载均衡的租户业务支撑能力受架构、技术限制ITOpenStackLBSDNITIT表1IT云区域中心硬件负载均衡功能局限性问题分类案例分析负载策略部分个性化LB功能需求难以全部实现：OpenStackLB（七层内容改写、SNI、访问控制等）、特殊应用协议（udp,ftp,dns,Radauth,Radacct等）。业务监控租户缺少对LB上运行的业务健康状态的感知和性能监控：多省专业务上云后，提出租户界面无法进行租户级业务监控，原生Neutron不支持，影响故障定位和运维效率，如业务状态监控（LB、成员状态等）/业务性能监控、可定义的健康探测方法（Http1.0/2.0健康检查、基于网页内容的健康检查、业务分发端口与健康检查端口为不同端口等）。数据类型无法灵活支持特殊业务场景：多省业务需传输视频类或者大文件类，目前架构下多租户共享无法满足不同部署模式，Openstack硬件负载均衡定制化开发成本高IT备原厂多方配合，云管平台、远端模块多技术栈、原厂多个集采厂家的研发能ITIT能的软件产品，具备可动态迁移，弹性扩容等属性，实现灵活的调度与管理，IT管平台租户界面，实现应用负载均衡业务的开通和配置。图3IT云应用负载均衡部署架构OpenStackL4负载能力；L4OpenStack二、应用负载均衡器技术原理（一）应用负载均衡器数据平面使用的技术应用负载均衡器采用虚拟交换机部署，虚拟设备的性能会随着宿主机的性能变化，另外宿主机需要进行数据处理，时延也会产生。针对上述问题，提出DPDKSR-IOVIDCOVS+DPDKDPDK（DataPlaneDevelopmentKit）6Wind、Intel的数据平面开发工具包。主要解决内核收发包时的一些弊端：的中断会产生较高的性能开销，并造成上下文的切换产生时延；DMALinux50%以上；CPUCPUCPU0CPU2，CPU失效。相比Linux内核收发包，DPDK有下面一系列的优势：BypassUIO（UserspaceI/O）旁路数据包，实现用户态数据包收发，减少上下文切换及内存拷贝；CPUCPU进行一比一绑定，减少彼此之间调度切换；（3）使用大页内存代替普通内存；（4）采用无锁技术。OVS（OpenvSwitch）是一款高质量的开源虚拟交换机，运行在HypervisorOVSOVSLinux图4OVS和OVS+DPDK技术架构图DPDKOVSvSwitch，OVSSR-IOVSR-IOV（SingleRootI/OVirtualization）技术是一种基于硬件的虚拟化解决方案，可提高性能和可伸缩性。SR-IOV（PeripheralComponentInterconnectExpress，快速外设组件互连）设备，并且在硬件设备中实现，可以获得能够与本机性能媲美的I/O性能。图5SR-IOV技术架构图SR-IOV特点如下：性能——从虚拟机环境直接访问硬件；布线、减少交换机端口。OVS+DPDKSR-IOV数据中心存在东西向流量与南北向流量，在同一个服务器内的东西向流量，DPDKSR-IOVSR-IOV，SR-IOV针对东西向流量，DPDK优化效果更好，下图为东西向流量场景下DPDK与SR-IOV的性能测试数据。图6东西向流量场景下DPDK与SR-IOV测试数据针对南北向流量，SR-IOV优化效果更好，下图为南北向流量场景下DPDK与SR-IOV的性能测试数据。图7南北向流量场景下DPDK与SR-IOV测试数据（二）应用负载均衡器与云平台对接技术应用负载均衡器作为独立网元，以虚机或软件形式部署在通用服务器上，APIL2-L3L4-L7为了实现软负载初始化配置，采用Cloud-initCloud-init一个支持多操作系统的软件包，用于处理云主机早期的初始化操作。当系统启动时，Cloud-initDataSourceMetadata（NovaMetadataConfigDrive（ConfigDriveOpenStackMetadataConfigDrive，InstanceInstance，Metadata）），完成包括但不限于以下定制化工作：DefaultSSHSSHKEYS.ssh/authorized_keys设置临时挂载点；设置用户密码；配置网络；安装软件包。图8软负载定制化实例配置软负载启动后，需进行许可的统一激活，业内主流采用LicenseManagementServer（简称LMS）来进行软负载的定制化许可下发及回收。LMS服务对外提供API接口给云平台，云平台完成软负载初始化创建后，通过API接口下发许可签发或回收操作。图9云管平台下发或回收License流程初始化并激活软负载实例后，云平台作为管理控制面，可通过两种形式与应用负载均衡器对接：LBaaSAPIAPI声明式API由应用负载均衡器提供，云平台声明目标业务配置内容，通过声明式API一次性下发给应用负载均衡器，整体架构如下：图10应用负载均衡器声明式API对接模式部署架构该模式下云平台与应用负载均衡器直接连接，通过声明式APIL7仅需扩展声明式接口模型。LBaaSLBaaSOpenStackNeutron的负载均衡器服务插件，云平台将NeutronServerSDNLBaaSAgent，再下发到应用负载均衡器，整体架构如下：图11应用负载均衡器LBaaS对接模式部署架构该对接模式与硬件负载均衡器类似，可复用大部分现有私有云平台体系，L7活多变，LBaaSLBaaS型以满足需求，然而这类改造对现有体系的影响较大，依赖各大SDN厂商的配合，同时频繁的扩展会造成原有稳定的L4、L7业务的不稳定性。LBaaSAPILBssS对接与声明式API对接技术云管平台对比如下：对比项LBaaS声明式API兼容性可利用现有LBaaS框架需新开发LBAPI与控制器扩展性扩展性较差，接口模型扩展涉及多个层级组件，依赖SDN厂商与负载均衡等多方配合扩展性较好，接口模型扩展涉及层级组件少，仅需支持新的声明配置模型易集成新SDN控制器及负载均衡厂商接入成本高新负载均衡厂商接入成本低配置性能链路较长，端到端配置性能有影响链路短，端到端配置性能影响小可运维链路较长，问题定位难度较大链路短，问题定位难度较小厂商支持程度厂商支持程度有差异，从无到有支持的难度较大厂商支持程度有差异，从无到有支持的难度较小技术趋势OpenStack版本迭代较慢，且版本间兼容性较差，各厂商支持情况不一致符合云原生及基础设施即代码的理念，已在Kubernetes中被大量实践（三）应用负载均衡器管理平面部署方案带外管理方式vNIC接口上，使得管理平面与业务平面独立和隔离，使用不同的物理接口。此部署vNICSR-IOV图12软负载带外管理部署方式带内管理方式vNICvNIC同时为兼顾管理平面和业务平面的隔离性，可在SDNVRF，将应用负载均衡器的管理和业务平面进行一定的网络隔离。图13软负载带内管理部署方式带外管理与带内管理方案对比软负载带外管理与带内管理方案对比如下：对比项独立带外管理带内管理通用性业务接口可采用SR-IOV技术标准，相对OVS+DPDK技术更成熟，易用性更好业务接口采用OVS+DPDK，两者演进相互依赖和紧耦合；SDN控制器和网关针对OVS有一定的定制化，需进行不同厂家和版本的适配安全性管理和业务接口完全物理独立和隔离，安全性更好，可直接通过管理TOR交换机接入管理域vSwitch，管理平面和业务平面无法完全物理隔离，会彼此相互影响易集成通用性更好，与SDN厂家松耦合，更容易集成和标准、版本统一与SDN厂家提供的OVS+DPDK紧耦合，有一定集成工作量，且后续OVS+DPDK版本迭代后，可能需要重新适配性能业务接口采用SR-IOV网卡直通模型，性能更高，延迟更低业务接口通过vSwitch转发，性能受限，vSwitch会成为转发性能瓶颈，不适合高吞吐性能场景资源占用业务接口采用SR-IOV模型无额外系统资源占用，仅管理口启用vSwitch，资源占用少vSwitch额外需占用至少8个CPU虚拟core，资源占用更大厂商支持程度有差异，云平台和SDN厂家存在一定的开发工作量，并需要在资源池中验证版本随存在差异，但现网资源池已部署和使用，云平台和SDN厂家开发工作量小技术趋势高性能需求场景下，普遍采用业务接口普遍采用SR-IOV模式无法支持高性能需求场景，过渡依赖OS层，未来提升空间有限三、中国移动IT云应用负载均衡器部署方案（一）中国移动IT云应用负载均衡器的组网方案IT，SDNVxLAN应用负载均衡器作为独立的网元，以虚机或软件形式部署在业务网络中通用服务器上，并有如下要求：1vSwitchvSwitchVxLAN网络，VTEPvSwitch2、vLBSNATSDNvLBSDNvLB3、一个租户可以申请多个vLB，每个vLB只给一个租户提供服务；4、通过云平台实现vLB的安装部署和业务配置；5、vLB的VIP与浮动IP1:1映射。图14移动IT云组网架构图（二）中国移动IT云应用负载均衡器部署方案ITC1CPU，40Core810G25GvLB4Core，CoreOVSCore以及端口冗余，每台服务器建议部署7vLB10G825G41．10G网卡服务器vLB部署方案10GvLB10GEvLB1vNIC（vNIC1）、1vNIC（vNIC2），无需DFSvNIC；vNICvNICOVS425GE网口，425GEBound，TOR；业务网络和管理网络通过不同的VRF进行隔离。图15应用负载均衡在10G网卡服务器部署方案相应技术要求如下：vLBOVS须支持绑定8个物理网口；LeafLACP82．25GvLB25GvLB25GEvLB1vNIC（vNIC1）、1vNIC（vNIC2），无需DFSvNIC；vNICvNICOVS425GE网口，425GEBound，TOR；业务网络和管理网络通过不同的VRF进行隔离。图16应用负载均衡在25G网卡服务器部署方案相应技术要求如下：vLBOVS须支持绑定4个物理网口；LeafLACP43．网卡部署方案的选择10G25G25G（三）vLB高可靠性方案vLBHAvLBvLB障时主备vLB同时失效；vLBvLBvLB主备vLB之间支持会话同步以保证业务连续性。图17应用负载均衡高可靠方案四、技术展望（一）通过智能网卡卸载HTTPS流量在基于云的架构中，软件化的负载均衡被越来越多的使用和部署，对于应用负载均衡而言，优点在于灵活性和弹性扩展，但缺点是无法媲美硬件的性能。硬件负载均衡设备绝大多数通过在设备主板或控制板卡中集成专用芯片来提升设备底层数据包处理能力和延迟，并通过FPGA可编程芯片提升抵御DDoS攻击和四层TCP建立连接和吞吐能力。为了弥补应用负载均衡器在性能方面的不足，业界普遍采用的方案是通过在宿主机安装智能网卡，将CPU密集型功能卸载到宿主机的硬件智能网卡和SSL/TLSCPUDDoSSSL/TLSFPGALB智能网卡对应用负载均衡器辅助增强的典型场景：（1）降低应用负载均衡器的系统资源消耗；（2）四层负载均衡能力加速；NAT44/NAT64DDoS针对IT云的现网部署和需求情况，提出以下两个典型应用场景。场景一：集成IntelQAT优化在云/VNF环境下的SSL/TLS卸载性能：SSL性能加速——提升四到五倍的并发请求数；GBSSLCPUCPU场景二：将网络功能卸载到支持FPGA的智能网卡，显著提高云/VNF环境中的性能：DDoSDDoSCPU70%左右，节省百分之四十左右的总费用；DDoSDoS,DoS向量。以下是在应用负载均衡器+宿主机智能网卡绑定/L4迟的测试对比，通过测试可以看到绑定智能网卡的情况下，极大的缩短了应用负载均衡器响应延迟。L4SmartNICOffloadDisabled L4SmartNICOffloadEnabledLatency497μs（50μs的交换机延迟）Latency54μs（50μs）图18引入智能网卡前后应用负载均衡响应时间测试此外，通过智能网卡，能够在提升应用负载均衡器四层吞吐能力的同时，CPUCPU表2引入智能网卡前后CPU资源消耗测试L4ThroughputGPUUtilization应用负载均衡器不使用