云计算网络课件第2章 数据中心网络技术

第2章数据中心网络技术数据中心网络概述数据中心网络拓扑结构大二层网络数据中心桥接数据中心网络技术2数据中心是云计算等应用的重要基础设施平台包括大量的服务器、存储和网络等硬件设备，以及运行在这些设备之上的操作系统和其它应用及管理软件还包括配套的冗余和备用电源系统、冗余的数据通信连接、环境控制系统（例如：温度控制、消防设施）和各种安全设备等等数据中心网络将服务器、存储设备、路由器/交换机等进行有效组网，并通过虚拟化构成资源池，为各种应用提供高带宽、低延迟和零丢包的网络通信环境数据中心网络概述3根据通信双方的实体类型，包括：服务器与服务器（Server-Server）之间的流量服务器与客户端（Server-Client）之间的流量数据中心网络流量特征4流量的大小，还可以将数据流分为两类大数据流（ElephantFlow）数据量大，需要传输较长时间，容易导致网络负载不均衡小数据流（MiceFlow）数量众多但都非常短小，对延迟非常敏感数据中心网络流量特征5来源：VL2:ascalableandflexibledatacenternetwork.ACMSIGCOMMComputingCommunicationReview,2009,39(4):51-62.万兆以太网IEEE802.3ae标准中定义，保持了IEEE802.3以太网的帧格式的兼容，可通过全双工模式提供了10Gbit/s的最高数据传输速率传输介质以光纤为主，支持6类或7类双绞线数据中心网络可基于万兆以太网等，使用iSCSI和FCoE等技术来实现网络融合，在以太网上同时传输存储和数据通信量，大幅降低了网络的成本。以太网和数据中心网络640G/100G以太网在IEEE802.3ba标准中定义，主要采用光纤作为传输介质解决了数据中心、运营商网络和其它流量密集的高性能计算环境中的应用宽带需求推动了数据中心内部虚拟化和网络融合等技术的进一步普及和发展以太网和数据中心网络7不同以太网技术的交换机市场占有率趋势以太网和数据中心网络8单位：十亿(Billion)9传统三层网络架构基于Clos拓扑的网络架构以服务器为核心的网络架构数据中心网络拓扑结构传统的大型数据中心网络通常采用三层（3-Tier）网络架构：以交换机为核心，也称为分层网络互连模型（Hierarchicalinternetworkingmodel）最早由Cisco针对企业网络设计提出。传统三层网络架构10接入层（AccessLayer）也称边缘层（EdgeLayer），将终端主机或服务器接入到物理网络中。接入层交换机通常位于机架顶部，所以也被称为ToR（TopofRack）交换机。一般为二层或三层交换，主要关注最小化端口成本。汇聚层（AggregationLayer）也称分发层（DistributionLayer），用于汇聚接入层交换机的流量一般采用三层交换机，提供路由功能的同时，还可提供其它的服务，如防火墙、ACL、QoS策略、入侵检测等等。传统三层网络架构11核心层（CoreLayer）主要用于提供高速率、高可靠性的数据转发服务，为多个汇聚层交换机之间提供高效的连通性。核心层交换机为通常为整个网络提供一个弹性的三层路由网络，采用高性能的路由器或三层交换机，支持高速率的网络技术，如10Gbps或100Gbps以太网等。传统三层网络架构12Clos网络架构由CharlesClos等人于1952年提出，用于解决电话网络中机电开关的性能和成本等问题采用多级设备来实现无阻塞的电路交换网络，并且通过数学理论证明了其可行性一般采用多级交换，典型的为三级交换结构，包括了Ingress节点、Middle节点和Egress节点组成基于Clos拓扑的网络架构13Spine-Leaf架构可以看作是将一个三层Clos网络架构对折，将Ingress和Egress节点放在同一边Leaf交换机相当于传统三层架构中的接入交换机（即ToR交换机），与物理服务器直接相连。Spine交换机相当于核心交换机，为Leaf交换机提供一个弹性的L3路由网络。基于Clos拓扑的网络架构14Fat-tree架构采用了基于Clos架构的三层交换机互联结构，可以在保证整个数据中心网络无阻塞传输的同时（Oversubscription为1:1）交换机有k个端口，可连接的服务器的总数达到k3/4台可以为任意两台服务器之间提供k2/4条冗余最短路径基于Clos拓扑的网络架构15通过在服务器上配置多个网卡，利用服务器软硬件平台的开放性和高可编程性，实现数据中心网络灵活的联网和路由等功能交换机一般只起到简单的纵横式交换的作用，并且网络一般可以通过递归的方式进行扩展典型的是微软亚洲研究院提出的DCell、FiConn、BCube等以服务器为核心的网络架构16数据中心虚拟化、资源的池化及弹性分配等需求，以及适应日益增长的东西向流量，要求数据中心网络能够提供一个“大二层”的网络环境“大二层网络”即整个数据中心网络都属于一个二层广播域二层网络环境下，虚拟机可以在任意的服务器上创建，或迁移到任何一台服务器上，而不需要对IP地址或者默认网关做修改多租户云平台中不同租户之间需要实现网络隔离，且租户内部还会有划分多个VLAN的需求数据中心“大二层网络”17MAC地址学习的问题节点数量庞大、虚拟机的迁移等生成树协议的问题阻断冗余链路，影响网络性能VLAN技术的局限IEEE802.1Q定义的VLAN标准最多支持4094个有效VLAN，无法满足云环境的需求网络安全问题BUM（Broadcast，UnknownUnicast，Multicast）风暴问题二层网络的困境18为利用数据中心网络的拓扑结构特点，提升网络性能，需摆脱STP等协议的局限性一种方案是实现二层的多路径传输（Layer2Multipath，L2MP），业界典型的代表包括IETF提出的多链路透明互联TRILL（TransparentInterconnectoflotsoflinks）IEEE提出的最短路径桥接SPB（ShortestPathBridging）此外还有如Cisco的FabricPath、Juniper的QFabric和Brocade的VCS（VirtualClusterSwitching）等多链路透明互联TRILL19TRILL将三层网络中基于链路状态的路由技术应用到二层网络中来充分利用数据中心网络中冗余的链路和节点实现基于数据中心全网的大二层网络摆脱STP协议的束缚，提升网络的性能和可扩展性支持TRILL的交换机被称为RBridge（RoutingBridge）相当于三层网络中的路由器的功能，用于在网络中实现二层网络上的多路径传输每个RBridge通过Nickname进行标识网络中不需要所有的交换机都支持TRILL多链路透明互联TRILL20TRILL在原始MAC帧外，添加一个TRILLHeader（相当于三层路由中的IP包头），和一个最外层的MAC帧头。TRILL帧封装21TRILL的路由算法采用的是基于链路状态的IS-IS（IntermediateSystemtoIntermediateSystem，中间系统到中间系统）路由协议由于IS-IS协议采用了TLV的编码机制，具有较好的灵活性，可以直接基于MAC地址实现基于IS-IS，TRILL可以在RBridge之间会建立邻居关系，并生成RBridge的拓扑，以及基于RBridgeNickname的路由表。TRILL还会维护每个虚拟机的MAC地址和其所在RBridge的Nickname之间的映射关系TRILL路由22TRILL帧的转发过程如下：多链路透明互联TRILL23数据中心桥接DCB（DataCenterBridging）包含了由IEEE制定的一系列的协议集合（IEEE802.1）可以能够适应不同类型应用服务的需求数据中心桥接DCB24基于万兆及更高速率的以太网技术，DCB主要包括四个方面的内容基于优先级的流量控制机制PFC（Priorit-basedFlowControl）多级调度的增强传输选择机制ETS（EnhancedTransmissionSelection）基于反馈的量化拥塞通知QCN（QuantizedCongestionNotification）提供DCB自动化配置和保持兼容性的DCBx（DataCenterBridgingexchange）数据中心桥接DCB25PFC（定义在IEEE802.1Qbb标准中）在IEEE802.3x的PAUSE帧基础上进行了改进在以太网链路上进行流量区分，最多可以支持8个优先级（实际使用中，一般只用到2～3个优先级）发送和接收数据的交换机在内存中划分不同的内存分区（即优先级队列），分别构成了互相独立的优先级通道基于优先级的流量控制PFC26ETS（

定义在IEEE802.1Qaz标准中

）将传统网络QoS的带宽管理方法，移植到了基于PFC的以太网环境中对8个优先级通道，赋予了不同的带宽限制在保证业务流量获取其所需的带宽的同时，不会影响其它的业务流量不同类型的业务流量归类为不同的优先级组PG（Prioritygroup），每个PG分配一个PGID（PriorityGroupID），取值在0～7之间，分别对应一个带宽的百分比，代表最小保证带宽增强传输选择ETS27QCN机制（

定义在IEEE802.1Qau标准中）QCN是一种可以直接溯源、可量化调整的拥塞控制机制在交换机的出口设置拥塞控制检测点，通过周期性随机采样等方式进行分析当拥塞发生时，会基于数据帧的源MAC地址，向流量源头的网卡直接发送CNM（CongestionNotificationMessages）消息该网卡会根据CNM的内容，对相应的入口队列进行速率限制，根据反馈信息定量地减少发送流量的速率当一段时间内没有收到CNM消息，会通过算法恢复发送速率，保证在拥塞解除后能够充分利用网络带宽。量化拥塞通知QCN28DCBx（定义在IEEE802.1Qaz中），用于完成交换机之间的自动协商协议DCBx是基于链路层发现协议LLDP（LinkLayerDiscoveryProtocol）协议实现一方面实