浅析数据中心网络布线架构

1、浅析数据中心网络布线架构数据中心布线架构基于网络架构，但又有其独立性。布线架构既要支撑网络架构，同时也要实现便利的管理功能和可灵活调整、易于扩展的能力。毕竟，在配线架上进行维护操作，都远优于直接到设备端口上进行操作。目前，常见的数据中心网络布线架构，主要有三种：区域分布式（ zone-distribution ）、直连式（ direct-connect ）和置顶式 ToR（ top-of-rack ）。采用何种架构主要取决于服务器的种类和大小，以及对业务和操作等方面的考虑。面对不同需求，每种架构均有优劣。区域分布式架构区域分布式是一种典型的布线架构，这种布线架构是结构化布线，作为 TIA-94

2、2 数据中心标准中所推荐的架构，它的特点是模块化和灵活。在电缆的数量成本、管理性、有源设备利用率方面，它是性价比最佳的选择，适合中大型数据中心，能够适应不同的网络架构。区域分布式架构主要分为三种：端列头交换（ End-of-Row/EoR Switching）列头柜在每列机柜的两端的方式； 中间列头交换 （ Middle-of-Row/MoR Switching ）列头柜在每列机柜的中间位置；独立网络机柜或机架（ Standalone network cabinets or racks/Network POD ）在区域中设置独立的区域放置布线和网络设备。EoR（ End-of-Row）是最常用

3、的方法。在列头柜中用一个核心汇聚交换机去支持一个或更多的机架。因为网口集中，这种方法通常性价比较高。同时，这种方法也是最不需要考虑服务器特性的方法，它能提供最大的灵活性同时支持不同的服务器。在某些情况下，EoR还具有提高性能的优势，比如需要交换大量信息的两台服务器可以放在同一张交换机板卡上，相对于板卡到板卡或者是交换机到交换机的交换方式，这种方法会更快。EoR的主要缺点则是需要大量的跳线连到交换机，布线的成本相对较高，大量的数据线也会降低冷却系统的通风量。MoR（ Middle-of-Row ）跟 EoR类似，区别只是摆放头柜的位置。 EoR是把设备头柜放到两边， 而 MoR 则是把设备头柜放

4、在中间。 一般来说， MoR 对布线的跳线和管理较 EoR更好，因为跳线是分向两侧管理的。简单理解 Network POD 就是区域布线，类似于TIA-942的 ZDA 区域布线区的概念。对于大型的机房或者区域机房，选择其中的一列或者独立的几个机柜或机架作为区域的配线管理区。 POD 布线方式也是目前比较流行的方式之一。一般情况下， 810 台机柜的两边就要增加空间， 所以单列放置列头柜不一定是最佳的选择，在几列或者功能区中集中选择一些机柜或机架作为配线区，可以增加管理维护的便利性。直连式架构直连式（ direct-connect ）架构即将所有的服务器直接连接到主配线区 MDA 或头柜 HA

5、D，中间不经过配线架转接。对于小型和中型规模的数据中心，管理的设备量和线缆量数量有限，直连式不失为一个好的选择。另外，对于 SAN 网络的布线，一般存储设备线缆连接后很少变化，也可以考虑采用直连方式。置顶式置顶式 ToR（ top-of-rack ）是常用的架构。这种架构将1RU 高的接入层交换机放在机架顶部，而机架上的所有服务器直接连接到交换机。需要密集部署服务器时，通常会采用ToR架构。例如集群环境、负载均衡应用、Web 搜索引擎或虚拟化应用等，因为这种情况下每个服务器都需要多个网络连接。ToR的优点是可以在单个机柜中实现共享不同服务器的处理器，用体积较少的光缆连到汇聚层，铜缆主要集中在机

6、架里。缺点是可能因为没有足够的服务器端口连接到交换机的端口，造成设备的浪费。同时，由于上联光纤较少，一旦将来改变结构或是提升网络设备速度时，就会产生问题。另外，在三级或四级数据中心内， 交换机是需要左右备份的，增加冗余接入层交换机可能造成成本的成倍增加，同时互联布线也会使每一个机架都需要单独管理，不仅跳线添加，移动、变更管理都会更为复杂。 在管理方面， 这种方式不如 EoR 简单、方便。特殊架构虚拟化、云计算催生了新一代的数据中心架构。综合交换也叫刀片式交换，是一种利用刀片服务器的整合能力（如 Ethernet 网络，存储光纤信道 FC，高性能计算 InfiniBand ）实现部署的布线架构。

7、这种架构的好处是铜缆的数目会减少。目前，由于可以支持集成式刀片服务器的交换机不多，所以设计的灵活性以及可选择范围并不大。如果同时实现服务器虚拟化，将会加大网络的复杂性，会增加设计及运维成本。FCoE技术可将FC SAN存储运行于以太网协议之上，并将二者融合。随着FCoE技术的发展，思科公司针对数据中心推出了 UFA一体化交换架构。通过思科Nexus 结合 CNA（Converged Network adapters ）卡，可将 LAN 和 SAN融合在一起。 CNA 卡取代了传统的网卡 NIC，以及存储 HBA 卡以及高性能接口卡 HCAs，减少了主机 I/O 接口卡的种类和数量。这种架构在网络布线架构上实际属于 ToR方式。和传统 ToR 不同的是，它的接入层（ ToR 交换机）将基于服务器的 CNA 卡，可同时支持 LAN 和 SAN 两种数据流。 上层不同应用的流量，可通过虚拟接口从核心交换机传输到各自的运行系统中。融合的好处是显而易见的，网络虚拟化将大大提高网络的利用效率，降低主机 I/O 接口的复杂性，提高自动化的程度。但同时，融合的缺点也很明显，从故障排除、安全性、设备升级、运维等角度看， LAN 和 SAN 在同一套交换机上是有风险的，尽管这种风险可以通过冗余进行保障，但是也会大大增加成本。结论对于数据中心网络布线，传统常用的布线架构和为新应用所提出