云1.12网络架构设计

1、工业云项目 HLD 文档1.5文档版本2014-01-07发布日期技术为客户提供全方位的技术支持，用户可与就近的办事处联系，也可直接与公司总部联系。技术：518129地址：市龙岗区坂田总部办公楼http：客户服务：客户服务传真：客户服务邮箱：非经本公司播。技术，任何2011。保留一切权利。和个人不得擅自摘抄、本文档内容的部分或全部，并不得以传商标和其他商标均为技术的商标。本文档提及的其他所有商标或商标，由各自的所有人拥有。注意由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不任何明示或暗示的担保。修改文档版本修改说明发布

2、日期作者签发-1.0初稿2013-01-05闪 187113213123-1.3修改划分等2013-01-06闪 1871132131231.4增加 Anti-DDoS 设备，修改堆叠线等2013-01-07闪 1871132131231.5修改 Anti-DDoS 设备连线2013-01-07闪 1871132131231.6规划更新2013-01-08闪 1871132131231.7根据万国数据评审意见更新2013-01-09213123目录1概述目的8范围8约束82业务规划综述错误!未定义书签。业务需求错误!未定义书签。业务流程错误!未定义书签。数据中心解决方案总述

3、103.1 方案总体架构10.23.1.3网络方案总述10计算方案总述12安全方案总述123.2 数据中心资源规划..4网络子系统资源规划13计算子系统资源规划13台子系统资源规划15机房子系统资源规划174网络方案设计18网络总体架构设计18详细组网方案...6数据中心组网拓扑18服务器接入组网方案20接入组网方案23组网方案25管理平面对接方案25业务平面对接方案27IP 及VLAN 规划31网络总体需求31IP 规划365管理方案设计错误!未定义书签。5.1 管理总体功能架构错

4、误!未定义书签。运营管理系统错误!未定义书签。运维管理系统错误!未定义书签。资源管理系统错误!未定义书签。插图目录图 4-1图 4-2图 4-3数据中心物理组网拓扑图错误!未定义书签。台计算服务器（E9000）接入连线图20数据库计算服务器（RH5885）接入连线图21图 4-4图 4-5HVS 接入连线图23接入连线图24NAS图 4-6组网方案25表格目录表 1-1表 3-1输入文档列表8工业云网络子系统资源规划13表 3-2表 3-3计算子系统资源规划13子系统资源规划141概述1.1 目的本文档描述了需求。工业云项目的技术实现方案，以及组网方案，并提出系统实施的资源1

5、.2 范围本文档的设计包括如下内容：业务规划综述数据中心解决方案总述网络计算台（计算节点、管理节点、规划）本文档的设计不包括如下内容：台应用规划（云桌面、虚拟服务器等，未实施调研，暂不考虑业务需求）1.3 约束本设计文档依赖于以下文档提供的信息并假设所提供的信息准确无误。表1-1 输入文档列表文档名内容描述备注市工业云建设方案-v0.37.docx技术方案从规划阶段获取项目 BOQ描述项目网络的软硬件配置详细、版本号等信息从规划阶段获取2 数据中心解决方案总述方案总体架构网络方案总述图2-1 数据中心架构示意图根据云数据中心网络动态扩展的需求，将数据中心网络设计中分为现扁平的二层网络架构。层与

6、接入层，实根据数据中心网络高效交换的需求，将数据中心网络和业务网络分离，保证业务数据与数据之间互不影响。2.1.2 计算方案总述在部署业务时，首先考虑使用虚拟化，优先采用虚拟主机满足，对于虚拟主机不能满足的应用，则采用服务服务器满足。以下是针对具体业务的计算方案：物理主机和虚拟机的不同节点配置全面覆盖客户的不同业务需求；对内存容量、IO、扩展性的要求都不高，且有节约空间和能源的应用，拟化计算资源来满足；采用虚对于高性能计算，大容量，大容量内存和高 IO 的需求，虚拟化不能满足应用需求，则采用高性能物理主机满足；针对普通的计算应用，对内存容量、IO、扩展性的要求都不高，建议采用虚拟主机，且能节约

7、计算资源、机间、能源；针对虚拟主机出租，建议采用虚拟化构建资源池，提供多种规格配置、便于扩展规格、便于和管理的云主机来实现；设备和计算服务器之间采用多路径技术保证可靠性；采用面向网络的体系结构，使数据处理和数据分离；网络体系将 I/O 能力扩展到网络上，特别是灵活的网络寻址能力，远距离数据传输能力，I/O 高效性能；采用网络，消除了不同设备和服务器之间的连接；提高了数据的共享性、可用性和可扩展性、管理性。2.1.3 安全方案总述安全域划分随着工业云业务规模和网络规模的不断扩大，存在着网络边界不清的问题，导致网络结构复杂、层次不清、系统管理，网络的有效性、稳定性较低。通过安全域划分，才能形成清晰

8、、简洁、稳定的组网架构，实现系统之间严格安全互连，更好的解决复杂系统的安全问题。IT 基础设施安全控制的：包括流量、路由器控制列表(ACL)、虚拟化资源之间的、VLAN、QoS 等。虚拟化安全：虚拟化资源之间的和。数据中心资源规划网络子系统资源规划网络子系统采用高性能交换机，其中 CE12808 系列交换机承担汇聚功能，S5700系列交换机承担管理平面以及运维功能，CE6800 系列交换机承载 RH5885 非虚拟化的物理服务器的业务功能，SNS2248 承载虚拟化以及非虚拟化的一共 4 个，先规划 2 个，另外两个做预留：接入功能，SNS2248表2-1工业云网络子系统资源规划2.2.2 计

9、算子系统资源规划I. 计算子系统计算子系统主要分为 3 部分：虚拟化资源池、非虚拟化资源池以及运维管理系统。虚拟化资源池采用E9000 刀片服务器，为用户提供绿色高性能计算。非虚拟化资源池采用 RH5885 高性能机架服务器，支撑不能虚拟化部署的或者需要高性能的业务，运维管理系统采用 RH2288，支撑整个数据中心的运维管理系统。表2-2 计算子系统资源规划设备选型关键参数数量用途Tecal E9000刀片服务器40*10GE+16*8G FC+24*GE 电口(CX911*2+CX110*2)；8 片 4E5-4620+256G 内存+2600G SAS 硬盘(CH240 刀片)3虚拟化台设

10、备选型关键参数数量用途CE1280848 口万兆SFP+,48 个10/100/1000Base-T 以太网端口2网络交换机SNS224848 端口(24 端口激活,含 24*8Gb 多模SFP)-双电源(交流)2接入交换机S570048 个 10/100/1000Base-T 以太网端口,卡槽位,2运维接入交换机CE680048 口万兆SFP+,4 口 40GE QSFP+2非虚拟化资源池业务接入交换机II.子系统子系统采用OceanStor 系列高端为用户提供高可靠性、高性能、大容量务。HVS 88T SAN以及N8500 NAS，。主要承载台和数据库服表2-3子系统资源规划HVS 高端要

11、求 32A 供电环境。设备选型关键参数数量用途HVS 88T 高端1 个 HVS 系统机柜，双控,交流,192GB 缓存168G FC 接口；1 个 HVS 扩展柜；16 个硬盘框，384 块 600GB SAS 盘；：多路径、HVS 系统、HVS 设备管理软件、Smart 系列增值1HVS 88T 高端1 个 HVS 系统机柜，双控,交流,192GB 缓存168G FC 接口；1 个 HVS 扩展柜；16 个硬盘框，384 块 2T NL-SAS 盘；：多路径、HVS 系统、HVS 设备管理软件、Smart 系列增值2N8500 NAS 存储两节点,交流,2*CPU,48GB 缓存,8*GE

12、 前端主机端口,SPE61C0200；24 块 900GB SAS 盘；144 块 3TB NL-SAS 硬盘；2RH5885 V24E7-4820+256G 内存+2600G SAS 硬盘+双端口 HBA82 台作为虚拟化管理节点，6 台非虚拟化资源RH2288 V22E5-2630 CPU,64GB 内存,4*600GB SAS 硬盘,4*GE42：CSB1：DDOS1：预留RH2288 V22E5-2640 CPU,32G,3*300G SAS 硬盘,4*GE1eSight 管理系统2.2.3台子系统资源规划I.台整体规划根据业务规划，云类业务，以基础业务为主、增值业务为辅。考虑到虚拟机

13、用户数量，建议 VRM 节点采用虚拟部署的方式。根据业务类型需求，将台计算资源划分为如下 2 个集群，如下表：II. 管理服务器配置VRM 节点采用主备部署，使用虚拟部署；III. 计算服务器配置计算节点配置：E9000 每套 8 个刀片服务器；每个刀片服务器：CPU: 4 路 8 核 E5-4620;内存:256G DDR3 通用内存;硬盘:2*600GB SAS盘。计算节点（E9000）计算节点（E9000）管理服务器节点数量节点配置备注VRM2CPU: 大于等于 4vCPU;内存:大于等于 5G 内存;:80G虚拟部署FM2CPU: 大于等于 8vCPU;内存:大于等于 16G 内存;:

14、280G虚拟部署集群名称集群配置计算资源(vCPU/个)计算资源(内存/GB)规划承载业务Management计算节点：2 台 RH5885：使用 HVS SAS 盘的部分1285121000G SAS（RAID5）运营、运维、台管理Rent计算节点：8 台刀片服务器：使用 NAS 后端的部分资源，采用 RAID5+ RAID6 阵列,数据库采用 RAID10 阵列512204813400G SAS（RAID5， RAID10） 162T NL-SAS（RAID6）云主机出租总计640256014400G SAS162T NL-SAS如上图所示，采用两台 RH5885 作为管理节点。E9000

15、 有 8 个刀片，作为计算节点。IV.配置针对本项目情况，配置如下：磁盘类型： 选择SAS 硬盘、NL-SAS 硬盘；主机前端：N8500 选择 ISCSI 前端接口，HVS 选择 FC 前端端口和 ISCSI 前端接口；RAID 类型：采用 RAID5 阵列，高性能数据库等配置为 RAID10；缓存大小：配置 16GB 以上缓存。2 套 N8500，每一套配置为：24 块 900GB SAS 盘；144 块 3TB NL-SAS 硬盘，,8*GE 前端主机端口+,8*GE单元扩展接口Raid 划分原则如下：若应用对 IOPS 要求不高，但 VM 容量要求比较大，可以考虑采用 RAID6 方案

16、。针对IO 频繁的数据库应用，或者IO 频繁的小块随机写IO 的应用，建议使用RAID10。如果是高强度的连续写 IO，则可以选择 RAID5 或者RAID6。桌面云业务，主要是读的操作，采用 RAID6 阵列。云主机以及 saas 服务出租业务，为应对客户不同需求，采用 RAID6+ RAID10 阵列。管理业务，承载的主要是台及桌面的管理节点，读写操作较多，采用 RAID10阵列；a) S5600T 硬盘框热备盘规划2U 硬盘框（SAS 盘）111 槽位（RAID5）121323 槽位(RAID10)24Data disk热备盘Data disk热备盘计算节点（E9000）计算节点（E90

17、00）计算节点（E9000）计算节点（E9000）计算节点（E9000）计算节点（E9000）管理节点（RH5885）管理节点（RH5885）b) S5600T资源规划2.2.4 机房子系统资源规划详见工业云项目规划 2014105.xlsm集群规划阵列Raid 模式硬盘规划Raid 组数量有效空间（G）备注Management900G SAS DiskRaid 511+111000管理资源池Rent8900虚拟机系统盘900G SAS DiskRaid 105+514500数据库空间3T NL-SAS DiskRaid 69+26162000虚拟机数据盘合计SAS:14400 NL-SAS:

18、1620004U 硬盘框（NL-SAS 盘）Data DiskData DiskData DiskData DiskData DiskData DiskData DiskData DiskData DiskData DiskData Disk热备盘Data DiskData DiskData DiskData DiskData DiskData DiskData DiskData DiskData DiskData DiskData Disk热备盘3 网络方案设计3.1 网络总体架构设计详细组网方案数据中心组网拓扑USG9560的管理通过 GE 网线接入到 CE12808。两台Anti-DDo

19、S 都使用GE 端口连接到CE12800；Anti-DDoS1550-D 只连一个端口，在 CE12800 上镜像上连端口的流量给 Anti-DDos1550-D；由于 DDoS 是 GE 接口，而 CE12800 上行链路为 10GE 接口，所以镜像流量按需镜像。Anti-DDoS1550 设备用两个端口与 CE12800 连接，并且相互间起 BGP，做流量的、和回注。层由两台 CE12808 交换机组成。层对外连接到现有交换机。两台 CE12808 交换机采用 CSS 技术，将两台交换机虚拟为一台逻辑交换机，保证当一台交换机出现故障时，业务能够及时切换到另一台交换机，从而保持通讯的连续性和

20、可靠性。并通过划分VLAN，将云计算的管理、业务及平面进行逻辑。服务器 E9000 管理平面接入到 S5700，业务平面直接接入储平面经过光纤交换机 SNS2248 连接到 HVS。交换机 CE12808，存每框 E9000 配备两块 SMM 管理模块，每个 SMM 管理模块通过 1GE 链路接入到核心交换机 CE12808，共计 21GE，作为管理链路。每台 RH5885 配置 1 双端口 HBA 卡，提供 28G FC 接口，向光纤交换机 SNS2248下行 8G FC 链路，作为链路。每台 RH5885 提供 1 个 GE 管理接口，通过 1GE 链路接入到S5700，作为管理链路，另外

21、每台 RH5885 的 BMC 上行接入到S5700。每台RH5885 提供 2 个 10GE 业务接口，上行接入到交换机 CE6800，作为业务链路。设备HVS 为双控制器，提高设备的可用性和可靠性；每套 HVS 的双控制器通过 168G FC 接口接入到光纤交换机，共计 168G，作为业务链路；另外每套 HVS有系统管理口和SVP 管理口 2 个 GE 接口接入S5700 交换机，共计 12GE，作为管理链路。3.2.2 服务器接入组网方案E9000图3-1台计算服务器（E9000）接入连线图E9000 刀片服务器每框 8 个 CH240 刀片，每刀片出 6 个接口链路总计：3 框 E90

22、00 管理平面上行链路为 32GE、业务平面上行链路为 3410GE，存储平面下行链路 3428G FC ，BMC 需要上行链路 32GE。RH5885图3-2 数据库计算服务器（RH5885）接入连线图管理业务2GE210GE28G FC 接口网元服务器类型备注CNAE9000管理、业务均接通RH2288每台 RH2288 包含 4 个 GE 口，其中 2 个上行接入S5700 作为，管理口；BMC 平面上行一个 GE 口至管理接入交换机；1 块双端口HBA 卡，提供 2 个 8G FC 接口分别向光纤交换机SNS2248 下行 8G FC 链路。；图3-3 数据库计算服务器（RH2288）

23、接入连线图3.2.3HVS 88T接入组网方案图3-4HVS 接入连线图SNS 2248S5700A背B背HVS88TFC背 背GE背 背采用 HVS 高端，HVS 系统柜配置 1 个引擎。引擎配置 2 个控制器，称为A 控和B 控。每套控制器配置 2 个 8Gb FC 接口模块，共 4 个接口模块，分别对应 A1 和 B1、A2 和 B2 两对槽位。每个接口模块提供 4 个传输速率为 8Gbit/s 的主机端口，共 16 个 8G 主机端口。每个引擎配置 2 个管理模块，分别对应 2 个控制器，提供管理网口。2 个控制器A、B 分别通过 8 个 8Gbit/s 主机接口接入到光纤交换机 SN

24、S2248 上，通过光纤交换机连接到服务器。HVS 系统管理口和SVP 管理口上行接入到S5700 上。链路总计3 套 HVS 主机接口上行为 3168G FC。3 套 HVS 控制器管理口需要上行链路 32GE。N8500图3-5 NAS接入连线图CE6800S5700B控A控N8500FC线缆 10GE线缆GE线缆N8500 采用S5600T系统，N8500 与S5600T 经过 FC 接口直连。每套N8500 提供 2 个 10GE 接口模块，每个接口模块提供 2 个传输速率为 10Gbit/s 的主机端口，共 4 个 10GE 主机端口。每套N8500 和S5600T 均配置 2 个管

25、理模块，分别对应 2 个控制器，提供管理网口。2 个控制器A、B 管理口上行接入到S5700 上。链路总计2 套 N8500 主机接口上行为 2410GE，控制器管理口需要上行链路 22GE。2 套 S5600T 控制器管理口需要上行链路 22GE。3.2.4组网方案图3-6组网方案1. 公网CSB_Portal：数据到达CE12808 交换机后，交换机根据静态路由将数据指向untrust 区域的子接口，通过NAT 将目的地址转换为私网地址，并通过静态路由将下一跳指向dmz区域对应的网关地址。2. CSB_Portal其他管理组件：数据通过二层在DMZ区域的网关， dmz 和trust 区域配

26、置策略互访，根据静态路由将下一跳指向trust 区域对应的网关，并经过CE12808二层透传访问其他管理组件，如FM，CSB_Core 等。3.2.6 业务平面对接方案与交换机对接图4-5与交换机对接组网的untrust 区域子接口。业务数据流说明：1. 公网主机：数据到达CE12808交换机上，交换机根据虚拟机公网地址的静态路由，将数据包发送到虚拟上的untrust 子接口。通过NAT 转换将目的公网地址转换为私网地址，根据untrust 区域与trust 区域的策略互通，数据包到达trust 区域的网关，并通过二层云主机。2.主机公网：主机通过二层到达 trust 区域的网关，通过 NAT

27、 转换将源地址转换为公网地址，并通过默认路由将数据包发送到对应交换机上的 vlanif 接口， 交换机通过默认路由将数据包发送到上行路由器。3.2.7 路由设计方案浮动 IP 说明（未在图中标注）IP2-4：IP3-4：DMZ 区域 CSB Portal 网关浮动 IP 地址；Untrust 区域与 CE12808 交换机对接的浮动 IP 地址；IP4-4：trust 区域管理组件网关浮动 IP 地址；承载网IP1目的地址：下一跳默认路由：IP3-1OFIP4-2IP4-1IP1-1IP2-2IP2-1IP2-3DMZDMZ网关IP3-2二层透传网关IP3-3IP3-1静Untrust静Unt

28、rust态路态路IP4-2IP4-3TrustTrust网关网关由二层透传由VFW-CloudUserAVFW-CloudUserA二层透传网关目的地址：下一跳默认路由：IP10-1网关USG9650_1USG9650_2S12808目的地址：下一跳默认路由：IP1-2CSB Portal公网地址：IP3-4云主机公网地址段：云主机所在虚拟接口，如P10-4的untrust子CSBVMVMCSB管理组件Portal交换机：默认路由指向机房交换机；-2SPCSB Portal，云主机，管理组件服务器在 CE12808 交换机内实现二层透彻，根默认路由指向 CE12808 与Untrust 区域对

29、接的接口 IP 地址；目的 IP 地址为管组平面私网地址段的，通过 Trust 区域子接口目的 IP 地址为 CSB_Portal 私网地址，通过DMZ 区域子接口管理组件；CSB Portal；用户 A 的虚拟：通过 untrust 区域子接口上行CE12808 交换机；数据流量分析I.用户CSB Portal 流量变为 CSB Portal 的浮动 IP，CSB Portal 的网关设在DMZ 区，在 CE12808 通过二层透传CSB Portal。回程路由：回程数据首先到达DMZ 区域的网关，在做 NAT后，源地址变为公网 IP。根的默认路由指向 CE12808，CE12808 的默认

30、路由指向公网出口设备。II.用户云主机业务III. CSB Portal管理组件管理平面：数据中心设备的管理，管理平面分为运维管理平面和业务管理平面。运维管理平面包括服务器 BMC 接口、节点的管理接口等。管理网口。业务管理平面包括台计算平面：数据中心内部服务器与设备之间提供服务交互的平面；业务平面：是数据中心对客户提供服务的平面。为了增加数据中心网络的安全性，不同平面之间采用 VLAN 的方式进行储、业务平面使用不同的网段和 VLAN。管理、存I. 运维管理平面平面。节点及 IP 地址数统计如下：运维管理平面主要是服务器BMC 接口统计：注：E9000 MM2 个 IP+1 个浮动 IP+8

31、 个刀片 IP=11 个。接入交换机将服务器接入端口配置为ACS 模式，添加到管理VLAN；将上行接口配置为TRUNK 或者HYBRID 模式，允许管理 VLAN 通过。交换机将与汇聚交换机互联的下行接口配置为 TRUNK 或者 HYBRID 模式，允许管理 VLAN 通过。II. 管理平面业务管理平面主要是台管理平面的通信平面，主要包括台管理节点的地址，CSB 管理平面地址，CA 管理平面地址，面地址等。节点及 IP 地址数统计如下：管理平面地址，和台计算节点管理平管理 IP 统计：设备类型设备数量单设备 IP 数IP 地址总数E9000(CNA)3824RH5885818设备类型设备数量

32、单设备 IP 数 IP 地址总数E900031133RH5885818RH2288515Total161546注：CSB4 个 IP 为 2 个 IP+2 个浮动 IP，其中一个浮动 IP 为双机 VCS IP。接入交换机将服务器接入端口配置为ACS 模式，添加到管理VLAN；将上行接口配置为TRUNK 或者HYBRID 模式，允许管理 VLAN 通过。交换机将与接入交换机互联的下行接口配置为 TRUNK 或者 HYBRID 模式，允许管理 VLAN 通过。III.平面平面主要是主机连接 N8500节点及 IP 地址数统计如下的平面，HVS 使用 FC 接口不需要配置 IP。CE6800 将

33、N8500 上行接口配置为 TRUNK 模式，允许 VLAN 通过。例如 21-24。接入交换机 CE6800 将N8500 iSCSI 接入端口配置为ACS 模式，添加到对应的VLAN；将上行接口配置为 TRUNK 模式，允许 VLAN 通过。例如 21-24。交换机与接入交换机互联的下行接口配置为TRUNK 或者HYBRID 模式，允许平面的VLAN 通过。设备类型设备数量单设备 IP 数IP 地址总数N8500236Total236HVS326N8500224N5600T224VRM213FM213eSight111OC213CA automation133ACM111CSB 前台 Po

34、rtal248CSBPortal248Total312676IV. 业务平面E9000 业务平面交换板 2X、3X 将刀片业务平面接入端口配置为HYBRID 模式，添加允许通过VLAN；将上行接口配置为TRUNK 模式，允许 VLAN 通过。例如 21-24。CE6800 和 CE12808 将对应接口以及对应配置为 TRUNK 或者HYBRID 模式，允许业务平面的所有 VLAN 通过。RH5885 接入交换机端口配置为ACS 模式，配置所属的 VLAN；接入交换机上行接口配置为 TRUNK 模式，配置允许通过的业务VLAN。V. IP 地址段规划IP 地址段规划：平面IPVLAN网关地址R

35、emark管理平面/24/24235454管理及Portal/24454NAS 业务平面/26554NAS 业务网段DMZ 区平面/24654CSB Portal 业务vlan网络设备对接公网 IP1019设备对接云主机业务/24 /24100039995454云主机业务平面平面VLAN数量Vlan号IP地址数量备注管理平面2个23私网IP地址段*2C37台服务器BMC，E9000 SMM模块， S12808，AntiDDos1550-D， AntiDDos1550，HVS， NAS，S5600T设备IP，CNA管理ip，其他IP地址预留运营portal平面1个4私网IP地址段*1C管理及Portal的IPNAS业务平面15私网IP地址段*0.25CNAS业务平面平面NANAFC SAN不需要IP、VLAN规划网络设备对接101019私网IP地址段*C设备对接云主机业务3000个10003999私网IP地址段*245C根据服务器、租户数量规划合计私网IP地址段*250.25C3.3.2 IP 规划I. E9000E9000 BMC 以及管理平面 IP 规划服务器刀片BMC IP 地址管理平面地址E9000_01MM119M