企业云平台建设落地方案-技术架构设计

1、企业云平台建设落地方案技术架构设计EMC Consulting云平台调研评估分析云平台架构设计方案服务器现状评估分析存储现状评估分析备份现状评估分析运维现状评估分析应用现状评估分析存储选型存储容量计算与扩容以太网络光纤网络存储及备份云平台落地实施方案入云流程图入云原则应用评级资源池规划服务器配置规划虚拟机部署规划资源交付矩阵集群架构规划网络规划千兆网络规划设计万兆网络规划设计存储规划业务迁移规划账户安全防病毒服务器选型云平台运维章节虚拟化平台性能指标定义vCOPs运维维管理实施交付说明书网络现状评估分析技术点目录指引C优化与维护管理标准规范定义指定标准一定，规范运维管理平台完善及优化A调研分析

2、评估阶段详细环境评估调研收集建设支撑数据信息采集、分析制定项目方向完善详细架构设计详细的标准原则完备实施方案设计、细化的实施流程细节及标准P架构设计搭建实施方案设计搭建D业务迁移多样性的业务迁移策略制定标准的迁移流程云平台建设落地方法论（PDCA循环）云平台建设落地篇目录第三部分企业云平台建设落地方案总体架构设计方案 服务器存储设备选型方案 网络设计方案存储及备份设计方案摘 要第二章节技术架构设计阶段一：打造标准的云平台长春总部数据中心长春二枢纽数据中心上海数据中心同城备份总部备份上海备份双向复制3层虚拟化备份网VCENTER云管理平台四大云平台+DMZ云同步/异步复制FCSAN存储网DWDM

3、单向复制阶段一的几个主要任务网络：进行内部云平台网络标准化建设存储：采购、扩容及实现同城复制关系服务器：搬迁与云平台分配管理：通过足够的安全验证，实现长春总部、二枢纽通往云平台的无缝管理备份：建设总部、同城备份节点的双向复制关系，并且可以将副本单向复制到上海。网络与安全周边业务区四大云平台业务网综合管理区云平台迁移网：进行虚拟机迁移云平台管理网：进行虚拟化主机管理、群集管理、资源管理设备管理网：进行服务器、存储管理使用业务支持区备份网：专门进行备份，包括DMZ区域的虚拟机、四大云平台的虚拟机DMZ云区DMZ外连网：提供互联网服务DMZ内联网：提供内部数据连接四大云平台交换机端口需求（26台服务

4、器，234网口）业务端口每服务器4个，需要4*26=104个网口管理端口每服务器1个，需要1*26=26个网口迁移端口每服务器1个，需要1*26=26个网口备份端口每服务器2个，需要2*26=52个网口Console每服务器1个，需要1*26=26个网口使用网络隔离机制保证安全使用网络准入机制保证安全使用网络防病毒机制保证安全使用堡垒机运维审计机制保证安全使用网络交换机广播风暴抵制保证安全虚拟化服务器长春二枢纽数据中心同城备份VCENTER云管理平台四大云平台+DMZ云DELL R720*4DELL R510*2DELL R910*9DELL R820*8HP DL980*3DMZ云区暂时没有

5、指定服务器建议在网络建设时同步进行需要网络配套才能发挥效应管理云平台以当前3台HP980服务器为主体在后期逐渐增加其它DELL服务器渠道云平台以当前HP 部分G7服务器为主体业务云平台当前拟建设中测试体验云平台当前拟建设中服务器分布按照红宝书的机柜规划，进行合理的服务器布局安排。Total:26存储同步/异步复制FCSAN存储网长春总部数据中心长春二枢纽数据中心存储网络：需要单独两组尽可能组成全矩阵SAN网络使用多模速率达到4Gbps以上可以实现同步速率达到1Gbps时只能实现异步网络延时需要小于5毫秒存储级的同步复制分析：RPO：0，没有数据丢失网络：需要48Gbps，成本稍高存储级的异步复

6、制分析：RPO：30分钟网络：需要1Gbps，成本较低DWDM电信联通备份备份设计：备份采用专用备份网，与其它网络从逻辑上完全独立开虚拟化备份使用局域网备份方式虚拟化备份使用快照备份技术与虚拟机内部应用数据备份两种方式当前的Commvault备份系统可以支持虚拟化备份需要对当前备份服务器扩容需要厂家进行配置虚拟化备份各地备份数据需要各自进行同步以保证每个节点备份数据一致性整体备份架构备份-应用数据备份设计：备份采用专用备份网，与其它网络从逻辑上完全独立开虚拟化备份使用局域网备份方式虚拟化备份使用快照备份技术与虚拟机内部应用数据备份两种方式当前的Commvault备份系统可以支持虚拟化备份需要对

7、当前备份服务器扩容需要厂家进行配置虚拟化备份各地备份数据需要各自进行同步以保证每个节点备份数据一致性LAN环境下进行服务器应用级的备份LAN环境应用数据备份架构备份服务器备份介质池创建备份1写备份2LAN网络结构化数据：数据库非结构化数据：文件系统备份-LAN整机备份备份设计：备份采用专用备份网，与其它网络从逻辑上完全独立开虚拟化备份使用局域网备份方式虚拟化备份使用快照备份技术与虚拟机内部应用数据备份两种方式当前的Commvault备份系统可以支持虚拟化备份需要对当前备份服务器扩容需要厂家进行配置虚拟化备份各地备份数据需要各自进行同步以保证每个节点备份数据一致性LAN环境下进行服务器应用级的备

8、份LAN环境下的整机备份很经济！LAN环境备份架构整机备份创建快照1删除快照4快照访问镜像或文件2备份介质池备份3备份服务器LAN网络备份-SAN整机备份备份设计：备份采用专用备份网，与其它网络从逻辑上完全独立开虚拟化备份使用局域网备份方式虚拟化备份使用快照备份技术与虚拟机内部应用数据备份两种方式当前的Commvault备份系统可以支持虚拟化备份需要对当前备份服务器扩容需要厂家进行配置虚拟化备份各地备份数据需要各自进行同步以保证每个节点备份数据一致性LAN环境下进行服务器应用级的备份LAN环境下的整机备份很经济！SAN环境下的备份速度非常快！SAN环境备份架构整机备份创建快照1删除快照4快照访

9、问镜像或文件2备份介质池备份3备份服务器SAN网络阶段二:实现云平台的双活架构同城备份总部备份上海备份复制双向复制存储双活技术VCENTER云管理平台VMware HAvMotion长春总部数据中心长春二枢纽数据中心上海数据中心2层虚拟化业务网2层虚拟化管理网2层虚拟化迁移网3层虚拟化备份网DWDM阶段二的几个主要任务网络：打通同城数据中心大二层网络，同时以虚拟化数据中心网络标准建设虚拟化网络存储：引入存储双活技术云平台：实现跨数据中心群集虚拟机：实现跨数据中心迁移备份：实现三个数据中心的双向复制架构FCSAN存储网总体目标：打通同城数据中心大二层网络以虚拟化数据中心网络标准建设虚拟化网络大二

10、层网络：实现大二层的虚拟化迁移网，使虚拟机可以在不同数据中心之间进行迁移实现大二层的虚拟化管理网，使虚拟化物理服务器可以实现跨数据中心的群集，实现高可用与资源调度实现大二层的虚拟化业务网，使虚拟机可以在不同的数据中心之间共同运行任务互联网：对前置服务器、中间件服务器的互联网访问进行优化处理实现同一台虚拟机在不同数据中心飘移时的互联网访问需求长春总部数据中心长春二枢纽数据中心2层虚拟化业务网2层虚拟化管理网2层虚拟化迁移网3层虚拟化备份网FCSAN存储网存储双活技术VMware HAvMotion1前置中间数据前置中间数据23云平台双活演示DWDM访问OA访问OA存储长春总部数据中心长春二枢纽数

11、据中心2层虚拟化业务网2层虚拟化管理网2层虚拟化迁移网3层虚拟化备份网总体目标：完全打通总部与同城存储层通信应用存储层双活技术，实现存储双活读I / O数据流主机发出读取请求到虚拟卷查找控制器的本地缓存，命中时，从本地缓存返回数据给主机未命中时，查看全局缓存，命中时，数据从所有者控制器被复制到本地缓存，从本地缓存返回数据到主机全局缓存仍未命中时，数据从存储卷读取到本地缓存，从本地缓存返回数据到主机返回数据的控制器变成数据块的所有者写I / O数据流主机发出写请求到虚拟卷看看本地缓存中之前的数据看看全局缓存中之前的数据把之前的数据无效（写命中发生）产生副本并将数据传输到本地缓存分别将数据写入到后

12、端存储主机获得写确认FCSAN存储网存储双活技术1读请求写请求数据同时写到两地存储2345全局缓存本地缓存本地缓存全局缓存12435566DWDM虚拟化服务器总体目标：实现同城两数据中心之间的主机高可用并且按照虚拟化方案进行云平台标准化建设实现同城两数据中心之间主备模式实现同一云平台在两个数据中心节点上运行建议A级应用主机比例：主中心：备中心=1：1建议B级应用主机比例：主中心：备中心=2：1建议C级不需要备机vCenter Server必须可以透过网络，管理两数据中心所有ESXI主机，视为同一数据中心，两地ESXI主机组成HA群集，且延时不得超过5ms长春总部数据中心长春二枢纽数据中心2层虚

13、拟化业务网2层虚拟化管理网2层虚拟化迁移网3层虚拟化备份网FCSAN存储网存储双活技术VMware HAVMware vMotion前置中间数据前置中间数据DWDM阶段三:容灾体系与自动化同城备份总部备份复制VCENTER云管理平台数据远程保护FCSAN存储网存储双活技术长春总部数据中心长春二枢纽数据中心上海数据中心2层虚拟化业务网2层虚拟化管理网2层虚拟化迁移网云自动化平台：服务门户、资源计费上海备份复制VMware HAvMotionSRM虚拟化灾难恢复3层虚拟化备份网3层虚拟化备份网FCSAN存储网DWDM阶段三的几个主要任务灾备：初步实现上海与长春两数据中心互备模型的灾备体系服务：实现

14、云平台的自动化与资源计费DNS切换存储阵列复制长春主数据中心vCenter ServerSRMvSphere长春双活两个数据中心上海灾备数据中心vCenter ServerSRMvSphere上海灾备数据中心LAN/WANFC灾难发生管理员员工客户灾难切换管理器云平台灾难切换演示VMware SRM容灾模型灾备灾难避免计划内迁移突然发生的站点故障全站或部分系统故障最关键但是不常见的情形站点的故障不会经常发生一旦发生，需要快速恢复可预测的潜在危险台风、洪水、强制疏散等等启动故障预案，将业务平稳转移计划内迁移 可以保证没有数据丢失自动灾难恢复 可以保证平稳的恢复系统最常见的用户使用情形：预先规划好

15、的数据中心的维护全局负载均衡在站点之间的平稳迁移不中断业务的测试可以测试无损灾难恢复计划内迁移 可以保证没有数据丢失自动灾难恢复 可以保证平稳的恢复系统三个典型的SRM容灾实例前提条件：在受保护站点和恢复站点之间预先配置好基于存储阵列的复制推荐模式：首先实现主备模式，技术掌握并成熟后，最终实现互备模式基于虚拟化的灾难恢复变革复杂的灾难迁移手册需要几周甚至几个月才能完成设置容易出错当业务应用或系统架构发生改变以后，主从站点容易变得不同步SRM 灾难迁移几分钟就可以完成设置步骤简单，不易出错发生变化后很容量同步灾难恢复运行手册一键自动恢复计划Works with Vmware vSphere to

16、 make disaster revover快速，可靠，易管理，高性价比1将生产系统的资源映射到备份系统2设置VM保护组3配置优先级4配置启动顺序5配置备份VM的IP地址6【可选】添加消息和定制脚本灾难切换自动化1重新配置主机2恢复整体系统，包括操作系统及应用3重新设置存储及复制流程4停止复制，恢复数据，恢复应用5重新配置物理网络灾难恢复自动化虚拟化灾难恢复的两种技术可否同时使用两种技术？两种技术可以共用，但是一个VM只能使用一种方法Tier1（RPO15min）使用VR方式不要把VR保护的VM放在SR保护的LUN上哪些工作不适合VR来做？多站点间的共享组件，如AD、DNS、LDAP心跳服务器

17、，如VCenter服务器极高的数据变化频率&VSS，如Exchange服务器多VM之间的写顺序保证的应用RPO小于15分钟SR额外的实用功能？灾难切换与迁移工作流可以进行自动化进行非破坏性的灾难切换测试自定义报表自定义虚拟机调配（VCO）vSphere Replication 简称VR，中文意义基于虚拟主机的复制Storage-based Replication 简称SR，中文意义基于存储的复制灾难恢复：VR与SR技术对比技术技术来源成本管理性能综述先实现vSphere ReplicationVMware低端存储即支持不需要额外的复制软件基于虚拟机在vCenter直接管理最小15分钟的RPO最

18、大500台虚拟机文件级别不可自动回切，不支持FT，不支持克隆，不支持RMD简单，低成本的备份方案适用于非关键业务及小中型企业基于IP网络最终实现Storage-based Replication高端复制存储支持需要额外的复制软件基于LUN-VM层存储管理员配合支持同步复制高级别数据卷应用数据一致性变为可能高效的备份方案适用于关键业务及中大型企业基于存储网络DNS切换灾难切换存储阵列复制长春主数据中心vCenter ServerSRMvSphere长春双活两个数据中心上海灾备数据中心vCenter ServerSRMvSphere上海灾备数据中心LAN/WANFC灾难发生管理员员工客户灾难切换管

19、理器IT自动化服务的架构 附加流程管理引擎VMware vSphereVMware vCloud Automation CenterPortal 门户虚拟化数据中心SRM灾难恢复虚拟化数据中心安全虚拟化数据中心运维管理VMware vCenter ServervCloud Director租户管理虚拟化计费第三方平台ITIL-CMDBDNSIP Address MgmtLoad BalancersMonitoring SystemsDatabasesWeb Services用户管理与策略服务目录仓库VMware vCloud Director 自动化 VMware vFabric Applic

20、ation Director 物理架构我们当前已经实现了哪些？为了实现云自动化，我们还需要哪些模块？为了增强管理，我们还有哪些可选模块？自动化场景演绎ABCBAC物理资源CBCBA私有云资源A服务门户网站C套餐一 生产套餐二 测试套餐三 开发修改资源套餐计费模型ABC自助申请负责人审批CBACBA公有云资源资源配置资源计费监控运维虚拟化平台结构描述虚拟化层SAN光纤交换机FC SANSAN光纤交换机集中存储系统以太网交换机以太网交换机IP SAN/NASLUNHomeDIRLUNHomeDIR应用层OS层根据业务系统性能及可靠性SLA进行按需灵活交付，满足业务应用快速交付，及弹性需求简单模板、

21、镜像及克隆技术消除传统环境的复杂交付，简化IT低效运维管理虚拟化资源池层将底层硬件抽象化，统一整合形成资源池，并按照业务需求级别定制为金、银、铜服务级别虚拟化层高效精简虚拟化代码层支持硬件透传交互技术，并满足安全及简便管理需求服务器集群将彼此独立的服务器配置成为虚拟化集群，实现服务器的高可用以降低RPO以及虚拟机在线实时飘移等丰富功能网络层通过SAN区域网络访问存储系统，为高压力应用系统提供IO通道，以及访问的高可用性通过以太网络访问IP SAN/NAS为轻量级应块和共享型应用提供IO通道，全冗余多通道实现高可用通过以太网交换机提供对网络的访问能力存储层集中存储系统，按照业务IO需求分为金牌、

22、银牌、铜牌存储资源池，按需交付使用满足虚拟化下混合I/O的访问能力提供对虚拟化下的大数据及混合数据的本地快速备份及远程容灾复制提供与虚拟化层的深度集成，实现简化管理、交付，优化性能总体架构设计方案架构设计方案篇3.2 设备选型原则（虚拟化服务器）类别建议说明机箱机架式2U或4U服务器整体统一，易扩展，性能充足，2U或4U服务器可以提供更大的CPU计算能力，内存容量，PCI-E接口CPUIntelx86架构+超线程4路CPU，每CPU至少8Core，每Core2.0Ghz以上4路CPU是最佳配置比，CPU频率2.0Ghz以上就足够，每路CPU的Core越多越好当前的所有服务器均为Intel X8

23、6架构，所以在后期采购中，只采购Intel x86 CPU架构服务器，不使用AMD架构CPU，主要是保证虚拟机可以在相同平台的主机中进行在线迁移内存每服务器至少 256GB内存根据套餐，我们每台服务器Core与MEM的比例为1：4，32Core的服务器具有64线程，需要256GB网卡方案1、1Gbps*10+方案2、1Gbps*8+方案3、10Gbps*2+1Gbps*6方案4、10Gbps*2+1Gbps*41：4+个专用数据端口，2个专用管理端口，2个专用vMotion端口，2个专用备份端口2：4+个专用数据端口，2个管理+vMotion共用端口，2个专用备份端口3：2个万兆专用数据端口，

24、2个专用管理端口，2个专用vMotion端口，2个专用备份端口4：2个万兆专用数据端口，2个管理+vMotion共用端口，2个专用备份端口磁盘1、2块磁盘，组成Raid1磁盘大小100G+2、2块SSD For Cache组成Raid1，磁盘大小100G+1、本地磁盘只安装Esxi，容量与性能需求非常低，但考虑到安全性，建议使用2块磁盘做Raid1同时服务器主机需要支持Raid1，主机至少需要支持2个机械磁盘，2个SSD硬盘2、增强配置，可以考虑在主机层配置SSD作为主机层IO的Cache，提高IO性能由于是增强Cache，所以不需要太高的容量，通常100G以上均可，但安全上依然需要做Raid

25、1管理1、每台服务器的管理口进行连接2、管理软件使用服务器自带的管理端口进行管理，如IBM的IMM管理端口，HP的iLO管理端口，DELL的iDRAC管理端口，需要有并且激活软件附带或安装原厂虚拟化ESXI软件原厂软件包含了与服务器硬件最佳兼容的其它软件架构设计方案篇服务器设计选型方案3.2 物理数据库服务器采购建议计算公式在需求处理的各个业务中，选择一项或几项业务量比较大的业务，假设这些业务占总业务量的的A%。对于这些业务，假设每天服务器的处理X人次的业务，每次业务换算成后台业务处理，则大约为Y笔交易，假设每天的业务集中在B小时内完成（因早晚业务偏差），而这段时间内业务量的分布不均匀。根据经

26、验，确认峰值业务量通常为平均值的C倍，且根据系统设计和实际经验，估算每个交易相当于D个基准测试程序。考虑系统的扩展性，平常只使用到系统的E%。因此该服务器的TPMC=（X*Y*C*D）/（A%）/（E%）/B/60。最终根据计算出来的TPMC值让服务器厂商提供相应的物理服务器架构设计方案篇服务器设计选型方案3.2 存储设备选型方案存储设备选型原则 （详细内容查看存储咨询方案）金牌存储资源选型原则（注重稳定性以及性能）1*知名品牌存储，且该品牌型号产品为3代以上或者产品型号周期超过5年【 】2有广泛的用户群体，最好在虚拟化和证券行业有使用者【 】3*支持SSD存储做CACHE缓存技术【 】4*支

27、持Vmware的API接口，包括但不限于VAAI，VASA,VADP,SRA等接口，厂商能提供具体接口最佳【 】5支持虚拟化以及云计算相关接口【 】6性能监控分析平台，能够专业收集并分析存储性能【 】银牌、铜牌存储资源选型原则（注重性价比）1知名品牌存储，且该品牌型号产品为2代以上或者产品型号周期超过3年【 】2有广泛的用户群体，最好在虚拟化和证券行业有使用者【 】3支持存储自动分层技术，支持SSD存储做CACHE缓存技术更优【 】4支持部分Vmware的API接口，包括但不限于VAAI,VASA,VADP,SRA等接口，厂商提供具体接口最佳【 】5支持虚拟化以及云计算相关接口【 】标*为强制

28、标准，建议一定满足架构设计方案篇服务器设备选型方案3.2 现有存储指标对比项目详细参数EMC VNX 5500IBM V7000宏杉 MS5520设备参数最大硬盘数2502402032cache24G16G96G-384G协议提供统一存储SAN存储统一存储SSD做CACHE二级缓存2TNA6.4T存储自动分层支持支持支持复制技术同步/异步同步/异步双活/同步/异步性能分析软件支持/容易支持/非常复杂支持/容易服务质量管理支持NANA虚拟化支持多路径虚拟化专版无无VAAI全部支持（可提供列表）支持支持VASA支持不支持不支持虚拟化事件管理vCops结合支持不支持不支持其他品牌影响国际一线品牌，产

29、品面世5年国际一线品牌，产品面世3年国际一线品牌，公司2010年成立虚拟化支持EMC为Vmware母公司，全面支持部分支持部分支持架构设计方案篇存储设备选型方案3.2 存储容量计算公式架构设计方案篇存储设备选型方案存储容量性能比计算公式分类SSD CacheSSD AP15K Disk10K Disk7.2K Disk热备盘小计2500250015010080N/AN/A数量0002312136容量（GB）000600111N/ATotal-IOPS3260 大尺寸硬盘需要尽可能30块一个单位LUN-IOPS3240 小尺寸硬盘尽可能凑齐25块一个单位性能最佳LUN数量1 容量为裸容量，实际容

30、量根据不同的Raid而定 FastCache是为所有存储中的StoragePool服务 FastCache中，SSD总数达到15块以后停止增加Total-容量13932 当不再增加SSD作为Cache后，启用FastAP功能LUN容量（GB）2048 在FastAP中，以1比5分别增加SSD与普通Disk组成StoragePool存储最佳LUN数量7 在FastAP中，大尺寸以15块为一个单位，小尺寸以25块为一个单位输入磁盘类型大小数量输出参数性能容量LUN个数3.2 存储扩容方案架构设计方案篇存储设备选型方案存储扩容方案假设条件1、SSD的IOPS估计为2500，15K转速磁盘的IOPS估

31、计为150，10K转速磁盘IOPS估计为100，SATA的IOPS估计为80，每个LUN的容量为2T，每个LUN的平均高峰IOPS=4320，平均IOPS=4320*75%=32402、EMC存储一个磁盘柜可以放15块大尺寸硬盘，25块小尺寸硬盘方案一，以两组大尺寸磁盘柜为一个单位扩容（推荐方案一）1：4*200G SSD+25*(300G600G)15KHDD+1热备盘，IOPS=4*2500+25*150=13750，容量=25*（300+600）/2=11250GB，LUN数量1=13750/32405，LUN数量2=11250/2048 5，性能容量比 5：5 2：8*200G SSD

32、+21*(900G1.20T)15KHDD+1热备盘，IOPS=8*2500+21*150=23150，容量=21*（900+1228.8）/222352GB，LUN数量1=23150/32407，LUN数量2=11250/2048 11，性能容量比7：11方案二，以一组小尺寸磁盘柜为一个单位扩容（推荐方案 四）3：6*200G SSD+18*(300G600G)15KHDD+1热备盘， IOPS=6*2500+18*150=17700，容量=18*（300+600）/2=8100GB，LUN数量1=17700/32405，LUN数量2=8100/2048 4，性能容量比5：44：8*200G

33、 SSD+16*(900G1.20T)HDD+1热备盘， IOPS=8*2500+16*150=22400，容量=16*（900+1228.8）/2 17000GB，LUN数量1=22400/32407，LUN数量2=17000/2048 8，性能容量比7:8在没有重大技术更新前提下，EMC其它扩容方案可以此计算方法进行推荐扩容方案网络规划示意图设备管理网，可以直接管理服务器后台同时可以与KVM网络集成前置机访问网络：前置服务器单独进行组网（公司网络内员工可直接接受网络服务）。虚拟机操作网络：所有虚拟机进行单独组网（公司网络内普通员工不可直接访问，系统管理员可以进行管理与访问），加入堡垒机可访

34、问网络中。云平台管理网：原则上需要独立，若端口不足，与云平台迁移网合并云平台迁移网：原则上需要独立，若端口不足，与云平台管理网合并备份网：独立设计，主要进行所有虚拟机的网络备份分流，不因为备份而影响其它网络端口（不需要防火墙）云平台网络需求示意访问网络：前置服务器单独进行组网（公司网络内员工可直接接受网络服务）。管理网络：应用服务器与数据库服务器进行单独组网（公司网络内普通员工不可直接访问，系统管理员可以进行管理与访问），加入堡垒机可访问网络中。要求：访问网络与管理网络不能互访非管理员不能访问管理网络管理员允许通过堡垒机访问管理网络虚拟机访问网VLAN102虚拟机管理网VLAN103分布式虚拟

35、化交换机1物理网卡2物理网卡3适用于四大云平台数据VLAN，建议：尽可能如图使用分布式虚拟交换机尽可能如图将物理网卡分开使用尽可能如图将网卡绑定在不同的物理交换机上，提高可用性Trunk物理网卡1物理网卡4物理交换机2物理交换机3分布式虚拟化交换机2设备管理网络需求示意设备管理网，可以直接管理服务器后台同时可以与KVM网络集成IBM服务器通过IMM端口管理HP服务器通过ILO端口管理DELL服务器通过iDRAC端口管理基本功能：查看服务器的健康状况，包括温度、电压和风扇状态等查看服务器光通路诊断板上是否有告警可以查看服务器的日志信息查看服务器的型号序列号及各种微码版本控制开关服务器，包括定时开

36、关机功能远程控制服务器终端，需要额外选件设置服务器的PXE启动刷新服务器的UEFI和IMM的微码设置IMM的时间日期，名字等基本信息远程安装操作系统物理服务器VLAN101管理端口适用于所有物理服务器建议：单独组网，不与其它网络共用物理交换机利旧，使用普通百兆接入交换机即可物理交换机1云DMZ平台需求示意在DMZ区建立云平台：由于在DMZ区多是前置机前置机一般来说基本上是WEB前置机非常适合虚拟化网络设计：在DMZ区设置两个C类网段一个网段提供互联网接入使用一个网段提供内部网接入使用接入内部网的同时需要使用防火墙DMZ外联网VLAN201虚拟机管理网VLAN202分布式虚拟化交换机3物理网卡2

37、物理网卡3Trunk物理网卡1物理网卡4物理交换机4物理交换机5分布式虚拟化交换机4适用于DMZ云平台数据VLAN，建议：尽可能如图使用分布式虚拟交换机尽可能如图将物理网卡分开使用尽可能如图将使用物理交换机，提高安全性，避免交叉云平台管理及迁移网与备份网需求示意管理网原则上需要独立，因为端口不足，与云平台迁移网合并迁移网原则上需要独立，因为端口不足，与云平台管理网合并备份网独立设计，主要进行所有虚拟机的网络备份分流，不因为备份而影响其它网络端口虚拟机管理网VLAN302虚拟机迁移网VLAN303标准虚拟化交换机2物理网卡7物理网卡8适用于四大云平台及DMZ云平台，增强建议：管理网与迁移网使用单

38、独的网卡管理网与迁移网使用单独的物理交换机备份网使用不同的交换机进行聚合Trunk物理交换机7标准虚拟化交换机1物理网卡5物理网卡6Trunk物理交换机6虚拟化备份网VLAN301网络需求项目需求备注1核心层交换机 1.1一地一中心支持万兆尽可能提升端口速率与吞率 1.2同城两中心支持万兆，使用波分设备，专门建设云平台大二层网络打通云平台通道，预留足够端口 1.3两地三中心需要灾难切换则使用OTV技术，否则不需要建议阶段1时即采购带大二层功能的交换机，但是不激活，后期根据需要再购买。2接入层交换机任何阶段都要做初期规模较小时服务器千兆接入，交换机万兆上联；后期规模较大时，服务器万兆电口接入，交

39、换机四万兆（光/电）上联。3线路及带宽需求 3.1同城网络同城两中心阶段同城与总部机房网络带宽需求：两家运营商线路各一条，延时小于5MS组成4个网络，总网络带宽=7Gbps业务数据带宽/2+Vmtion带宽+VM管理带宽+VM备份带宽=4+1+1+1=7Gbps2家运营商线路保证足够的安全性 3.2同城存储同城两中心阶段同城与总部机房存储带宽需求：两家运营商线路各一条，延时小于5MS数据同步或异步复制带宽=SAN存储网络带宽=8GbpsSAN网络带宽为8Gbps*2条2家运营商线路保证足够的安全性网络需求（续）项目需求备注4网段需求物理交换机，普通性能足够 4.1设备管理网2个C类网络，一个使

40、用，一个预留。服务器、存储、KVM设备的管理；同时需要预留至少1个C类网络用于设备管理地址的扩展与其它设备管理需求。 4.2云平台业务网16个C类网络，8个使用，8个预留。4个云平台，每云平台2个C类网络（分别用于内部管理与内部访问），管理网与堡垒机结合，访问网供公司网络内员工访问。分布式虚拟交换机每个云平台需要预留2个C类网络，以利于将来做扩展与P2V需求。 4.3云平台DMZ网所有的虚拟化前置服务器都放在DMZ云平台中；需要2个C类网络，进行所有云平台DMZ服务器的访问使用；一个提供内部连接使用，一个提供外部端口映射使用。标准虚拟交换机需要增加互联网IP地址建议以16个为一单位进行增加 4

41、.4云平台备份网2个C类网络，一个使用，一个预留。以进行所有虚拟化平台的备份工作。标准虚拟交换机 4.5云平台管理网1个C类网络。进行所有云平台的管理工作。标准虚拟交换机 4.6云平台迁移网1个C类网络。进行所有云平台的VMotion迁移工作。标准虚拟交换机5网络切换需求需要考虑前置服务器在两个数据中心之间切换、单个单点发生灾难后虚拟化的互联网访问的问题新增，详细的逻辑动画说明，请参考最后的附页安全需求项目需求备注1云平台防火墙透传、路由或者NAT任何方式组网，但性能不能成为瓶颈。双机热备，防止单点故障引入下一代应用级防火墙概念1、服务器防护2、敏感信息防泄漏3、网页防篡改4、病毒防护5、流量

42、控制 1.1一地一中心防火墙性能：端口速率与核心一致，至少千兆级别会话数百万级，入侵检测，病毒检查 1.2同城两中心 1.3两地三中心建议防火墙可以随虚拟机跨中心漂移而进行策略跟随建议使用万兆级别防火墙会话数百万级，入侵检测，病毒检查2网络风暴抑制云平台接入层交换机具有广播抑制功能。若不能进行有效抑制，则虚拟化平台之间使用物理隔离3.2 各阶段发展架构设计方案篇网络及安全设计方案高优先级中优先级一地一中心两地三中心同城两中心万兆核心（可选）同城大二层波分技术万兆接入万光上联万兆接入万兆上联同城4个独立网7G带宽同城存储网络2条*8G引入下一代应用级防火墙概念万兆级别防火墙，下一代应用级防火墙云

43、平台接入层交换机网络风暴抑制网段划分网络需求安全需求XXXX需求千兆接入万兆上联广域网大二层低优先级万兆核心交换机安全配置云DMZ区互联网与IP地址增加万兆接入（可选）现有SAN 网络架构DL 980*3HP EVA 6400IBM V7000_MIBM V7000_SFabric AFabric B无SAN网络规划扩展性考虑ZONE划分混乱无功能性Fabric区分目标SAN 网络架构HP EVA 6400IBM V7000_MIBM V7000_SFabric AFabric BEMC VNX宏杉 MS5520渠道云平台业务云平台管理云平台测试云平台Fabric A-01Fabric A-0

44、2Fabric A-03Fabric B-01Fabric B-02Fabric B-03备份区其他区SAN 网络设计Fabric AFabric A-01Fabric A-02Fabric A-03Fabric BFabric B-01Fabric B-02Fabric B-03初期堆叠方案可选层次方案核心核心汇聚汇聚汇聚汇聚Fabric SAN网络设计原则 ：存储统一控制器必须同时连接Fabric A与B存储统一控制器尽量连接同Fabric内的不同交换机保证zone划分实现主机具备4条路径冗余负载统一业务的主机与存储尽量保证在统一物理交换机内主机端口Zone一个主机HBA卡于一套存储所有端

45、口绑定最佳实践存储端口zone一个存储端口与所有主机端口绑定直观，不建议一一对应Zone每两个端口绑定安全，难维护SAN 网络设计-Zone划分绝对原则不同的主机操作系统划为不同的Zone 磁盘设备和磁带设备划分为不同的Zone根据不同的业务也可以划分为不同的Zone.命名规则Fabric命名 Fabric A/B交换机命名 Fabric A-01-型号Zone命名 主机名_HBA01_存储名称_端口名SAN 网络设计-Zone划分示例Fabric AFabric B控制器A服务器设备控制器B光纤卡ZONE主机光纤01端口+存储控制器A-0a端口+存储控制器B-0a端口01端口02端口0a端口

46、0a端口0b端口0b端口ZONE主机光纤012端口+存储控制器A-0b端口+存储控制器B-0b端口DL9801_HBA01_V7000-1_0aDL9801_HBA02_V7000-1_0bHostName:DL9801Storage Name:V7000-1CRMOAOtherMOTIC1IC2存储池化存储备份设计新增SSD大容量盘存储自动分层Data统一存储池：性能为所有磁盘IOPS之和业务决定需求业务等级（A/B/C）业务类型（Web/DB）需求决定存储池存储资源池（A/B/C）加速技术（VP/Cache）存储池决定保护同步/异步全备/增量金银铜MetroMirror 部分异步复制其他磁盘不复制IBM V7000存储组HP EVA6400存储设计方案架构设计方案篇业务系统第一级数据备份数据级第二级RPO5mRTO1h应用级第五级RPO5mRTO12h一个机房第六级RPO12hRTO备份