银行云数据中心网络架构设计方案

1、银行云数据中心网络架构设计方案双活解决方案及关键技术010203网络架构设计方法整体网络架构设计广域网规划设计04案例介绍05产品选型建议06方案优势07Customer Profile业务架构IT架构应用架构数据架构基础设施架构技术最佳实践行业发展趋势技术发展趋势IT基础架构规划架构落地实施参考模型网络设计方法自顶而下总体设计业务战略IT需求技术趋势架构规划目标演进路线GA、CRD广域网架构总体设计现状评估最佳实践数据中心架构总体设计业务连续灾备/双活安全架构设计虚拟化企业私有云详细设计两地三中心数据中心行业趋势双活数据中心基础设施与布线架构功能分区设计服务器/VM接入 存储网络设计可靠性评

2、估与计算安全规划与部署DC互联与大二层设计QoS规划与设计骨干网健壮性量化评估业务带宽与链路选择多级骨干网扁平化策略与设计关键业务多活部署策略 服务器/VM集群架构 SAN扩展与数据复制 LAN扩展与二层互联站点选择与网关设计 网络设计方法从需求到方案H3C网络架构规划的方法论基于企业架构（EA, Enterprise Architecture），从企业的业务架构出发，推导适应业务发展的IT支撑能力。通过对数据架构、应用架构、技术架构的调研及分析，明确网络的目标以及基线架构，根据差距分析制定解决方案，完成网络架构规划设计。H3C采用的框架模型为在当前国内外大型金融机构采用的Togaf V9模型

3、。网络规划设计方法围绕需求展开预构建柔性软件定义低PUE敏捷XX行重点关注需求网络通用关注需求灵活可扩展可管理性能高可用设计需求两地三中心架构项目范围高可用性广域网架构数据中心架构运维管理业界技术发展方向SDN融合架构最佳实践网络现状现有业务架构现有网络架构现有基础设施状况物理与逻辑分离标准化、自动化动态调整、灵活部署资源统一调配网络设计策略高可用性性能可管理性可扩展性安全性灵活性网络资源网络分析常用要素平台化业务层面与科技层面底层要素：渠道，技术，数据互联网化互联网基因，互联网思维科技工作从成本中心转向利润中心传统IT革命到新IT数据化价值创造价值增值以”互联网+”带动传统银行业务转型 构建

4、信息化银行是指通过信息的集中、整合、共享、挖掘，使银行整个经营决策和战略制定从经验依赖向数据依据转化。BANK互联互通(Interconnected)整合创新 (Integrated)价值创造(Increment-valued) 智慧管理(Intelligent)信息共享(Information- sharing)信息共享：从广泛渠道获取多类型信息，使信息资源成为经营发展中起决定性作用的重要生产要素互联互通：实现前中后台贯通、各渠道协同、各机构联动，保证业务流程高效畅通整合创新：建设具有高度灵活性和可配置性的产品应用架构体系，推动信息流、业务流和资金流的深度整合和无障碍流动智慧管理：充分利用数

5、据挖掘和分析工具，依此判断市场、精准营销、发现价格、评估风险、配置资源价值创造：把那些信息不对称的需求和供应方撮合起来，使信息应用在最大程度上转换为实际的商业行动。信息化银行的特点数据挖掘开放性综合性资源融合弹性可扩展平台建设业务自动化灵活性弹性产品及服务创新门户网站移动客户端社交网络客户体验构建一个互联网化的基于“云计算”的开放、高容量、易扩展、安全稳定、便捷研发的信息化银行基础架构分布式计算分布式存储高并发高安全可按需扩展结构化、非结构化数据仓库数据挖掘商品流、信息流、资金流“三流合一”为客户量身定做优质的金融产品与服务信息化银行对基础架构的要求双活解决方案及关键技术0203网络架构设计方

6、法整体网络架构设计广域网规划设计04案例介绍05产品选型建议06方案优势0701全行一朵云与统一资源池两地三中心分布式多中心灾难备份系统的建设专用备援系统用于紧急状态的恢复降低灾难风险对业务的影响加强生产的安全等级致力实现业务系统无缝切换消除应用应急带来的风险与损失数据中心间实现负载分担单中心具有全业务承载能力多中心持续建设目标-分布式多活数据中心单纯灾备灾备与负载均衡 主备中心双活（多活）融合 满足RPO满足RPO，最小RTO 资源固化全局资源池化灵活调配 人工管理资源调度自动化 多个跨地域的分布式虚拟化数据中心地理分散的多个“云”网络的平台化地位日益重要强调风险管控，多中心持续建设与业务平

7、滑切换分布式数据中心建设概览多数据中心灾备运维模式主备模式（Active-Standby）特点：生产中心完成所有的数据更新的业务通过数据复制技术将数据复制到灾备中心灾备中心除了承担灾备的任务仅利用有限的资源完成一定的查询业务灾备中心不进行需要数据更新的业务备份中心的主机平时处于“备份”状态混合双活（Active-Active Hybrid）特点：双生产中心均需要完成数据更新的业务通过数据复制技术将数据复制到对方通过业务模块或用户的方式将业务分配到不同的中心平时主要的处理能力均分配给生产应用系统使用出现灾难时，根据需要接管的方式，动态调度资源给备份系统使用备份中心的主机平时处于“备份”状态，但主

8、要的资源均动态分配给生产系统使用。没有完全闲职的设备双活（Active-Active）特点：业务或用户按照服务需求（OnDemand）将业务分配到不同的中心平时主要的处理能力均分配给不同的中心跨双生产中心建立共享的资源访问方式跨双生产中心建立高可用性集群通过数据复制技术将数据镜像到对方出现灾难时，根据需要接管的方式，按照当前的业务状态动态调度服务和资源（Business Resiliency)所有的中心、主机和存储设备均处于生产状态和实现负载分担生产中心灾备中心生产中心灾备中心生产中心灾备中心业务 A业务A业务 A业务 A业务 A业务 B业务 B业务 B两地三中心总体架构-从灾备到业务连续性-

9、5/6级灾备等级要求生产数据中心同城数据中心异地数据中心逻辑错误组件错误节点灾难容灾半径逻辑错误，通常本数据中心内通过软件回退、应用隔离、应用切换保证业务连续性，容灾半径为本地数据中心服务节点内单点故障，本数据中心通过冗余设计保证业务连续性；整个服务节点故障，切换到同城数据中心保证业务连续性地域性灾难，通过异地数据中心实现业务灾备业务连续性(HA)灾难备份(DR)分布式数据中心建设概览同城灾备中心:生产中心和灾难备份中心距离比较近，比较容易的实现数据的同步镜像，可以保证数据完整性和数据零丢失可以防范火灾、建筑物破坏等可能遭遇的风险隐患，但对于战争、地震、水灾等隐患力不从心异地备份中心：生产中心

10、和备份中心跨城域，距离比较远通过异步镜像/复制备份数据无法保证数据零丢失如果远距离同步镜像，则交易效率太低、通信成本很高两地三中心：结合同城异地的优点在异地备份中心具有完整的灾难接管能力的情况下，建立同城备份站点，可使同城灾备中心具有应用接管能力也可以让同城灾备中心只是一个同步数据镜像站点生产中心同城灾备中心生产中心异地备份中心生产中心同城灾备中心异地备份中心两级多中心架构：总部与区域两级架构，总部级数据中心互为主备，同时做为区域级中心的异地容灾中心，区域级数据中心作为生产中心，共享总部级异地灾备，保证灾难接管的能力，同时降低成本跨城域远距离容灾，异步复制/镜像数据级无法保证数据零丢失，同步镜

11、像成本高区域级数据中心总部级数据中心区域级数据中心区域级数据中心区域级数据中心总部级数据中心总部级数据中心P1P5: P1P5的目标部署架构为稻香湖、洋桥和武汉南湖A-A-A模式部署，并对外提供服务。每个站点负责不同区域或渠道的业务接入，各站点之间互为交叉备份关系，可进行快速接管。P6P8: P6/P7/P8的目标部署架构为稻香湖、洋桥、武汉南湖实现A-Q-S模式部署。P9P12: 为就近利用产品服务层灾备数据，P9P12的目标部署架构为武汉南湖、稻香湖实现A-S模式部署。分布式数据中心业务运行状态-举例OSDBMSVolume ManagerStorageWeb/ApplicationDB-

12、ClientSANNASOSDBMSVolume ManagerStorageWeb/ApplicationDB-ClientNASSAN数据库层操作系统应用软件层SAN层存储层DatabaseDatabaseNetworkNetwork数据库应用主机网络LUNLUNLUNLUNLUNLUN数据的连续性(RPO)主机/应用连续性(RTO)数据中心的业务连续性同城数据中心间关系紧耦合同城数据中心松耦合同城数据中心商业银行数据中心发展及未来的演进路线数据中心内各类资源的接入服务资源接入链路资源接入终端资源接入核心业务系统外围生产系统BI类系统办公类系统业务终端办公终端管理终端广域网专线外联专线互联

13、网线路VPN线路数据中心内需要完成哪些资源的接入才能发挥作用举例：传统外联区同时具备链路资源接入和服务资源接入的功能22关键业务区小机信用卡区大数据区大数据服务器数据仓库区数据仓库办公后台区通用服务器网银区外联区广域网区外联区出口网银区出口外联用户互联网用户广域网网点用户分支机构用户关键开放区重要开放区通用服务器准生产区办公前端网络数据中心整体结构核心交换区银行数据中心网络拓扑架构示意图网络交换核心。业务一区业务二区业务三区。开发测试区。运维管理区带外管理网广域网区汇聚数据中心分支机构DMZ外联区IPSLBWeb交换机出口路由器网银区外联单位APP/DB交换机InternetCORE园区网数据

14、中心整体设计多中心整体设计数据中心规划设计与布线架构相结合的物理结构服务域架构设计通道域架构设计用户域架构设计交换平台架构设计数据中心管理网络设计多业务网络融合安全架构设计数据中心间网络目录新一代大型EDC设计趋势：模块化“模块化的数据中心”6种颗粒度的说明(由大到小)Zone 表示数据中心所在城市Site 表示数据中心的具体位置 Module 表示数据中心的大楼Cell 表示数据中心内的一个单元，包括存储、计算、网络POD 表示一组部署IT设备的机柜ZoneSiteModuleCellPodRackRack 机柜(服务器、网络、存储)“模块化的数据中心”是一种用标准、可重复构建的单元来建设数

15、据中心基础设施的方法其中CELL 与 POD 是结构化布线及数据中心网络设计的关注重点数据中心机房结构示意图与布线架构相结合的物理结构TIA-942布线架构POD节点设计40G/100G布线的选择TIA-942-A定义的架构化布线标准机房模块2机房模块3机房模块1操作中心支持间通信室TR进线间ER主配线区MDA中间配线区IDA中间配线区IDA水平配线区HDA设备配线区EDA设备配线区EDA设备配线区EDA设备配线区EDA水平配线区HDA水平配线区HDA水平配线区HDA运营商接入主干布线主干布线主干布线主干布线水平布线水平布线中间配线区IDA水平配线区HDA设备配线区EDA设备配线区EDA水平配

16、线区HDA主干布线主干布线水平布线29业务网数据同步网数据备份网管理网业务网数据同步网数据备份网管理网关键业务Building 1Building 2核心网络区/广域网区/外联区/网银区关键业务关键开放业务重要开放业务准生产业务大数据分析业务数据仓库业务信用卡管理服务器关键开放业务重要开放业务管理服务器办公后台业务数据仓库业务机房布局传统竖井式部署：网络设备在机房的落位方式传统竖井模式中，规模较大的网络会设置MOR设备通常会将核心交换机、汇聚交换机及4-7层服务设备等主要的网络设备部署在MDAMOR设备部署在HDA，接入交换机就近部署在服务器所在的EDAFabric Switch方式部署：网络

17、设备在机房的落位方式服务器机房规模较大的情况下，可能需要在IDA区域增加二层汇聚，和接入核心形成SPINE-LEAF结构。与布线架构相结合的物理结构TIA-942布线架构PoD节点设计40G/100G布线的选择基础预构件（POD）类型概述根据业务系统平台的不同，可以有多种类型的POD，包括网络设备POD、各种平台的服务器POD、存储POD等X86服务器PoD小型机PoD存储PoD业务网PoDPoD节点设计：x86服务器机柜部署X86 2U服务器，根据实际功耗，部署8-12台；X86服务器生产网接口为2*万兆光接口，或电口ODF架/MPO模块盒，负责服务器到MOR/EOR交换机的连接剩余空间：用

18、于各类交换机的部署，例如：生产网交换机，管理网交换机，FC存储交换机，以及ODF架的扩展；供电允许情况下，还可以扩展X86服务器10U30U42U生产网FC存储网/HBA卡或以太网卡带外管理网2U X86服务器部署10台；4U X86服务器部署6台；PoD节点设计：x86服务器PoD设计管理网接入交换机生产网接入交换机生产网FC交换机X86Cluster每个POD内可部署的设备举例：2组48端口配线架，一组光口，一组电口；2台48端口生产网交换机，最多可提供96个业务端口；2台48端口数据备份网/管理网交换机，最多可提供96个管理端口；2台FC交换机，数据存储网；32台机架式x86服务器；每台

19、x86服务器的端口需求：生产口：2个；数据同步口：1个；数据备份口：1个；存储口：2个或多个；管理口：1个；每个POD的端口需求：生产口+数据同步口：2*32+1*32=96个10GE口；存储口：2*32=64个FC口；数据备份口+管理口：1*32+1*32=64个10GE口；交换机上行端口：生产网，2台接入交换机，每台交换机2个40GE上行，一共2*2=4个40GE端口；数据备份网，2台接入交换机，每台交换机1个40GE上行，一共2个40GE上行；管理网，2台接入交换机（与数据备份网复用），每台交换机1个40GE上行，一共2个40GE上行；数据存储网，2台FC交换机，4个上行FC接口；POD

20、节点设计：小型机PoD部署每个POD内可部署的设备举例：2组48端口配线架，一组光口，一组电口；2台48端口生产网交换机，最多可提供96个业务端口；2台48端口数据备份网/管理网交换机，最多可提供96个管理端口；2台FC交换机，数据存储网；4台小型机，每台16U；每台小型机的端口需求：生产口：20个；数据备份口：10个；存储口：4个或更多；管理口：1个；每个POD的端口需求：生产口：20*4=80个10GE口；存储口：4*4=16个FC口；数据备份口+管理口：10*4+1*4=44个10GE口；交换机上行端口：生产网，2台接入交换机，每台交换机2个40GE上行，一共2*2=4个40GE端口；数

21、据备份网，2台接入交换机，每台交换机1个40GE上行，一共2个40GE上行；管理网，2台接入交换机（与数据备份网复用），每台交换机1个40GE上行，一共2个40GE上行；数据存储网，2台FC交换机，4个上行FC接口；与布线架构相结合的物理结构TIA-942布线架构PoD节点设计40G/100G布线的选择ODF一对一低密度部署采用1对1方式的光纤跳线为模块化机房提供较为灵活的设备间连接。高密度机房内，ODF架会占用大量空间。在GE接入10G上行的数据中心是一种较为常见的部署方式。1U 24芯4U 72芯双面ODF架MPO模块化高密度部署密度高空间省集成化易部署40G/100G过渡4U 288芯1

22、U 12芯10G40G/100G过渡数据中心整体设计多中心整体设计数据中心规划设计与布线架构相结合的物理结构服务域架构设计通道域架构设计用户域架构设计交换平台架构设计数据中心管理网络设计安全架构设计数据中心间网络目录服务域业务网络的划分前端网络后端网络业务网数据备份网管理网监控网业务运行运维管理FCIP网开发测试网数据存储网数据同步网服务域在数据中心内的逻辑位置核心交换区Internet通道关键业务服务Extranet通道广域网通道园区用户开放业务服务大数据业务服务运维管理服务DMZDMZ服务域核心系统关键数据计算资源池管理平台数据仓库报表系统报表系统服务域架构设计竖井式的架构设计高可靠性设计

23、关键业务架构设计资源池化设计基于云的融合架构多业务网络融合开放业务架构设计竖井式架构保障区域内部的独立和高安全业务4区业务3区业务2区业务1区PoDPoDPoDPoDPoDPoDPoD核心核心汇聚汇聚汇聚汇聚汇聚汇聚汇聚汇聚服务服务服务服务服务服务服务服务接入接入接入接入接入接入接入接入接入接入接入接入接入接入接入接入网络机房/MDAPoD业务3业务3业务4业务4业务1业务1业务2业务2服务器机房安全边界关键业务的高可靠设计45结构的高可用设计节点的高可用设计链路的高可用设计物理位置的高可用设计减少接入层级减少故障点数量节点采用冗余设计采用双/多核心设计节点纵向横向连接均采用多链路设计互备节点

24、部署在不同的物理位置关键业务区网络结构：部署核心业务系统，网络减少跳数核心交换关键业务区汇聚交换机关键业务区防火墙关键业务区区域内分层设计：仅部署区域汇聚交换机区域汇聚：部署区域汇聚设备，做为业务区的出口，L3连接到核心交换区；服务器网关放在汇聚交换机上；在区域汇聚和核心交换之间为区域安全边界，通过防火墙设置访问控制，保护功能区内部的服务资源；汇聚交换机通过策略路由（PBR）的方式将进出区域边界的流量引到防火墙上实现边界控制；防火墙通过静态路由的方式将流量回注；支持网络虚拟化，实现区域内网络架构的灵活性和扩展性结构、节点、链路均采用冗余设计，满足高可用性要求；服务域架构设计竖井式的架构设计高可

25、靠性设计关键业务架构设计资源池化设计基于云的融合架构多业务网络融合开放业务架构设计数据中心网络Switch Fabric架构数据中心核心核心核心交换汇聚汇聚业务分区1服务服务汇聚汇聚业务分区2服务服务汇聚汇聚PoD业务分区3服务服务PoDPoDPoDPoDPoD接入接入接入接入接入接入接入接入接入接入接入接入物理资源与逻辑资源1:N映射基于资源池的数据中心打破物理资源与逻辑资源1:1的映射关系。一个PoD可以服务于多个业务分区。最理想的目标即实现“任意服务器，部署于任意机架，为任意业务提供服务”业务区域与基础设施的松耦合。将底层计算资源进行池化，为上层多种服务提供大容量的计算能力。共享模式平滑

26、扩展能力强。物理服务共享资源上下层解耦和DC-Core机房接入核心网络机房/MDA服务器机房1服务器机房N业务1区业务2区业务3区业务n区计算资源池按照云计算资源池理念设计，网络需具备横向扩展的能力资源池化的数据中心里业务区域和机房模块间的映射关系计算资源内外联隔离资源池办公管理资源池互联业务资源池服务器机房模块服务器机房模块服务器机房模块互联后台区互联隔离一区互联隔离二区L3汇聚L3汇聚L3汇聚办公服务区管理服务区L3汇聚L3汇聚二层网络二层网络生产后台资源池生产后台区L3汇聚二层网络外联隔离区L3汇聚内联隔离区L3汇聚二层网络电话银行资源池电话银行区L3汇聚二层网络NAS资源池NAS服务区

27、L3汇聚二层网络传统模式下机房布局A08-18A机房布局A08-10A08-09A08-01A07-18A07-10A07-09A07-01A06-08A06-07A05-16A05-12A05-09A05-08A05-07A04-08A04-07A03-10A03-09A03-01A02-18A02-10A02-09A02-01A01-18A01-10A01-09A01-01A06-06A06-05A05-06A05-05A06-04A06-03A05-04A05-03A06-02A06-01A05-02A05-01机架服务器x5刀片机x3机架服务器小型机机柜机架服务器小型机机柜小型机机柜机

28、架服务器小型机机柜机架服务器x5刀片机x3机架服务器x5刀片机x3机架服务器x5刀片机x3机架服务器x5刀片机x3机架服务器x5刀片机x3机架服务器x5刀片机x3A04-06A04-05A04-04A04-03A04-02A04-01A03-12A03-11A03-14A03-13A03-16A03-15A06-14A06-13A06-12A06-11A06-10A06-09铜缆三相电存储区三相电存储区三相电存储区空调侧带库机柜A04-13A04-15A04-14A04-12综合布线综合布线综合布线综合布线综合布线综合布线综合布线扩展B路DCXDCX扩展A路DCXDCX新网银APP新网银DB新

29、网银WEB新网银WEB扩展新网银APP新网银DB新网银APP扩展新网银扩展走廊侧统一考核VMAX资源池化后机房布局的变化蓝图金融IaaS云业务需要的是一个融合了所有基础架构资源的云云平台计算存储网络-SDNOverlay SDNVLAN SDN强控制、强管理弱控制、强管理OpenflowOVS-DBNETCONFMP-BGPVXLAN云-SDN技术分解基础架构管理平面（运维平台）云&租户管理平面（业务平台）VCF FabricH3C Data Center 基础网络架构OpenStackOpen Source Cloud OSH3C CloudOpenStack Based可视化自动化软件定义

30、面向应用分布式VCF Fabric DirectorH3C Data Center 基础设施管理平台Overlay数据中心 AEVPN数据中心 BSpineLeafBorderSpineBorderLeafEVIH3C SDN整体解决方案强控制模型-基于Controller的控制平面基于Controller的控制平面若VTEP是虚拟设备，Controller从VM Manager和vSwitch获取VTEP及下挂VM IP/MAC信息若VTEP是物理设备，Controller和所有VxLAN ED设备建立连接关系，获取VTEP及下挂VM IP/MAC信息VTEP第一次收到数据报文，上送给Con

31、troller，Controller确定VxLAN隧道信息，下发流表到VTEP，VTEP封装VxLAN报文转发流表在VTEP上可以定期老化， 达到动态建立隧道的效果，节省表项资源CoreCoreAggAggRouterRouterAccessAccessAccessAccessAccess ToR设备实现VTEP，把报文封装为VxLAN格式 核心设备实现VxLAN IP GW，终结VxLAN报文，并进入L3转发 ToR设备实现VxLAN GW，终结VxLAN报文，实现VxLAN和VLAN网络互通vSwitchVCFC Controller 负责控制平面，下发流表，指导转发VxLAN Fabri

32、cOpenFlow/NetconfVMManagerCSM隧道建立和VXLAN关联：利用EVPN的BGP RR实现邻居发现 ，自动发现VXLAN网络中的VTEP，并在有相同vxlan各VTEP之间自动创建VXLAN隧道，自动关联VXLAN隧道和VXLAN地址同步：利用EVPN 的MP-BGP路由协议完成MAC地址同步、主机路由同步两个功能标准化：控制面使用EVPN，属于标准协议：RFC 7348 +draft-sd-l2vnp-evpn-overlay，RFC7209，RFC7432VxLAN 控制平面：EVPN，路由协议MP-BGPRRRRLeafLeafLeafEVPN地址同步VXLANN

33、etworkEVPN地址同步VXLAN隧道建立弱控制模型-基于EVPN的控制平面M9KL5K面向私有云-灵活的网络定义能力云平台服务目录开户创建网络云主机云存储服务链业务策略插入服务链创建network创建subnet创建vRouter访问目的IP、PORT，进入服务链获取租户UUID选择VM标准选择存储标准创建服务链UUID选择vDC部署业务策略租户租户开通创建网络负载均衡申请防火墙申请创建服务链业务策略创建流分类策略创建服务链UUID关联tenant _id业务节点graph开通租户分配租户UUID创建VXLAN创建网关IP地址创建VLB创建VFW部署vFW、vLB的业务策略创建dstip

34、、port的流分类策略，进入服务链IT/DC运维者TenantvDCVMSubnetVMStorageStorageWEBWEBStorageStorageNetworkRouterDBNetworkVMOVSVMStorageStorageS6800WEBWEBStorageStorageS12500-XDBvLBvFWS6800OVSS6800OVSvFW逻辑拓扑物理拓扑vLBSubnetH3C SDN+：网络自动化部署设备加电，自动升级版本文件自动配置IRF自动整网路由可达，提供一个IP路由可达的三层网络自动化运行过程拓扑动态显示自动配置过程显示实时部署云平台虚拟资源分配SpineLea

35、fLeafLeafLeafDHCPTFTPVM1VM2Spine云平台虚拟资源分配VXLAN Network自动配置：大量设备基础配置依据拓扑自动完成，提供一个IP路由可达的三层网络可视化：设备上线过程动态拓扑展示实时部署：面向应用的虚拟网络资源根据用户需求实时分配和部署EVPN自动配置隧道自动建立地址自动同步VXLAN按需分配当逻辑网络的部署控制权移交后，物理网络各节点高度同质化。各个网络的融合业务网数据同步网存储网数据备份网管理网业务网管理网多网合一应急管理数据中心整体设计多中心整体设计数据中心规划设计与布线架构相结合的物理结构服务域架构设计通道域架构设计用户域架构设计交换平台架构设计数据

36、中心管理网络设计安全架构设计数据中心间网络目录广域网区架构设计数据中心同城数据中心二级分行分理处分中心广域网接入平台图例广域网线路局域网线路下联线路数据中心核心交换机数据中心核心交换机广域网汇聚交换机广域网汇聚交换机广域网路由器分支接入路由器分支接入路由器分支接入路由器分中心核心交换机外联区架构设计DMZ区外联接入平台外联接入路由器外联接入交换机外联防火墙外联汇聚交换机数据中心核心交换机外联DMZ汇聚交换机外联DMZ接入交换机DMZ区外联接入路由器外联接入交换机外联防火墙外联汇聚交换机数据中心核心交换机外联DMZ汇聚交换机外联DMZ接入交换机数据中心同城灾备数据中心外联单位同城两个数据中心都部

37、署有外联区，通过通过DCI区域进行二三层联通。外联主备线路通过外联接入平台分别接入到两中心，在链路/设备故障的情况下依靠外联接入平台动态路由协议自主迂回。传统结构在新需求下的解决方案1外联单位外联单位外联单位外联单位外联单位DC Core总行生产网分行1 局域网总行外联接入平台外联DMZ区分行2 局域网分行1外联接入平台外联DMZ区分行1外联接入平台外联DMZ区广域网线路广域网线路总行外联单位分行1外联单位分行2外联单位DMZ内移方案1外联单位外联单位外联单位外联单位外联单位DC Core总行生产网分行1 局域网总行外联接入平台外联DMZ区分行2 局域网分行1外联接入平台分行1外联接入平台广域

38、网线路广域网线路总行外联单位分行1外联单位分行2外联单位生产网业务区逻辑隔离严格的安全控制DMZ内移方案2外联单位外联单位外联单位外联单位外联单位DC Core总行生产网分行1 局域网总行外联接入平台外联DMZ区分行2 局域网分行1外联接入平台分行1外联接入平台总行外联单位分行1外联单位分行2外联单位生产网业务区逻辑隔离业务通道外联通道业务通道外联通道业务通道外联通道外联通道业务互联网区架构设计业务互联网区的整体架构规划参考了人行颁布的网银网络技术架构指导和同业的经验。各区域的作用如下：核心交换区：是整个网银区的核心，作为核心节点对网银区各区域进行连通，并对数据进行高速转发。外联区：主要处理外

39、部访问的区域。实现网银区与运营商的互联互通，是internet用户访问网银区的入口，是阻止internet攻击的第一道防线。DMZ 区：用于放置业务互联区中供外部用户访问的业务服务器的区域，包括网银前置、DNS等。生产应用区：是网络应用程序所处区域，处理各种逻辑业务。生产数据区：主要处理各种数据操作，是数据库所在区域。管理区：主要负责管理设备的接入。测试区：单独的互联网测试环境区域。系统互联区：主要处理互联网应用系统与其他系统互联的区域。数据中心整体设计多中心整体设计数据中心规划设计与布线架构相结合的物理结构服务域架构设计通道域架构设计用户域架构设计交换平台架构设计数据中心管理网络设计安全架构

40、设计数据中心间网络目录园区网部署位置设计园区网广域网区汇聚交换机数据中心核心交换机数据中心园区总行办公大楼园区网汇聚交换机园区网接入交换机园区各搂层部署接入交换机提供用户接入和终端准入控制，接入层交换机以冗余上联链路，连接到两台汇聚交换机；汇聚交换机作为该办公区域的网络汇聚点，园区网汇聚交换机为L2/L3边界，上联至数据中心广域网汇聚交换机，如需较高的安全控制，之间可以串接防火墙；汇聚交换机建议采用网络虚拟化技术，将两台汇聚交换机虚拟为一台交换机，以消除生成树环路；如果本区域存在访客、外包第三方维护等用户的接入要求，则建议必须通过防火墙进行安全隔离。运维管理终端设计运维管理终端部署在数据中心内

41、的操作中心支持间，通过通信室TR内的ECC接入交换机接入。运管终端上行到管理网汇聚交换机和数据备份网汇聚交换机。运管终端通过部署在管理平台的服务器，对业务服务器、网内设备进行管理。云桌面区架构设计交换核心桌面云业务云办公云业务服务区业务、运维和办公桌面云部署在桌面云接入区；开发测试桌面云部署在测试网。业务、运维、办公和开发测试桌面云相互隔离。对同一用户通过企业内部网和外部网的接入访问，提供不同的桌面云环境。数据中心整体设计多中心整体设计数据中心规划设计与布线架构相结合的物理结构服务域架构设计通道域架构设计用户域架构设计交换平台架构设计数据中心管理网络设计安全架构设计数据中心间网络目录核心交换区

42、架构设计口字形连接CLOS架构后端交换核心架构设计生产核心管理服务器ECC终端带外管理网灾备中心后端交换核心后端交换核心后端交换核心作为后端管理业务的交换总线，连接所有后端管理相关业务区域，如管理服务器区、ECC终端区、管理云桌面区、带外管理区。为了满足多中心统一管理的需要，后端交换核心需要连接到灾备中心的后端交换核心，以保证在生产网不能正常运行的情况下，仍然能通过统一的管理平台跨中心进行管理。后端交换核心与生产核心相连，通过广域网以带内管理的方式管理分支机构的设备、终端接入、服务器等。数据中心整体设计多中心整体设计数据中心规划设计与布线架构相结合的物理结构服务域架构设计通道域架构设计用户域架

43、构设计交换平台架构设计数据中心管理网络设计安全架构设计数据中心间网络目录管理网络与业务网络分离设计数据中心核心交换机VM1VM2VMnvmnic1vmnic2vmnic3vmnic4管理分区汇聚交换机L2-SPINE生产TOR接入带内管理TOR接入带外管理TOR接入管理汇聚交换机业务区域运管区带外管理区管理网与业务网分离，划分明确的前后端边界。通过路由控制的手段，阻断由生产网发起的到运管区的管理流量。禁止由业务网向服务器、网络设备等发起管理业务。放开由后端网络发起的管理业务。前后端边界限制来自生产网的管理业务放开由后端访问的管理业务通过路由控制阻断不安全的管理流量Page 77带外管理网构建覆

44、盖所有服务器和网络设备的带外管理网咯不同接入类型的管理端口共享一个带外管理网络，需要通过访问控制进行隔离。运维管理区运维管理服务器部署在运维管理区，运维管理区和生产网及带外管理网都有网络连接。带外管理网和生产网之间都运行独立的路由，相互不能通信。ECC终端ECC终端分带内终端和带外终端，对ECC终端对带外管理网络的访问需要进行有效的访问控制和授权管理。 边界安全带外管理网和运维管理区之间， 生产网和运维管理区之间，都需要有防火墙等边界安全控制。管理网络架构设计：半独立的管理网管理网络架构设计-完全独立的管理网管理网完全独立运维管理区完全独立于数据中心，随着运维管理地位的提升，运维管理区可以提升

45、为运维管理中心；带外管理网扔依托数据中心存在，并通过带外管理网的广域网与运维管理区连接。数据中心整体设计多中心整体设计数据中心规划设计与布线架构相结合的物理结构服务域架构设计通道域架构设计用户域架构设计交换平台架构设计数据中心管理网络设计多业务网络融合安全架构设计数据中心间网络目录金融数据中心安全区的划分数据中心网络分区从总体上可分成不同安全级别的四个安全区：非安全区、半安全区、安全区、核心安全区非安全区（对外连接）半安全区DMZ核心安全区安全区安全边界安全边界安全边界不受控制的区域，如对Internet公众用户、外联第三方单位等提供服务的资源区域，企业的安全政策和标准无法强制执行企业内部网到

46、核心安全区、安全区的过渡区域，外部网络和企业内部网络之间的过渡区域，用于分割它们之间的直接联系，隐藏和保护内部资源提供企业内部重要程度一般的服务器和客户端的接入，安全级别较高 安全级别最高，包含了重要的应用服务器，提供关键的业务应用；包含企业网络管理、系统管理、安全管理、流程管理等管理功能相关的模块所集中的区域，具有很重要的意义，需要严格的安全策略；从外部网络到核心安全区域应通过半安全区进行转发，必须经过严格的安全控制传统数据中心安全架构互联网接入区公众用户VPN维护用户VPN办公用户合作伙伴外联网接入区合作伙伴外联DMZ专线VPN网关办公VPN网关维护网银、手机银行电商DMZ门户网站DMZ员

47、工上网DMZ其他系统DMZ入侵防护防DDOS防病毒网关Internet园区网广域接入OA生产其他总部机构同城及异地中心分支机构运维管理服务区安全管理流程管理ECC堡垒机带外管理其他业务三区办公应用决策应用其他业务二区非核心系统业务一区核心业务应用服务器业务处理体系渠道体系非安全区半安全区安全区核心安全区安全资源池与服务链vSW/Overlay GWvFWvIPSvLBvSW/Overlay GWVM1VM3灵活自定义服务链源目的SDNFabricOpenstackSDN ControllerVM1VM2Vswitch(内嵌防火墙)Overlay GWVM3VM4VM5VNI:33物理服务器1V

48、switch(内嵌防火墙)Overlay GW物理服务器2安全资源池VFWVLBvFWVIPSVIPS服务链的业务模式可以在虚拟化的环境中为每一项业务提供端到端的虚拟安全路径，并将其可视化以便下发和更改。在没有边界的虚拟化网络中，服务链能精确区分业务的安全需求。安全资源池为系统的安全资源横向扩容提供了平滑的解决方案。数据中心整体设计多中心整体设计数据中心规划设计与布线架构相结合的物理结构服务域架构设计通道域架构设计用户域架构设计交换平台架构设计数据中心管理网络设计多业务网络融合安全架构设计数据中心间网络目录多数据中心之间的互联需求业务连续性需求：高可用性，低延时，网络通道可灵活切换容灾备份需求

49、：IP路由可达，较高的链路带宽服务器集群需求：跨DC的集群部署，高带宽，低延时跨DC的虚拟机迁移需求：L2网络，高带宽，低延时存储需求：高可用，高带宽，低延时运维管理需求：全网IP路由可达，可实现远程管理，与业务通道的逻辑隔离安全性需求：跨DC的互连架构需要保持DC的整体安全体系不变，安全域的划分不被破坏生产中心同城中心多数据中心之间物理架构同城双中心，通过裸光纤或DWDM波分通道，直接互连物理结构简单，通过光纤和设备的冗余，实现互连通道的高可用性；DC之间的距离100km;通过划分VLAN等方式，实现DC之间的多个逻辑通道互通；可满足DC之间二层网络互通需求，以及低延时的需求；裸光纤互连区域

50、互连区域同城中心生产中心DWDM互连区域互连区域生产中心异地灾备中心多数据中心之间物理架构多个数据中心内部署广域网路由器，并租用运营商的SDH或MSTP链路，实现互连互通；可实现多个DC之间的互连；DC可以在同城，也可以是相隔上千公里的异地；互连链路带宽受运营商提供的链路服务限制，异地DC之间的传输延时较高；DC之间的连接，可以形成双/多平面的架构;运营商SDH/MSTP网络广域互连广域互连同城中心广域互连多个数据中心之间逻辑网络互连方式数据存储网使用单独的一个物理通道其他网络共用一个物理通道；生产中心业务网数据同步网数据存储网数据备份网管理网互连物理通道外联区互联网区服务域通道域灾备中心业务

51、网数据同步网数据存储网数据备份网管理网外联区互联网区服务域通道域互连物理通道互连物理通道多个数据中心之间逻辑网络互连方式前端业务网络（业务网、数据同步网、外联区、互联网区）共用一个物理通道数据存储网使用单独的一个物理通道后端管理网络（数据备份网、管理网）使用单独的一个物理通道生产中心业务网数据同步网数据存储网数据备份网管理网互连物理通道外联区互联网区服务域通道域灾备中心业务网数据同步网数据存储网数据备份网管理网外联区互联网区服务域通道域互连物理通道双活解决方案及关键技术0201网络架构设计方法整体网络架构设计广域网规划设计04案例介绍05产品选型建议06方案优势0703灾难恢复的等级划分（国际

52、标准Share78） 恢复所需时间 (RTO)15 Min.1-4 Hr.4 -8 Hr.8-12 Hr.12-16 Hr.24 Hr.DaysTier 4 批量/在线的数据库镜像或日志传输Tier 3 -电子链接传输, Tier 2 - PTAM, Hot Site费用*PTAM = Pickup Truck Access Method 卡车运送访问方式Tier 7 业务环境可进行高自动化的系统接管Tier 6 远程数据镜像, 保证数据的完整性和一致性Tier 5 软件级的两地点, 两阶段提交(交易完整性)关键的应用重要的应用不重要的应用Tier 1 人工运输零数据丢失 或接近零数据丢失数分

53、钟或数小时的数据丢失接近24 小时数据丢失24-48 小时数据丢失容灾备份的考量指标NRO（Network Recovery Object，网络恢复时间目标）是指在灾难发生后网络恢复或切换到灾备中心的时间。通常，只有NRO小于RTO才有意义。关键系统的容灾要求 人行标准RPORTO我行标准同城RPO同城RTO异地RPO异地RTO第一类短时间中断将对国家、外部机构和社会产生重大影响的系统；短时间中断将严重影响单位关键业务功能并造成重大经济损失的系统；单位和用户对系统短时间中断不能容忍的系统。15分钟6小时等保四级系统、关键渠道、银证类系统，如核心银行系统、信用卡系统、柜面终端、第三方存管、银基通

54、、密码服务平台）5分钟15分钟联机15分钟批处理1小时2小时第二类短时间中断将影响单位部分关键业务功能并造成较大经济损失的系统；单位和用户对系统短时间中断具有一定容忍度的系统2小时24小时等保三级系统、重要渠道、重要交易系统、重要支撑系统5分钟30分钟联机15分钟批处理1小时2小时第三类短时间中断将影响单位非关键业务功能并造成一定经济损失的系统；业务功能容许一段时间中断的系统7天等保二级、一级的系统；重要的管理系统、重要BI类、风险管理系统、重要办公类系统、重要IT支撑系统24小时24小时7天第四类无一般管理系统、一般BI类、一般办公类系统、一般IT支撑系统可不恢复数据30天在云平台中运行的业

55、务系统，特别是重要的系统，必然要建设“两地三中心”的架构，来保障业务的高可靠；所以参考人民银行银行业信息系统灾难恢复管理规范，对我们各业务系统进行分类，结合两地三中心建设计划，需要对各类系统的灾难恢复指标进行了评估，并进行分类；下面的表格是一个建议示例。这个表格也决定了我们如何对现有业务应用系统进行上云的优先级。业务系统业务连续性目标建议应用分级灾备级别同城（主-同城）异地（主-异地）RTORPO对应国标级别RTORPO对应国标级别A类（重要性高）T1+1小时06级4小时15分钟5级T1（最低要求）4小时15分钟5级8小时2小时4级B类（重要性中）T14小时15分钟5级8小时2小时4级T2（最

56、低要求）8小时2小时4级24小时24小时3级C/D类（重要性低）T324小时24小时3级48小时48小时2级说明：A类系统应达到T1级别要求，并逐步实现T1+(双活)；B类系统应达到T2级别要求，并逐步实现T1级别；CD类系统应达到T3级别要求双活数据中心的价值切换方式切换周期资源利用率切换难度自动切换数秒数分钟70-80%以上小，可预置策略主备数据中心（同城/异地双中心、两地三中心）双活（多活）数据中心手工切换数十分钟数天低于50%大，失败概率高投资回报高低基础设施双活前端业务双活后端数据双活灾备：4-5级（暖备）特征：特定业务同一时刻在单数据中心处理，网络具有接替能力；把不同业务分在不同的

57、数据中心可提高资源利用率；应用为A/S模式，DC间切换需要手工干预；灾备：5-6级（热备）特征：前端服务器（Web/App）双活，服务器通常采用集群，需要心跳与DCI，可实现服务器集群跨中心自动切换；重点：集群设计、路由规划规划和DNS；灾备：5-6级（双活）数据层（DB/存储）双活：数据库跨中心双活部署，或存储跨中心实时复制；技术复杂度与成本高，对业务处理能力有影响部署的最大限制在于距离和带宽（实际部署限于城域）双活的层级与业务连续性双活数据中心的能力集基础设施双活前端双活后端双活基础环境、网络L3互联备用服务器、数据备份服务器集群、数据中心L2互联、DNS或全局负载均衡数据库同步、数据存储

58、实时复制关键技术数据中心与双活整体解决方案交换机交换机交换机交换机交换机交换机交换机路由器路由器智能DNS智能DNS服务器LB服务器LB交换机交换机交换机交换机交换机交换机交换机路由器路由器智能DNS智能DNS服务器LB服务器LB动态资源扩展DRX数据中心间大二层EVI多虚一IRF硬件OverlayVxLANF5多虚一IRF一虚多MDC虚拟交换机S1010v虚拟化平台CAS虚拟交换机S1010v虚拟化平台CAS多虚一IRF一虚多MDC软件OverlayVxLANF5链路负载均衡站点负载均衡防火墙数据中心互联App服务器/VMWeb服务器/VMDB服务器X86/小型机/大型机存储链路负载均衡站点

59、负载均衡防火墙App服务器/VMWeb服务器/VMDB服务器X86/小型机/大型机存储技术挑战1、引入DNS/GSLB；2、服务器HA/LB集群及跨中心互联；3、跨数据中心的数据库技术与存储技术；运维挑战1、IP地址设置与路由发布控制；2、网关设置及防火墙同步；3、次优路径及迂回流量；真正的双活需要数据中心多层之间对故障/灾难实现负载分担与故障自愈；双活带来的技术挑战双活所需的相关技术要素涉及内容关键技术广域网负载均衡双活或者热备数据中心的广域网线路选择，以及出现故障后的路径切换路由设计GSLBDNS服务器负载均衡数据中心内部服务器的均衡切换，以及服务器的状态感知SLB数据中心互联跨数据中心的

60、二层扩展，以满足服务器集群和存储备份等需求裸光纤/DWDMVPLSEVI/OTVVxLAN服务器架构与虚拟化X86、小机和大机等服务器存在的架构差异，以及各自实现虚拟化的技术不同厂商私有技术服务器集群将服务器集中起来实现高可用的技术，以及对于网络的需求和切换方式不同厂商私有技术数据库双活/多实例存储双活/复制实现数据中心之间的数据同步或者异步复制RAC/Vplex/PureScaleFCP/FCIP/iSCSI双活需求分解与技术框架双活需求分解业务双活基于DNS前端双活DB数据库双活数据同步复制Internet选择Web/App双活Intranet选择ISP DNSGSLB基于IP路由规划容灾