贵州农信网络规划交流

贵州农信网络规划交流网络规划设计方法两地三中心网络规划概要设计目录CustomerProfile业务架构IT架构应用架构数据架构基础设施架构技术最佳实践行业发展趋势技术发展趋势IT基础架构规划架构落地实施参考模型网络设计方法——自顶而下总体设计业务战略IT需求技术趋势架构规划目标演进路线GA、CRD广域网架构总体设计现状评估最佳实践数据中心架构总体设计业务连续灾备/双活安全架构设计虚拟化企业私有云详细设计两地三中心……数据中心行业趋势双活数据中心[基础设施与布线架构][功能分区设计][服务器/VM接入]

[存储网络设计][可靠性评估与计算][安全规划与部署][DC互联与大二层设计][QoS规划与设计][骨干网健壮性量化评估][业务带宽与链路选择][多级骨干网扁平化策略与设计][关键业务多活部署策略]

[服务器/VM集群架构]

[SAN扩展与数据复制]

[LAN扩展与二层互联][站点选择与网关设计]

网络设计方法——从需求到方案H3C网络架构规划的方法论基于企业架构（EA,EnterpriseArchitecture），从企业的业务架构出发，推导适应业务发展的IT支撑能力。通过对数据架构、应用架构、技术架构的调研及分析，明确网络的目标以及基线架构，根据差距分析制定解决方案，完成网络架构规划设计。H3C采用的框架模型为在当前国内外大型金融机构采用的TogafV9模型。网络规划设计方法——围绕需求展开预构建柔性软件定义低PUE敏捷XX行重点关注需求网络通用关注需求灵活可扩展可管理性能高可用设计需求两地三中心架构项目范围高可用性广域网架构数据中心架构运维管理业界技术发展方向SDN融合架构最佳实践网络现状现有业务架构现有网络架构现有基础设施状况物理与逻辑分离标准化、自动化动态调整、灵活部署资源统一调配网络设计策略高可用性性能可管理性可扩展性安全性灵活性网络资源网络分析常用要素网络规划设计方法两地三中心网络规划概要设计两地三中心整体设计广域网规划设计数据中心规划设计网络管理规划设计目录全行一朵云与统一资源池两地三中心分布式多中心灾难备份系统的建设专用备援系统用于紧急状态的恢复降低灾难风险对业务的影响加强生产的安全等级致力实现业务系统无缝切换消除应用应急带来的风险与损失数据中心间实现负载分担单中心具有全业务承载能力多中心持续建设目标--分布式多活数据中心•单纯灾备

灾备与负载均衡•主备中心

双活（多活）融合•满足RPO

满足RPO，最小RTO•资源固化

全局资源池化灵活调配•人工管理

资源调度自动化多个跨地域的分布式虚拟化数据中心地理分散的多个“云”网络的平台化地位日益重要强调风险管控，多中心持续建设与业务平滑切换基础设施双活前端业务双活后端数据双活灾备：4-5级（暖备）特征：特定业务同一时刻在单数据中心处理，网络具有接替能力；把不同业务分在不同的数据中心可提高资源利用率；应用为A/S模式，DC间切换需要手工干预；灾备：5-6级（热备）特征：前端服务器（Web/App）双活，服务器通常采用集群，需要心跳与DCI，可实现服务器集群跨中心自动切换；重点：集群设计、路由规划规划和DNS；灾备：5-6级（双活）数据层（DB/存储）双活：数据库跨中心双活部署，或存储跨中心实时复制；技术复杂度与成本高，对业务处理能力有影响部署的最大限制在于距离和带宽（实际部署限于城域）双活的层级与业务连续性分布式数据中心业务运行状态主备模式（Active-Standby）特点：生产中心完成所有的数据更新的业务通过数据复制技术将数据复制到灾备中心灾备中心除了承担灾备的任务仅利用有限的资源完成一定的查询业务灾备中心不进行需要数据更新的业务备份中心的主机平时处于“备份”状态混合双活（Active-ActiveHybrid）特点：双生产中心均需要完成数据更新的业务通过数据复制技术将数据复制到对方通过业务模块或用户的方式将业务分配到不同的中心平时主要的处理能力均分配给生产应用系统使用出现灾难时，根据需要接管的方式，动态调度资源给备份系统使用备份中心的主机平时处于“备份”状态，但主要的资源均动态分配给生产系统使用。没有完全闲职的设备双活（Active-Active）特点：业务或用户按照服务需求（On－Demand）将业务分配到不同的中心平时主要的处理能力均分配给不同的中心跨双生产中心建立共享的资源访问方式跨双生产中心建立高可用性集群通过数据复制技术将数据镜像到对方出现灾难时，根据需要接管的方式，按照当前的业务状态动态调度服务和资源（BusinessResiliency)所有的中心、主机和存储设备均处于生产状态和实现负载分担生产中心灾备中心生产中心灾备中心生产中心灾备中心业务A业务A业务A业务A业务A业务B业务B业务BP1~P5:P1~P5的目标部署架构为稻香湖、洋桥和武汉南湖A-A-A模式部署，并对外提供服务。每个站点负责不同区域或渠道的业务接入，各站点之间互为交叉备份关系，可进行快速接管。P6~P8:P6/P7/P8的目标部署架构为稻香湖、洋桥、武汉南湖实现A-Q-S模式部署。P9~P12:为就近利用产品服务层灾备数据，P9~P12的目标部署架构为武汉南湖、稻香湖实现A-S模式部署。分布式数据中心业务运行状态-举例双活需求分解与技术框架双活需求分解业务双活基于DNS前端双活DB数据库双活数据同步复制Internet选择Web/App双活Intranet选择ISPDNSGSLB基于IP路由规划容灾半径决定技术可行性网关设计VRRP设计主机路由注入RHI/NQALISP负载均衡VIP分布式部署数据异步复制城域异地应用系统访问模式影响技术选择是否是相同IP影响技术路线相同IP不同IP跨中心二层通信脑裂仲裁节点手工切换多数派存活EVI分布式数据中心建设概览同城灾备中心:生产中心和灾难备份中心距离比较近，比较容易的实现数据的同步镜像，可以保证数据完整性和数据零丢失可以防范火灾、建筑物破坏等可能遭遇的风险隐患，但对于战争、地震、水灾等隐患力不从心异地备份中心：生产中心和备份中心跨城域，距离比较远通过异步镜像/复制备份数据无法保证数据零丢失如果远距离同步镜像，则交易效率太低、通信成本很高两地三中心：结合‘同城＋异地’的优点在异地备份中心具有完整的灾难接管能力的情况下，建立同城备份站点，可使同城灾备中心具有应用接管能力也可以让同城灾备中心只是一个同步数据镜像站点生产中心同城灾备中心生产中心异地备份中心生产中心同城灾备中心异地备份中心两级多中心架构：总部与区域两级架构，总部级数据中心互为主备，同时做为区域级中心的异地容灾中心，区域级数据中心作为生产中心，共享总部级异地灾备，保证灾难接管的能力，同时降低成本跨城域远距离容灾，异步复制/镜像数据级无法保证数据零丢失，同步镜像成本高区域级数据中心总部级数据中心区域级数据中心区域级数据中心区域级数据中心总部级数据中心总部级数据中心网络规划设计方法两地三中心网络规划概要设计两地三中心整体设计广域网规划设计数据中心规划设计网络管理规划设计目录应用架构发展推动广域网架构演进应用架构MessagingBackbone孤立应用简单互联EnterpriseApplicationIntegration(EAI)EnterpriseServiceBus虚拟化、云计算网络架构两地三中心核心承载网大集中互联互通平台化虚拟化、层次化核心承载网网络基础设施迈向两地三中心与云网融合网络支持虚拟化、灵活扩展架构传统银行核心应用基于ESB基础设施转向开放标准架构：X86、虚拟化骨干广域网设计核心任务广域网架构的可靠性广域网架构的可扩展性骨干广域网架构的选择关键流量的保障广域链路的充分利用骨干广域网的流量模型骨干广域网架构选择——需求核心节点的选择骨干广域网架构的可靠性数据中心的分布和定义骨干广域网的可扩展性是否有业务安全隔离需求骨干广域网架构的其他需求骨干广域网架构的选择两地三中心架构核心网架构以核心数据中心为广域网核心节点整个广域网围绕着核心数据中心建设适合于核心数据中心较少的场景核心数据中心的变化会导致广域网的巨大变化以核心广域网为整个广域网的核心“以不变应万变”的设计思想适合于多数据中心的场景核心数据中心的变化理论上不会导致广域网的巨大变化骨干广域网流量模型——需求业务的分类每类业务的详细需求——带宽、时延、质量关键业务的保障各类业务流程梳理广域网带宽的充分利用骨干广域网流量模型设计-传统设计PE3PE1PPE4PE2PCE1CE2CE3CE4AS65000AS100AS200eBGPeBGPiBGP+IGP控制如何进入核心网控制如何在核心网内传递控制如何进入核心网RRR3R1R4R2SW1SW2SW3SW4AS100AS200eBGP控制出口路由器的选择控制选择具体的广域网链路控制出口路由器的选择IGPIGP20M20M40M40M10M10M10M100MWANSDN—精细、灵活、动态流量调度智能路径管理：关键业务保障自动流量优化自动分流自动故障避免SLA精细流量调度全网流量优化应用场景（一）：自动流量优化15M30M20M20M40M20M10M10M10M100M应用场景（二）：自动分流20M20M5M?20M20M40M40M10M10M10M100M应用场景（四）：关键业务保障20M20M40M40M10M10M10M100M应用场景（四）：自动故障避免优质链路45M15M高优先级视频面向业务的RESTfulAPI接口WANSDN的实现数据中心数据中心终端用户接入网骨干网DCI网数据中心网络APPs运维APPs3rdAPPsH3CiMCOSS/BSS管理编排平台应用驱动网络网络适应应用ODL控制器全开放场景化全流程端到端可迁移南向标准协议（SNMP/MIB,Openflow,BGP-LS,BGPFlowspec,PCEP,NETCONF,…）网络规划设计方法两地三中心网络规划概要设计两地三中心整体设计广域网规划设计数据中心规划设计网络管理规划设计目录数据中心内网络的划分数据库心跳网络，主机双机HA心跳网络数据抽取用于大数据分析/数据备份带外管理网，多数据中心统一运维FC网络、ServerSAN需要的IP网络，FCIP网络等数据中心中都哪些地方需要网络数据中心内各类资源的接入服务资源接入链路资源接入终端资源接入核心业务系统外围生产系统BI类系统办公类系统……业务终端办公终端管理终端……广域网专线外联专线互联网线路VPN线路……数据中心内需要完成哪些资源的接入才能发挥作用举例：传统外联区同时具备链路资源接入和服务资源接入的功能商业银行数据中心发展及未来的演进路线DC1.0面临的需求是什么？01可靠性对网络的需求表现为松耦合的架构，极高的可靠性、故障域的缩小。03安全性建立良好的安全架构，完善安全边界的确定和安全防护方案。02结构化的扩展方式整个数据中心能按照某种既定的结构进行横向的扩展。区域划分方案：分区模式比较客户端到服务器的访问只要经过一个区域，但同一层服务器之间的互访需要跨区优点：风险分散，一个区域内部故障或变更停机不会影响其他区域承载的业务扩展性较强，当应用种类增加或者单个区域容量增加时，可以通过横向拆分扩容可管理性强：便于故障定位和应急低时延：同一应用各层服务器之间的流量在同一个区内缺点：应用层次之间无物理分离模式B：按应用类型分区交换核心业务1DB1App1Web1业务2DB2App2Web2业务3DB3App3Web3客户端到服务器的访问要经过三个区域，同一层服务器之间的互访可在区域内部完成优点：每个区域只服务于应用逻辑中的一个层面（web/app/sys)，应用层次之间物理分离缺点：风险集中，一个区域内部故障或变更，会影响全部的应用扩展性较弱，服务器数量较多时，单个区域很快会达到容量上限可管理性弱，不易进行故障定位和应急模式A：按应用层次分区交换核心WebWeb3Web2Web1AppApp3App2App1DBDB3DB2DB1新一代大型EDC设计趋势：模块化“模块化的数据中心”5种颗粒度的说明(由大到小)Zone表示数据中心所在城市Site表示数据中心的具体位置

Module表示数据中心的大楼Cell表示数据中心内的一个单元，包括存储、计算、网络POD表示一组部署IT设备的机柜ZoneSiteModuleCellPodRackRack机柜(服务器、网络、存储)“模块化的数据中心”是一种用标准、可重复构建的单元来建设数据中心基础设施的方法其中CELL与POD是结构化布线及数据中心网络设计的关注重点TIA-942-A定义的架构化布线标准金融数据中心安全区的划分数据中心网络分区从总体上可分成不同安全级别的四个安全区：非安全区、半安全区、安全区、核心安全区非安全区（对外连接）半安全区DMZ核心安全区安全区安全边界安全边界安全边界不受控制的区域，如对Internet公众用户、外联第三方单位等提供服务的资源区域，企业的安全政策和标准无法强制执行企业内部网到核心安全区、安全区的过渡区域，外部网络和企业内部网络之间的过渡区域，用于分割它们之间的直接联系，隐藏和保护内部资源提供企业内部重要程度一般的服务器和客户端的接入，安全级别较高安全级别最高，包含了重要的应用服务器，提供关键的业务应用；包含企业网络管理、系统管理、安全管理、流程管理等管理功能相关的模块所集中的区域，具有很重要的意义，需要严格的安全策略；从外部网络到核心安全区域应通过半安全区进行转发，必须经过严格的安全控制DC1.0传统数据中心安全架构互联网接入区公众用户VPN维护用户VPN办公用户合作伙伴外联网接入区合作伙伴外联DMZ专线VPN网关办公VPN网关维护网银、手机银行电商DMZ门户网站DMZ员工上网DMZ其他系统DMZ入侵防护防DDOS防病毒网关Internet园区网广域接入OA生产其他总部机构同城及异地中心分支机构运维管理服务区安全管理流程管理ECC堡垒机带外管理其他业务三区办公应用决策应用其他业务二区非核心系统业务一区核心业务应用服务器业务处理体系渠道体系非安全区半安全区安全区核心安全区核心交换区内联区前置系统核心业务区核心业务系统密钥管理平台数据总线渠道管理平台会计处理平台资金运营中间业务代理理财重要业务区决策支持系统风险分析系统管理网区视频监控视频会议系统运维区安全管理平台网管系统广域网接入区省际骨干接入互联网接入区外联区DMZ1DMZ2DMZ3DMZ1DMZ2办公管理区资产管理系统准生产区准生产系统测试区测试系统培训环境数据中心互联带外管理区金融网Internet第三方接入第三方接入测试网安全服务安全服务安全服务安全服务安全服务安全服务安全服务安全服务安全服务安全服务安全服务互联网接入外联接入案例：XX银行数据中心网络架构A08-18A机房布局A08-10A08-09A08-01A07-18A07-10A07-09A07-01A06-08A06-07A05-16A05-12A05-09A05-08A05-07A04-08A04-07A03-10A03-09A03-01A02-18A02-10A02-09A02-01A01-18A01-10A01-09A01-01A06-06A06-05A05-06A05-05A06-04A06-03A05-04A05-03A06-02A06-01A05-02A05-01机架服务器x5刀片机x3机架服务器小型机机柜机架服务器小型机机柜小型机机柜机架服务器小型机机柜机架服务器x5刀片机x3机架服务器x5刀片机x3机架服务器x5刀片机x3机架服务器x5刀片机x3机架服务器x5刀片机x3机架服务器x5刀片机x3A04-06A04-05A04-04A04-03A04-02A04-01A03-12A03-11A03-14A03-13A03-16A03-15A06-14A06-13A06-12A06-11A06-10A06-09铜缆三相电存储区三相电存储区三相电存储区空调侧带库机柜A04-13A04-15A04-14A04-12综合布线综合布线综合布线综合布线综合布线综合布线综合布线扩展B路DCXDCX扩展A路DCXDCX新网银APP新网银DB新网银WEB新网银WEB扩展新网银APP新网银DB新网银APP扩展新网银扩展走廊侧统一考核VMAXDC1.0数据中心机房典型分配方式DC2.0面临的需求是什么01灵活性服务器虚拟化的带入完成了逻辑业务与物理服务器的解耦和。03性能压力服务器资源的充分利用以及高密接入，对于网络的性能压力也会越来越大。02标准化高密接入大量应用系统向开放的X86服务器转型，网络架构具有大规模网络接入的能力。网络资源池化设计物理资源与逻辑资源1:N映射基于资源池的数据中心打破物理资源与逻辑资源1:1的映射关系。一个PoD可以服务于多个ServiceZone。最理想的目标即实现“任意服务器，部署于任意机架，为任意业务提供服务”业务区域与基础设施的松耦合。这种共享模式的故障域范围较大，一个PoD为多种业务服务，PoD设备的故障会导致多种业务受到影响。共享模式平滑扩展能力强。网络的资源池化设计管理网接入交换机生产网接入交换机生产网FC交换机X86Cluster考虑点:多少个机柜组成一个POD设计多少种POD模型POD里面的服务器集群怎么规划存储资源是否要出现在POD内部……标准化的POD设计网络的性能的考虑。。。。。。业务二区业务三区未来扩展。。。。。。。。。收敛比是多少收敛比是多少各级设备的收敛比选择随着服务器利用率的大幅增加，服务器网口的利用率会提升。高密度的X86服务器接入，导致接入层下行接口数量的大幅增加。Hadoop等分布式计算架构的引入会大幅增加网络的东西向流量。服务器网卡进入10G时代，40G/10G的收敛比要小于10G/1G。极端案例：互联网公司的数据中心在SPINE节点的收敛比大部分为1：1计算资源内外联隔离资源池办公管理资源池互联业务资源池………………………………服务器机房模块………………………………服务器机房模块………………………………服务器机房模块……互联后台区互联隔离一区互联隔离二区L3汇聚L3汇聚L3汇聚办公服务区管理服务区L3汇聚L3汇聚……二层网络……二层网络生产后台资源池生产后台区L3汇聚……二层网络外联隔离区L3汇聚内联隔离区L3汇聚……二层网络电话银行资源池电话银行区L3汇聚……二层网络NAS资源池NAS服务区L3汇聚……二层网络XX银行同城数据中心服务资源池的划分“资源化”对应机房布局的改变DC3.0面临的需求是什么01融合性网络、计算、存储不再割裂、业务需要IT资源的统一交付。03自定义可以根据需要，灵活的重新定义各个业务所需要的IT资源。02快速自动化业务部署所需要的IT资源“0”时间提供。蓝图－金融IaaS云业务需要的是一个融合了所有基础架构资源的云云平台计算存储网络-SDNOverlaySDNVLANSDN强控制、强管理弱控制、强管理OpenflowOVS-DBNETCONFMP-BGPVXLAN云-SDN技术分解基础架构管理平面（运维平台）云&租户管理平面（业务平台）VCFFabricH3CDataCenter基础网络架构OpenStackOpenSourceCloudOSH3CCloudOpenStackBased可视化自动化软件定义面向应用分布式VCFFabricDirectorH3CDataCenter基础设施管理平台Overlay数据中心AEVPN数据中心BSpineLeafBorderSpineBorderLeafEVIH3CSDN整体解决方案强控制模型-基于Controller的控制平面基于Controller的控制平面若VTEP是虚拟设备，Controller从VMManager和vSwitch获取VTEP及下挂VMIP/MAC信息若VTEP是物理设备，Controller和所有VxLANED设备建立连接关系，获取VTEP及下挂VMIP/MAC信息VTEP第一次收到数据报文，上送给Controller，Controller确定VxLAN隧道信息，下发流表到VTEP，VTEP封装VxLAN报文转发流表在VTEP上可以定期老化，

达到动态建立隧道的效果，节省表项资源CoreCoreAggAggRouterRouterAccessAccessAccessAccessAccess①ToR设备实现VTEP，把报文封装为VxLAN格式②核心设备实现VxLANIPGW，终结VxLAN报文，并进入L3转发④ToR设备实现VxLANGW，终结VxLAN报文，实现VxLAN和VLAN网络互通vSwitchVCFC③Controller负责控制平面，下发流表，指导转发VxLANFabricOpenFlow/NetconfVMManagerCSM隧道建立和VXLAN关联：利用EVPN的BGPRR实现邻居发现

，自动发现VXLAN网络中的VTEP，并在有相同vxlan各VTEP之间自动创建VXLAN隧道，自动关联VXLAN隧道和VXLAN地址同步：利用EVPN的MP-BGP路由协议完成MAC地址同步、主机路由同步两个功能标准化：控制面使用EVPN，属于标准协议：RFC7348+draft-sd-l2vnp-evpn-overlay，RFC7209，RFC7432VxLAN控制平面：EVPN，路由协议MP-BGPRRRRLeafLeafLeafEVPN地址同步VXLANNetworkEVPN地址同步VXLAN隧道建立弱控制模型-基于EVPN的控制平面M9KL5K面向私有云--灵活的网络定义能力云平台服务目录开户创建网络云主机云存储服务链业务策略插入服务链创建network创建subnet创建vRouter访问目的IP、PORT，进入服务链获取租户UUID选择VM标准选择存储标准创建服务链UUID选择vDC部署业务策略租户租户开通创建网络负载均衡申请防火墙申请创建服务链业务策略创建流分类策略创建服务链UUID关联tenant_id业务节点graph开通租户分配租户UUID创建VXLAN创建网关IP地址创建VLB创建VFW部署vFW、vLB的业务策略创建dstip、port的流分类策略，进入服务链IT/DC运维者TenantvDCVMSubnetVMStorageStorageWEBWEBStorageStorageNetworkRouterDBNetworkVMOVSVMStorageStorageS6800WEBWEBStorageStorageS12500-XDBvLBvFWS6800OVSS6800OVSvFW逻辑拓扑物理拓扑vLBSubnetH3CSDN+：网络自动化部署●设备加电，自动升级版本文件●自动配置IRF●自动整网路由可达，提供一个IP路由可达的三层网络●自动化运行过程拓扑动态显示自动配置过程显示实时部署云平台虚拟资源分配SpineLeafLeafLeafLeafDHCPTFTPVM1VM2Spine云平台虚拟资源分配VXLANNetwork自动配置：大量设备基础配置依据拓扑自动完成，提供一个IP路由可达的三层网络可视化：设备上线过程动态拓扑展示实时部署：面向应用的虚拟网络资源根据用户需求实时分配和部署EVPN自动配置隧道自动建立地址自动同步VXLAN按需分配当逻辑网络的部署控制权移交后，物理网络各节点高度同质化。安全资源池与服务链vSW/OverlayGWvFWvIPSvLBvSW/OverlayGWVM1VM3灵活自定义服务链源目的SDNFabricOpenstackSDNControllerVM1VM2Vswitch(内嵌防火墙)OverlayGWVM3VM4VM5VNI:33物理服务器1Vswitch(内嵌防火墙)OverlayGW物理服务器2安全资源池VFWVLBvFWVIPSVIPS服务链的业务模式可以在虚拟化的环境中为每一项业务提供端到端的虚拟安全路径，并将其可视化以便下发和更改。在没有边界的虚拟化网络中，服务链能精确区分业务的安全需求。安全资源池为系统的安全资源横向扩容提供了平滑的解决方案。Page53链路资源接入区域变化趋势链路资源接入区域主要有：外联区、互联网区、广域网区复杂简单混合区单一区为什么要做DMZ资源的内移？单点接入多点接入用户接入区域设计广域网数据中心园区网数据中心终端接入区办公互联网区广域网XXXX区广域网数据中心园区网生产终端区Page55带外管理网构建覆盖所有服务器和网络设备的带外管理网咯不同接入类型的管理端口共享一个带