基于SDN的数据中心互联

1、目录一、数据网发展方向二、骨干网SDN改造方案DCI三、城域网改造方案第1页新一代网络架构IP+光承载平面基础网元云接入服务面向数据中心网络（DCN）云互联基地DC基地DC基地DC基地DC泛在宽带接入服务固网宽带无线宽带移动宽带城域汇聚移动回传区域DC区域DC面向用户中心网络（UCN）泛在连接超宽带弹性管道边缘DC云接入服务泛在宽带接入服务超宽带弹性管道应用组件应用组件应用组件应用层APINaaS 网络即服务NaaS 网络即服务北向开放接口虚拟网络功效资源管理网络控制云化业务云化网络服务平面服务协同和编排南向控制接口东西集成接口东西集成接口网络架构变革= 泛在超宽带 + SDN + NFV +

2、 云服务新一代顶层架构由面向用户中心服务网络、面向数据中心服务网络、面向信息交换服务网络以及面向开放云化网络服务平面 等四个部分组成。其目标就是让网络作为一个可配置服务（Network as a Service，NaaS）提供给用户及商业合作搭档，用户能够按需获取网络资源和服务，并能够自行管理专属分配虚拟网络资源，比如：带宽、质量、链路、地址以及接入限制等能力要素。第2页服务按需云化布署 伴随SDN、NFV技术和X86硬件技术成熟，网络发展逐步向“转发”、“控制”分离架构演进。“转发面”展现出逐步向使用专用低成本标准化硬件趋势，“控制面”展现出虚拟化后移入DC，管理面借助SDN技术对网络进行编

3、程实现整个网络统一管理和业务快速布署。网络组织和业务构建逐步向以DC为中心架构演进。第3页将现有DC按规模和主要性划分为：大区DC、区域DC和当地DC三级。各级网元按条件完成虚拟化后逐步向归属地域对应等级DC内迁移。同时利用SDN技术构建各业务逻辑网络，并保障所需传输质量。数据中心布局-数据中心资源分层第4页目录一、数据网发展方向二、骨干网SDN改造方案DCI三、城域网改造方案第5页DCI网络发展目标DCI网络发展目标以DC为关键，对各类云业务实现统一承载专用业务网络网络控制：云管网络资源统一管理；依据业务需求和网络质量调整业务网络(overlay)拓扑；配置快速下发。网络承载：按业务网络(o

4、verlay)需求，在物理网络(underlay)上构建无缝传输通道，并提供带宽、QoS保障。网络监测：监控underlay各网段带宽和质量，汇总成overlay网络和业务网络质量，反馈给控制面进行参考并展示。10G20G时延30ms30G租户1网络自营业务网络5G时延10ms1G租户1包括网络自营业务网络物理网元虚拟网元映射关系第6页DCI系统架构物理/虚拟资源自动化管理服务目录业务编排智能资源调度用户管理业务模板用户业务监测全局资源和日志分析拓扑监测设备监控Open API OSSBSS承载面控制面监测面运行门户业务管理员门户运维管理员门户服务门户电商门户能力开放平台(SDP)承载面按控制

5、面命令，在物理网络上实现端到端无缝连接，并提供QoS保障。控制面对云管资源统一管理，并依据用户、应用需求，构建overlay网络。监测面深入分为业务监测、设备监测和网络监测三个子层面。完成对网络资源、业务运行情况和服务质量监控功效；为精细化网络管理提供数据支撑。网络信息搜集第7页控制层模块运行商DC协同层厂家A DC控制器厂家A设备业务编排层运行商DCI协同层业务系统openstack厂家B DC控制器厂家B设备厂家C DC控制器厂家C设备厂家A DCI控制器厂家A设备厂家B DCI控制器厂家B设备厂家C DCI控制器厂家C设备控制面架构业务系统：负责从外部输入用户业务需求。业务编排层：将用户

6、业务需求按各域范围进行任务分解。Openstack：将用户对云部分业务需求转化为对计算、存放、网络资源控制命令。运行商DC协同层：将openstack下发对网络需求，分配给各厂家控制器。运行商DCI协同层：将业务编排层分配对管道需求，分配给各厂家DCI控制器。第8页网络控制面功效InternetInternetDC网络DC网络DCI网络DCI控制器云服务门户DC控制器DC控制器PEPE出口路由器出口路由器GWGWopenflowopenflow光网络光控制器端到端业务自助开通，路径自动建立，参数自动调整广域网智能流量调度/调优，实现负载均衡IP与光协同，实现流量优化，协同故障检测/保护第9页承

7、载面网络层次骨干层功效：疏导跨大区DC间东西向流量。技术需求：能依据用户业务需求提供QoS保障，并实现全局流量调度。大区层功效：疏导大区内各区域间东西向流量。技术需求：能依据用户业务需求提供QoS保障。区域层功效：疏导各物理DC间东西向流量。技术需求：结构满足虚拟机漂移需求网络。第10页DCI协议转换模式PE和GW分设，PE与GW之间采取开放标准接口对接，兼容性要求低。GW到PE段经过QoS保障。对DCI PE技术要求低，采取现有MPLS L3VPN、VPLS等技术即可租户网络在PE和GW之间采取VLAN隔离，要求PE和GW直连DC L3互联时，每VPN需要一个BGP会话第11页业务功效1：端

8、到端业务自动开通InternetInternetDC网络DC网络DCI网络DCI控制器云服务门户DC控制器DC控制器PEPE出口路由器出口路由器GWGW网管系统业务探针系统pcep/netconfopenflowopenflowRestful/YangRestful/Yang第12页业务功效1 ：端到端业务自动开通1 用户经过门户 自助订购业务2 编排器将业务需求分解为计算/存放/网络资源需求并下发3 DCI控制器依据专线需求生成配置并下发设备3 DC控制器依据需求生成流表并下发设备3 DC控制器依据需求生成流表并下发设备4 准备DC内网络连接4 准备DC内网络连接4 准备骨干网络连接5 端到

9、端业务开通第13页业务功效2：广域网流量调度DC互联平面SDN ControllerDC互联PE呼和浩特基地廊坊基地贵州基地DC互联PEDCI控制器经过BGP-LS搜集全网TEDB和LSPDB信息，集中计算TE路径1DCI控制器依据用户SLA等级进行TE路径选择，经过PCEP实现业务路径动态调度优化2客户A客户B客户A客户B客户C客户C111222DC内DC内DC间300M800M100MDC互联PE第14页业务功效2：广域网流量调度TE实现基于租户资源保障和流量优化；经过PCE集中控制实现全局流量负载均衡，防止局部拥塞，提升网络资源利用率；网络发生故障时快速切换到备份路径，提供业务保护；第1

10、5页目录一、数据网发展方向二、骨干网SDN改造方案DCI三、城域网改造方案第16页IDC市场需求 未来三年IDC市场增速将稳定在30%以上。到，中国IDC市场规模将超出900亿，增速将靠近40%。 主机托管（35%）和接入服务依然是IDC服务商最主要业务。主要拉动力是互联网企业业务增加。 云主机、云存放等云服务占比为11%。 以主机托管和接入服务为主基础资源出租和云计算业务是当前IDC主要业务模式。未来三年，IDC将保持高速增加。 互联网、政府&教育、制造&能源&医疗、金融等是IDC市场主要拉动力。 推进业务：流媒体、云计算、大数据、物联网应用是这些行业推进动力。17第17页VDC市场需求外部

11、需求强烈内部改造迫切公有云服务加速对传统IDC托管市场侵蚀传统IDC托管业务增长率一直保持在20%以下，而公有云中IaaS市场则基本保持在40%以上增长率。一方面，随云服务商业务量增长，对基础设施托管需求增加，持续推动着传统IDC托管市场；其次，公有云快速部署、易扩展性和低廉价格对中小客户吸引力越来越大，传统IDC托管市场面临着前所未有挑战。1.降低成本现有VAS等电信业务系统，孤岛式、资源利用率低、维护运行成本高，有云化改造需求。2.承载各种综合业务VDC系统除能提供基础公有云、私有云业务外，还能以其系统为基础采取开发APP业务软件方式，逐步开通如云CDN、VAS等其它对内、对外业务，取代传

12、统IDC成为更高层多业务综合承载平台。18第18页国外运行商发展策略整合DC资源，提供综合承载UNICA架构：基于SDN，将原有96个DC整合为6个vDC。逐步提供对内、对外综合业务承载。提供差异化、综合接入业务ArcStar Universal One：“VPN专线+DC”的E2E SDN全球网络，连接 NTT DC机房、NTT公有云和企业，并基于NFV提供丰富的业务应用业务特点： 一站式云服务； 租户自订购自管理； 业务快速开通（开通时间从数周降为1小时）重构网络架构CORD基于云整合vCPE、vOLT、vBNG、Cache功能，将传统Central Office(OLT-汇聚交换机-BN

13、G)重构为CORD，提供云化的接入、订阅、CDN和Internet服务Telefonica: UNICA架构AT&T：CORD项目NTT:Arcstar Universal One第19页IDC发展需求1.整合DC资源池4.实现虚实资源共管5.增加网络业务种类，保障用户体验2.实现多业务综合承载、逻辑隔离 经过将城域全部DC整合成一个资源池，能够消除资源碎片，提升资源利用率和整体承载能力，同时增强了运维管理能力。 将DC内网络资源和虚机资源管理面进行统一，实现虚实资源共管。为在DC资源池内实现IDC和云业务弹性调整奠定基础。 充分利用管道资源，增加业务种类，保障优质用户服务质量。 为多租户业务

14、构建彼此独立逻辑网络，并实现网络资源及服务按需配置。不一样逻辑网络互不可见，相关系统可任意定义IP网段、负载均衡策略、防火墙策略等；3.集中控制，业务快速下发 经过转发、控制分离，将控制面集中化，实现业务快速下发。第20页IDC新业务需求SDN改造后承载业务种类：1.云业务：改造机房具备提供公有云及电信云业务承载能力。2.机架云化业务：能够提供跨地市多机房二层网络组网能力，满足用户私有云承载需求。3.传统机架出租业务：兼容传统机架出租及三层网络接入业务。方案设计标准：1.网络设备按需布署、节约投资2.网络具备各种业务综合承载能力3.网络及系统具备按业务发展需要平滑演进能力第21页互联范围网络资

15、源整合另一个限制条件是虚拟机迁移范围。当前该范围两类主要受云管理平台技术制约和存放技术制约。布署提议：当前云管理平台技术是虚机迁移范围主要制约原因，所以当前区域范围在100km以内。但当前云平台技术发展速度很快，预计未来几年内，存放将成为主要限制条件。即互联范围有望在近期扩展到300km以内。依据业务发展需求，提议优先以各省一二级省会为中心，建立互联区域。虚机迁移范围制约原因云平台制约条件迁移前后位置双向通信RTT时延不大于1ms,按光在光纤中200000kh/s的速度计算，及要求迁移前后位置在100km以内。存储技术制约条件存储同步复制时对网络时延和带宽都要很高的要求：按照RTT时延3ms的

16、要求，主备存储之间的传输层距离不能超过300km；第22页新型城域架构业务链调度弹性扩容资源虚拟化并集中布署用户接入互联网应用vFamilyvEnterprise视频加速绿色上网Web优化vSTB/vRGW企业防火墙动态杀毒邮件安全vARIP backboneResidentialOLTResidentialEnterprise业务编排层控制器vCachevFWvNFnService chainPOP DC能力开放CPE优先进行DC规范化改造，打造DC资源控制平面，形成对各类业务网元云化后综合承载及按需管控能力。以业务发展及技术成熟为驱动，逐步将完成vCPE、vBNG网元云化布署，扩展资源管控

17、平面，实现云网协同管理。未来深入完善城域统一控制平面，实现网络能力开放和多业务综合承载，为CDN等应用类云业务快速布署和迭代开发奠定基础。第23页目录一、IDC业务发展现实状况及诉求二、基于SDNIDC改造方案发展目标DC内改造方案DC出口改造方案三、实施步骤提议第24页城域DC改造目标 利用SDN技术改造数据中心。为多业务系统提供虚拟、隔离、可扩展、自管理NaaS服务：将各DC出口设备更换为支持SDN和VXLAN关键交换机，并视其内部架构和业务布署支持VXLAN接入交换机或虚拟机交换机。全部DC共用同一对出口路由器，该出口路由器同时外接城域网CR。全部DC内设备共用同一SDN控制器，控制器能

18、够服务器或虚拟机形式布署在DC内部。 改造现有城域网DC网络架构并统一布署开放系统平台。其南向是资源管理平台，对接SDN控制器、NFV MANO。对城域网和DC内资源（网络资源、NFV网元、计算存放等云资源）进行统一管理、按需调度。经过逐步增加MANO接口实现对vOLT、vCPE、vBras统一承载。其北向是虚拟化网络功效，经过开放API接口，实现网络功效开放。便于在其上研发针对企业、家庭用户新型网络。系统层面网络层面第25页构建二层资源池整合资源池：在三层Underlay网络构建vxlan二层隧道实现可扩展二层网络，东西向跨DC流量经过vxlan封装实现互通。整个城域内打通成一个二层资源池。

19、对于小机房，只需要布署具备VXLAN VTEP功效交换机，VTEP以下为二层网络。对于大机房，需要布署具备VXLAN接入交换机和关键交换机，VXLAN VTEP和VXLAN GW之间采取三层IBGP组建underlay。因为VTEP对普通IP报文进行了再次封装，这将带来约50多个字节额外开销，可能造成VxLAN封装大报文IP报文无法抵达目标端。一是将IP报文发送端操作系统MTU值改为1450 byte以下，二是在IP报文沿途全部网络设备上开启jumbo frames相关功效服务器机架VMVMVMVSW服务器机架虚机资源池VXLAN VTEPVXLAN GWInternetController东

20、西向流量南北向流量租户A租户BVMVMVMVSW服务器机架第26页多租户隔离服务器机架VMVMVMVSW服务器机架虚机资源池VXLAN VTEPVXLAN GWInternetController租户A网络租户B网络VMVMVMVSW服务器机架租户C网络业务编排器经过VXLAN实现租户标示经过VLAN实现租户标示多租户隔离： 在VTEP节点以下，经过VLAN实现标示和隔离。 在VTEP节点以上，将VLAN按1:1映射为VXLAN实现租户标示和隔离。 经过业务编排器链接SDN控制器，将配置快速下发，实现用户网络按需弹性扩展。第27页业务1vCPE+云+SDN 经过在用户侧布署支持SDN和Vxla

21、n廉价接入设备，为用户提供私有云接入专线业务。专线开通时间长资源不能动态调整，增值业务单独设备支撑专线业务质量无法端到端管控现实状况痛点方案价值业务支撑：统一业务定制，云+专线一站式服务专线快速发放，带宽动态调整，增值业务硬件资源云化用户即插即用效率&感知：DC+专线业务快捷交付，动态调整专线业务质量可视，问题及时定界接入设备用户自服务IP城域网/UTN管道云VxLAN网关服务器(用户云+控制云)TOR（VLAN-VxLAN转换）防火墙ControllerNMS南向接口能力开放平台管道控制OSS传统配置接口ICT-O/A北向接口资管系统服开系统FWDPI私有云企业2vCPE（带VxLAN功效）

22、企业1vCPE（带VxLAN功效）互联网第28页业务2vBras 在城域网内对BNG设备进行转发、控制分离。将其认证、控制等功效模块虚拟化后移入DC资源池，原有BNG设备仅使用期交换功效，未来深入更换为大容量交换机。将原有二层交换机更换为支持vxlan交换机，对于用户流量进行分流。对其认证流量导入DC中vBNG进行处理；对其业务流量经过交换网络进行常规转发。Vxlan交换机用户认证流量用户业务流量租户网络第29页目录一、IDC业务发展现实状况及诉求二、基于SDNIDC改造方案发展目标DC内改造方案DC出口改造方案三、实施步骤提议第30页城域DC出口网络拓扑关键交换机关键交换机IDC出口路由器服

23、务器机架服务器机架服务器机架租户A租户B城域网CR互联网骨干网ARDCI PE(A网 AR )DC出口控制器 同一城域共用一对DC出口路由器，同时上联城域CR、互联网骨干网 AR和DCI PE(A网AR)，分别疏导到本市、外地、DCI流量； 在DC出口处，利用SDN原理，经过定时检测DC-CR、CR-AR、DC-AR三段链路流量和带宽利用情况，对DC出方向流量实施选路调度和QoS策略，优先保障对高价值用户业务流量传输质量。第31页流量调优方案架构及工作流程路由控制1流信息4流定义3策略2采集流量策略管理BGP 路由5用户定义策略可视化拓扑用户自动仪流3rd party 采集器选择2预处理流分析

24、流量预处理流量分析与策略管理DC出口控制器路由计算路由控制待定选择1Netstream/netflowSNMP原始流接口统计DC出口控制器依据BGP(routes), IGP(topo.), SNMP(link load), netstream(flow statistic)获取网络信息。与传统网络区分： DC出口关注流量，周期性处理流量改变。是个基于流量改变和拓扑改变自动反馈系统。 DC出口控制器经过流量采集器定时搜集DC-CR、CR-AR、DC-AR三段链路流量和带宽利用情况。将采集流量与管理员预定义流量策略进行匹配，生成下一周期流量调度策略，下发给DC出口路由器。DC出口路由器经过公布B

25、GP路由信息或下发流表，实现对流量调度和保障。第32页中国电信实践充分利用SDN技术转发与控制分离特点，消除城域网、IDC带宽忙闲不均现实状况，提升整体带宽利用率。按照同城、省内、省外次序分别对地市IDC关键设备逐步进行SDN按需承载试点。流量当地化和借道城域网实现IDC在汇聚平面和城域平面之间调优实现跨地市IDC和城域之间调优大客户质量保障布署地市IDC链路无差异全部用户共享全部链路无差异服务，全部用户都无法完全满意地市IDC链路有差异VIP用户享高质量链路VIP用户走高优先级链路普通用户挤在普通链路上地市IDC链路有差异优先确保VIP用户VIP用户走高优先级链路，普通用户在可能情况下共享高

26、优先级链路1、差异化服务(QoS)，保障VIP用户；2、高效网络(增加选路功效)，降低对普通用户影响；3、结合DCI深入流量分流；现实状况DC出口QoS充分利用各链路带宽第33页第一阶段：小规模业务试点云管平台、openstack和SDN控制器实际布署位置VMVMVMVMVMVMVMVM机架资源池云资源池机架出租中原基地DC互联网骨干网城域网机架出租VMVMVMVMVMVMVMVM机架资源池云资源池机架出租区域中心DC城域网机架出租VMVMVMVMVMVMVMVM机架资源池云资源池SPINELEAF非区域中心城市DC机架出租VTEPVTEPVTEP租户提供VTEPVTEPVTEPVTEPVTE

27、PVTEPOpenstack云管理平台VTEPVxLAN GWVxLAN GWVTEPVTEPVTEPSDN控制器租户提供NAT防火墙NAT防火墙SDN controller中原基地现有DC出口路由器城域网CR在第一阶段，每个地市只有1到2个机房进行试点，规模较小。所以提议：全省一套云管理平台布署在中原基地，负责接入各区域openstack，管理全省云业务；每区域一个资源池，布署一套openstack和SDN控制器，管理整合区域云业务和跨地市机架云业务，整个区域一个AS。Openstack和SDN控制器布署位置能够在区域中心或中原基地；除中原基地传统机架业务仍由当地出口导出外，整个区域三种业务

28、流量出口位于区域中心，在出口机房关键交换机需要支持VXLAN GW功效。旁挂NAT设备和防火墙设备，实现对公有云用户地址转换和全部南北向流量安全防护。Overlay网络满足云业务及机架云化业务，Underlay网络满足传统三层网络机架出租业务。防火墙防火墙第34页第二阶段：各地机房数量逐步增加机架出租VMVMVMVMVMVMVMVM机架资源池云资源池机架出租区域中心DC1城域网机架出租VMVMVMVMVMVMVMVM机架资源池云资源池SPINELEAF非区域中心城市DC1机架出租VTEPVTEPVTEP租户提供VTEPVTEPVTEPOpenstack云管理平台VTEPVxLAN GWVxLA

29、N GWVTEP租户提供NAT防火墙NAT防火墙SDN controller城域网CR非区域中心城市DC2VTEPVTEPVTEP租户提供区域中心城市DC2VTEPVTEPVTEP租户提供位于中原基地在第二阶段，各地市机房逐步完成改造，能够经过接入第一阶段已完成改造机房关键交换机实现接入现有区域DC网络。伴随各地市接入机房增加，能够在各地市关键交换机新增旁挂防火墙设备，同时增加关键交换机到当地市CR链路。实现当地机架出租业务流量由当地疏导，降低跨地市带宽需求。对于云业务和跨地市机架云化业务流量仍由区域中心处疏导。城域网CR城域网防火墙防火墙VxLAN GWVxLAN GW第35页第三阶段：云业

30、务大规模布署机架出租VMVMVMVMVMVMVMVM机架资源池云资源池机架出租区域中心DC1城域网机架出租VMVMVMVMVMVMVMVM机架资源池云资源池SPINELEAF非区域中心城市DC1机架出租VTEPVTEPVTEP租户提供VTEPVTEPVTEPOpenstack云管理平台VTEPVxLAN GWVxLAN GWVTEP租户提供NAT防火墙NAT防火墙SDN controller城域网CR非区域中心城市DC2VTEPVTEPVTEP租户提供区域中心城市DC2VTEPVTEPVTEP租户提供位于中原基地城域网CR城域网防火墙防火墙VxLAN GWVxLAN GWNATNATOpens

31、tackSDN controller在第三阶段，伴随各地市机房数量深入增加和云业务发展。为了满足服务质量和虚拟机数量需求，能够在每个地市布署一套openstack资源池及控制器(不提议同地市每机房一套)，并在各地市关键机房关键交换机旁加挂NAT设备，形成每个地市一个openstack资源池并配置独立AS号。实现当地业务当地承载和业务流量就近疏导。区域中心仅负担区域内跨地市云业务和机架云化业务流量疏导。当地市(类比亚马逊AZ)各机房间云业务实现业务双活热备，区域内(类比亚马逊Region)不一样地市实现彼此冷备，保障云业务高可靠性。第36页云管理系统布署方案华为云管平台Manageone中兴云理

32、平台iros华为OpenStack云平台华为OpenStack云平台中兴OpenStack云平台中兴OpenStack云平台河南省分云管理平台(业务web界面)第一阶段华为云管平台Manageone中兴云理平台iros华为OpenStack云平台华为OpenStack云平台中兴OpenStack云平台中兴OpenStack云平台河南省分云管理平台(业务APP)第二阶段华为OpenStack云平台H3COpenStack云平台中兴OpenStack云平台开源OpenStack云平台河南省分云管理平台(业务APP)第三阶段httphttpAPIAPIAPI 在业务布署早期阶段，因为交付时间原因，能

33、够直接使用各厂家提供业务web界面，或简单开发一个业务portal，统一云业务接入界面，进入后按业务所在区域进入各厂家云业务界面。缺点：各厂家业务界面及功效不统一。 在第二阶段，利用厂家提供云管理平台功效API接口，研发省分自主产权云管理平台软件。经过借助各厂家云管理平台实现对业务统一管理。不区分各厂家设备，对业务界面操作进行统一化处理。【难度较低】 在第三阶段，直接开发云管理平台各项详细功效，其南向直接对接各厂家openstack平台。经过统一南向接口标准或进行相关适配开发，实现对多厂家openstack云平台兼容，实现系统开放性。【难度较高】 为确保后续省分云管理平台开发，需要各厂家提供其云管理平台及openstack云平台北向接口，并承诺帮助下阶段接口对接工作。BSS、OSSBSS、OSSBSS、OSS第37页省内DCI流量调度 伴随DCI布署，可利用DCI网络深入进行省内流量调度。 在高峰时段，大型城市城域CR到China A路由器链