XX数据中心网络及安全方案建议书.doc

XX数据中心网络及安全方案建议书修订记录：目录一、建设背景- 3 -1.1.数据中心背景介绍- 3 -1.2.XX集团数据中心建设- 3 -二、需求分析- 5 -2.1.应用系统分析- 5 -2.2.流量模型分析- 8 -2.3.带宽分析- 9 -三、方案规划与设计- 11 -3.1.数据中心网络建设目标- 11 -3.2.总体设计思路及原则- 12 -3.3.业务分区- 14 -3.4.网络设计- 16 -3.4.1.核心交换区- 17 -3.4.2.服务器接入区- 19 -3.4.3.互联网区- 20 -3.4.4.外联网区- 21 -3.4.5.广域网接入区- 22 -3.4.6.灾备接入区- 22 -3.5.安全设计- 24 -3.5.1.安全设计原则- 24 -3.5.2.SecBlade FW插卡部署- 25 -3.5.3.SecBlade FW+IPS+LB组合部署- 27 -3.6.QoS设计- 31 -3.6.1.QoS设计原则- 31 -3.6.2.QoS服务模型选择- 31 -3.6.3.QoS规划- 32 -3.6.4.QoS部署- 34 -3.7.数据中心互联- 37 -3.8.新技术应用- 39 -3.8.1.FCoE- 39 -3.8.2.虚拟机(VM)部署与迁移- 41 -3.9.数据中心管理- 44 -3.9.1.数据中心管理设计原则- 44 -3.9.2.网络管理- 44 -3.9.3.网络监控- 47 -四、方案实施- 50 -4.1.网络布线建议- 50 -4.1.1.走线方式的选择- 50 -4.1.2.网络配线方式- 52 -4.1.3.服务器接入方式- 53 -4.1.4.机房布线建议- 56 -4.2.VLAN规划- 56 -4.3.IP地址规划- 57 -4.4.路由规划- 58 -4.5.业务迁移- 60 -五、设备介绍- 61 -5.1.设备清单- 61 -5.2.H3C特色技术介绍- 65 -5.2.1.IRF虚拟化- 65 -5.2.2.网络安全融合- 67 -5.3.产品介绍- 69 -一、 建设背景1.1. 数据中心背景介绍数据中心（英文拼写Data Center，简写DC）是数据大集中而形成的集成IT应用环境，它是各种IT应用服务的提供中心，是数据计算、网络、存储的中心。数据中心实现了安全策略的统一部署，IT基础设施、业务应用和数据的统一运维管理。数据中心是当前各行业的IT建设重点。运营商、电力、能源、金融证券、大型企业、政府、交通、教育、制造业、网站和电子商务公司等正在进行或已完成数据中心建设，通过数据中心的建设，实现对IT信息系统的整合和集中管理，提升内部的运营和管理效率以及对外的服务水平，同时降低IT建设的TCO。数据中心的发展可分为四个层面：u 数据中心基础网络整合：根据业务需求，基于开放标准的IP协议，完成对企业现有异构业务系统、网络资源和IT资源的整合，解决如何建设数据中心的问题。u 数据中心应用智能：基于TCP/IP的开放架构，保证各种新业务和应用在数据中心的基础体系架构上平滑部署和升级，满足用户的多变需求，保证数据中心的持续服务和业务连续性。各种应用的安全、优化与集成可以无缝的部署在数据中心之上。u 数据中心虚拟化：传统的应用孤岛式的数据中心模型扩展性差，核心资源的分配与业务应用发展出现不匹配，使得资源利用不均匀，导致运行成本提高、现有投资无法达到最优化的利用、新业务部署难度增大、现有业务持续性得不到保证、安全面临威胁。虚拟化通过构建共享的资源池，实现对网络资源、计算计算和存储资源的几种管理、规划和控制，简化管理维护、提高设备资源利用率、优化业务流程部署、降低维护成本。u 数据中心资源智能：通过智能化管理平台实现对资源的智能化管理，资源智能分配调度，构建高度智能、自动化数据中心。1.2. XX集团数据中心建设XX集团的商业用户分布在全国各大城市，目前业务系统的部署主要集中在和大连，近年来随着XX集团业务的规模及多样化发展，企业对信息化的依赖程度越来越高，数据集中、业务7*24小时高可靠支撑对数据中心的要求越来越高。经综合考虑，拟在新建数据中心，未来数据中心将成为XX集团的主中心，承载所有生产业务系统。数据中心是集团广域网汇聚中心，机房内原则上将不放置服务器。大连数据中心是灾备中心，主要功能是数据异地备份。此方案主要涉及数据中心的网络及安全的设计与部署，并实现与、大连的互连！二、 需求分析二、2.1. 应用系统分析XX集团目前的应用系统主要包括生产应用、办公应用和基础支撑三大类，这三大类的服务器的数量占比如下图所示：在三大类应用系统中，每一类又可以细分为多个子类，不同的子类应用在流量特征、规模和用户访问类型上存在较大的差别，这些将会影响到网络及安全的方案设计，下面将进行进一步的分析：1. 生产应用类u ERPu 百货u KTVu 院线u 酒店u 商管u 地产u 网站流量特征分析：不同类的应用，其业务负载繁忙特征也有显著区别，其中百货、KTV、网站应用周末繁忙；院线应用周二、周六和周日繁忙。繁忙时段网络流量明显上升，而且受外界因素（如新片上映、节假日促销等）影响，存在不确定的突发流量。规模分析：从服务器的数量上统计，上述各类应用的服务器数量占比如下图所示：总体来看，院线类服务器的数量最多，其次为网站、百货和KTV。用户访问分析：上述应用的访问用户相对多样化，包括集团内部员工（如ERP）、集团外部用户（如百货、KTV）和互联网公众用户（网站、院线）。2. 办公应用类u OAu 视频会议u 图档u 文件u 其它流量特征分析：办公应用类服务器业务负载繁忙特征比较单一，繁忙时段集中在工作日的8小时内，流量相对较稳定。视频会议对网络的质量要求最高，服务质量（QoS）要充分考虑。规模分析：从服务器的数量上统计，办公各类应用的服务器数量占比如下图所示：总体来看，OA服务器的数量最多，其次为视频会议。用户访问分析：办公应用的访问用户单一，均为集团内部用户。3. 基础支撑类u 域和身份认证u DNSu 防病毒u 网管u 桌面管理流量特征分析：基础支撑类服务器业务负载繁忙特征比较单一，繁忙时段集中在工作日的8小时内。部分服务器（如防病毒）的流量特征取决于网络管理员的策略。规模分析：基础支撑类物理服务器数量不会很多，未来可能会部署很多的虚拟服务器，因此此类服务器对网络的扩展要求要对相低，在此不再做进一步的规模分析。用户访问分析：办公应用的访问用户单一，均为集团内部用户。分析总结：1. 生产应用类服务器的数量最多，而且此类服务器未来随XX业务的发展，规模会越来越多，因此生产应用类服务器的接入要充分考虑可扩展性；2. 生产应用类服务器的用户访问类型最复杂，因此要充分考虑安全访问策略的设计；3. 生产应用类服务器的流量特征最复杂，流量最大，而且突发性最强，因此要充分考虑网络的缓冲能力；4. 办公应用类业务中，视频会议对网络的传输质量最为敏感，方案设计要给予充分的QoS和带宽保证。5. 三大类应用系统中，所有业务均为7*24小时运行，因此在网络的设计中要保证高可靠，设备和链路均采用冗余设计，对于生产类关键业务，要保证设备和链路故障恢复时间在毫秒（ms）级，避免设备和链路故障导致业务服务中断。2.2. 流量模型分析XX集团数据中心建设完成后，集团的数据访问流量模型如下图所示：1. 未来三中心的定位：u 中心：XX集团广域网络汇聚中心，各地XX集团均与中心互连。但中心原则上不部署业务系统服务器，仅做网络汇聚；u 中心：数据中心将做为XX集团的主数据中心，所有业务系统均部署在此数据中心内，承载XX集团所有生产系统；u 大连中心：做为数据中心内业务系统的数据备份中心，对关键生产系统的数据进行灾备，原则上不部署业务系统服务器。当主中心内的数据遭到损坏后，可直接使用大连中心的备份数据。2. 对于集团内部用户（含集团各城市分支机构）通过集团广域网络，在中心进行网络汇聚后，再到数据中心访问业务系统。如上图中红色虚线数据流所示；3. 合作单位用户通过专线直接与数据中心连接，实现对业务系统的直接访问，无需经过中心。如上图中绿色虚线数据流所示；4. 公众用户直接通过Internet访问数据中心的WEB系统，无需经过中心。如上图中紫色虚线数据流所示。5. 大连备份中心与主中心直接相连，数据备份流量无需通过中心，提高数据备份的可靠性与效率，缩短时延。考虑到未来的双活扩展与数据的实时同步，建议大连备份中心与主中心之后采用裸纤或DWDM互连，避免出现带宽瓶颈。6. 大连中心与中心现有的互连线路保持不变，做为数据备份的链路备份。同时未来可将部分集团内业务部署到大连中心，实现负载分担。2.3. 带宽分析数据中心内部的服务器接入及局域网络均采用典型的“千兆接入、万兆到汇聚”方式，部分服务器（如FCoE服务器等）直接采用万兆接入，链路带宽不会成为瓶颈，保证网络的收敛比即可，在此不做带宽分析。带宽分析主要考虑数据中心的网络出口，对于数据中心而言，网络出口有以下四个：1. 集团广域网出口：与中心互连，满足集团内所有员工对业务系统的访问。考虑到可靠性，采用双链路（不同运营商）；2. Internet出口：满足公众业务系统通过互联网对外提供服务。考虑到可靠性，采用双链路（不同运营商）；3. 合作单位专线出口：与合作单位专线互连，此出口的链路和带宽取决与合作单位，在此不做分析；4. 数据备份出口：与大连数据中心互连，实现关键业务的数据备份与同步。考虑到未来的双活扩展与数据的实时同步，建议采用裸纤或DWDM互连。若采用裸纤或DWDM，带宽不会成为瓶颈，因此也无需分析。但要保证高可靠，建议采用不同缆的多个光纤实现冗余。根据XX集团现有业务系统的用户数量分析，对数据中心网络出口带宽估算如下：业务系统集团广域网出口Internet出口ERP按1000用户设计，每个用户20Kbps带宽，合计20MbpsN/A集团/百货/院线网站群N/A假设：1. 单个页面300KB2. 用户等待容忍时间为10秒3. 峰值并发增长率，通常取30%按2000个并发用户计算，带宽需求：2000*300KB*130%/10=78MB/s=780MbpsOA/图档/邮件/文件共享按1000用户设计，每个用户50Kbps带宽，合计50MbpsN/A视频会议平均每路2Mbps，按50个城市（50路），占用100Mbps带宽N/A基础支撑类忽略N/A合计170Mbps780Mbps按照上述数据的初步估算，对数据中心网络出口链路选择建议如下：1. 广域网出口带宽为170Mbps，至少采用两条155M POS链路，满足带宽需求的同时实现链路冗余；2. 互联网出口带宽为780Mbps，建议采用两条千兆链路出口（两个运营商）。(注：上述数据为经验数据，仅供参考！)三、 方案规划与设计三、3.1. 数据中心网络建设目标XX数据中心未来将XX集团承载所有生产环境系统。数据中心网络作为业务网络的一个重要组成部分，为核心业务系统服务器和存储设备提供安全可靠的接入平台。网络建设应达成以下目标：高可用网络作为数据中心的基础设施，网络的高可用直接影响到业务系统的可用性。网络层的高可用至少包括高可靠、高安全和先进性三个方面：u 高可靠：应采用高可靠的产品和技术，充分考虑系统的应变能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。当今，关键业务应用的可用性与性能要求比任何时候都更为重要。u 高安全：网络基础设计的安全性，涉及到XX业务的核心数据安全。应按照端到端访问安全、网络L2-L7层安全两个维度对安全体系进行设计规划，从局部安全、全局安全到智能安全，将安全理念渗透到整个数据中心网络中。u 先进性：数据中心将长期支撑XX集团的业务发展，而网络又是数据中心的基础支撑平台，因此数据中心网络的建设需要考虑后续的机会成本，采用主流的、先进的技术和产品（如数据中心级设备、CEE、FCoE、虚拟化支持等），保证基础支撑平台510年内不会被淘汰，从而实现投资的保护。易扩展XX集团的业务目前已向多元化发展，未来的业务范围会更多更广，业务系统频繁调整与扩展再所难免，因此数据中心网络平台必须能够适应业务系统的频繁调整，同时在性能上应至少能够满足未来510年的业务发展。对于网络设备的选择和协议的部署，应遵循业界标准，保证良好的互通性和互操作性，支持业务的快速部署。易管理数据中心是IT技术最为密集的地方，数据中心的设备繁多，各种协议和应用部署越来越复杂，对运维人员的要求也越来越高，单独依赖运维人员个人的技术能力和业务能力是无法保证业务运行的持续性的。因此数据中心需要提供完善的运维管理平台，对数据中心IT资源进行全局掌控，减少日常的运维的人为故障。同时一旦出现故障，能够借助工具直观、快速定位。3.2. 总体设计思路及原则数据中心为XX集团业务网络、日常办公与外联单位提供数据访问、OA和视频等服务，以及各业务的安全隔离控制。数据中心并不是孤立存在的，而是与大连中心、网络汇聚中心外联单位网络等网络区域相辅相成，数据中心基础网络是业务数据的传输通道，将数据的计算和数据存储有机的结合在一起。为保证数据中心网络的高可用、易扩展、易管理，数据中心网络架构需按照结构化、模块化和扁平化的原则设计：12u 结构化结构化的网络设计便于上层协议的部署和网络的管理，提高网络的收敛速度，实现高可靠。数据中心网络结构化设计体现在适当的冗余性和网络的对称性两个方面。如下图所示：冗余的引入可以消除设备和链路的单点故障，但是过度的冗余同样会使网络过于复杂，不便于运行和维护，因此一般采用双节点双归属的架构设计网络结构的对称，可以使得网络设备的配置简化、拓扑直观，有助于协议设计分析。在数据中心网络设计时，由于引入了冗余和对称的设计，这必将引入网络的环路，可通过如下建设思路消除环路影响：1 启用STP和VRRP协议传统解决方案，标准的协议，设备要求较低。但此种部署方案网络的协议部署复杂，收敛慢，链路带宽利用率低，运维管理工作量大。本方案设计不采用此方法。2 IRF网络设备N:1虚拟化技术通过H3C IRF技术对同一层面的设备进行横向整合，将两台或多台设备虚拟为一台设务，统一转发、统一管理，并实现跨设备的链路捆绑。因此不会引入环路，无需部署STP和VRRP等协议，简化网络协议的部署，大大缩短设备和链路收敛时间（毫秒级），链路负载分担方式工作，利用率大大提升。在本方案的设计中，将采用端到端的IRF部署，满足网络高可靠的同时，简化网络运维管理。u 模块化构建数据中心基础网络时，应采用模块化的设计方法，将数据中心划分为不同的功能区域，用于实现不同的功能或部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性、和高可用性。数据中心中的服务器将会根据服务器上的应用的用户访问特性和应用的功能不同部署在不同的区域中。如下图所示：数据中心网络分为网络接入区、数据中心核心交换区和服务器接入区三大功能区域，其中网络接入区和服务器接入区依据服务类型的不同，可进行子区的细分，详细参见“业务分区”章节的描述。数据中心核心区用于承接各区域之间的数据交换，是整个数据中心的核心枢纽，因此核心交换机设备应选用可靠性高的数据中心级设备部署。在进行模块化设计时，尽量做到各模块之间松耦合，这样可以很好的保证数据中心的业务扩展性，扩展新的业务系统或模块时不需要对核心或其它模块进行改动。同时模块化设计也可以很好的分散风险，在某一模块（除核心区外）出现故障时不会影响到其它模块，将数据中心的故障影响降到最小。u 扁平化数据中心的网络架构依据接入密度和分为三层架构和二层架构，如下图所示：传统的数据中心网络通常采用三层架构进行组网，三层架构可以保证网络具备很好的扩展性，同一个分区内服务器接入密度高。但三层架构网络设备较多，不便于网络管理，运维工作量大。同时组网成本相对较高。随着网络交换技术的不断发展，交换机的端口接入密度也越来越高，二层组网的扩展性和密度已经能够很好的满足企业数据中心服务器接入的要求。同时在服务器虚拟化技术应用越来越广泛的趋势下，二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。相比三层架构，二层架构可以大大简化网络的运维与管理。综合上述因素，数据中心的网络设计采用二层扁平化架构，满足扩展性的同时，实现易管理。3.3. 业务分区按照3.2章节中的“模块化”设计原则，需要对业务系统进行分区。从技术看，业务分区需要遵循以下原则：u 分区优先考虑访问控制的安全性，单个应用访问尽量在一个区域内部完成，单个区域故障仅影响一类应用，尽量减少区域间的业务耦合度；u 区域总数量的限制：但区域多则运维管理的复杂度和设备投资增加，区域总数量有运维上限不超过20个；u 单个区域内服务器数量的限制：受机房空间、二层域大小、接入设备容量限制，单个区域内服务器数量有限（通常不超过200台）。u 接入层设备利用率的限制：受机房布局的影响，如果每个机房都要部署多个安全区的接入交换机，会导致接入交换机资源浪费，端口利用率低，因此安全区的数量不宜过多。u 防火墙性能的限制: 区域之间的流量如果超过10G，则需要考虑通过防火墙横向扩容，或区域调整的方式分担流量。在实际的数据中心分区设计中，通常有以下三种分区方法：1. 按照业务功能进行分区：根据业务系统的功能（如生产、OA、支撑等）或业务的实时性（实时业务、非实时业务）或者业务系统的功能（如ERP、营销、财务等）进行分区划分，此分区方法适合大多数企业数据中心；2. 按照安全等保级别进行分区：按照业务系统的安全等级定义进行划分，如“三级系统独立成域，二级系统统一成域”，此分区方法适合政府、电力等行业数据中心；3. 按照服务器类型进行分区：一般分为WEB服务器区、APP/中间件服务器区、DB服务器区。此分区适合互联网企业等数据中心。按照需求调研时了解的XX集团业务系统分布情况，结合业务系统的用户类型，数据中心的分区设计按照业务功能进行分区。分区设计如下：各区域业务系统部署描述如下：办公局域网区：XX数据中心大楼办公网络，包括终端、楼层接入与汇聚。广域网接入区：与网络汇聚中心广域网络互连，网络出口。外联网接入应用区：与合作单位的专线互连，此区域也包括合作单位的业务前置机服务器。互联网接入应用区：互联网出口，此区域也包括集团网站群WEB服务器、集团邮件系统、DNS服务器等。百货应用区：此区域部署与百货相关的应用服务器，包括百货促销、MIS、BI等应用系统。KTV应用区：此区域部署与KTV相关的应用服务器，包括FTP、管控、WEB、DB等应用系统。院线应用区：此区域部署与院线相关的应用服务器，包括火凤凰、会员等应用系统。OA应用区：此区域部署集团内部的OA应用服务器，包括OA、RTX、泛微、图档、视频会议、文件、网络教学、网上招投标等应用系统。ERP/财务应用区：部署集团内部的ERP和财务应用服务器。其它应用区：部署商管、地产、酒店等应用服务器。开发测试区：此区域用于集团内部信息系统的开发与测试，或新系统上线前的测试部署。灾备接入应用区：此区域与大连中心互联，实现数据级的异地灾备。同时此区域可以部署一些本地的重要系统备份应用。支撑管理区：此区域部署数据中心网络、安全、服务器、存储等IT资源的运维管理系统，此外包括集团内部的域管理和身份认证服务器。数据中心核心区：此区域用于实现各分区之间的数据交互，是数据中心网络平台的核心枢纽，无服务器部署。3.4. 网络设计结合上述的业务分区，按照结构化、模块化、扁平化的设计原则，实现高可用、易扩展、易管理的建设目标。网络整体拓扑如下图所示：整体网络拓扑采用扁平化两层组网架构，从数据中心核心区直接到服务器接入，省去了中间的汇聚层，这种扁平化的网络结构有以下优点：u 简化网络拓扑，降低网络运维的难度；u 服务器区容易构建大二层网络，更适合未来的虚拟机大量部署及迁移；u 服务器接入交换机未来的扩展可直接在现有的IRF虚拟组添加成员交换机，扩展方便。对于数据中心的网络安全部署，在本方案中采用了“分布式安全部署”的策略，防火墙形态采用了H3C SecBlade安全插卡，实现网络安全的融合。详细的安全设计参加“3.5安全设计”章节。纵观整体方案拓扑，在此方案设计与部署时共采用了IRF虚拟化、网络安全融合、智能管理三种H3C特有的关键技术(详细参见5.2章节相关介绍)，在保证数据中心的高可靠的同时，简化网络运维管理，同时提供了智能化的管理工具平台。3.4.1. 核心交换区u 功能描述核心交换区的主要功能是完成各服务器功能分区、办公局域网、外联网、互联网之间数据流量的高速交换，是广域/局域纵向流量与服务功能分区间横向流量的交汇点。核心交换区必须具备高速转发的能力，同时还需要有很强的扩展能力，以便应对未来业务的快速增长。核心模块是整个平台的枢纽。因此，可靠性是衡量核心交换区设计的关键指标。否则，一旦核心模块出现异常而不能及时恢复的话，会造成整个平台业务的长时间中断，影响巨大。u 拓扑设计u 设计要点1. 高可靠核心交换设备选用数据中心级核心交换机，配置双引擎，双电源，保证网络组件层面的稳定性。网络架构层面，采用双核心设计，两台设备进行冗余，并通过虚拟化技术进行横向整合，将两台物理设备虚拟化为一台逻辑设备，并实现跨设备的链路捆绑，所各分区的交换机IRF相配合，实现端到端IRF部署。两台设备工作在双活模式，缩短链路故障与设备故障的倒换时间(毫秒级)，保证出现单点故障时不中断业务。为保证出现单点故障(链路/设备)时另一台设备能够完全接管业务，各功能模块通过“口”字形上行与核心模块互连。2. 高速传输本次网络设计容量应保证未来35年内的业务扩展，本设计采用“万兆到核心，千兆接入”的思路，核心模块对外接口为全万兆接口。3. 易于扩展按照“核心边缘架构”的设计原则，核心模块应避免部署访问控制策略（如ACL、路由过滤等），保证核心模块业务的单纯性与松耦合，便于下联功能模块扩展时，不影响核心业务，同时可以提高核心模块的稳定性。4. 智能分析针对各个区域的业务流量变化趋势，本次在核心交换机上部署网络流量分析模块，可以实时感知，并作为网络优化及调整的依据。3.4.2. 服务器接入区u 功能描述服务器接入区用于完成服务器的LAN网络接入，依照3.3章节的业务分区设计，涉及到服务器接入的业务分区包括百货应用区、KTV应用区、院线应用区、ERP/财务应用区、开发测试区、支撑管理区、其它应用区，这些区域虽然部署的应用服务器类型不一样，设备的选型要求也不一样，但对于网络拓扑设计来说是一样的，因此在方案设计时，这些区域的网络拓扑设计将在此统一进行描述。u 拓扑设计注：院线应用区若部署院线WEB服务器，则服务器接入交换机上除了部署FW插卡外，还顼要部署IPS和SLB插卡。u 设计要点1. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与核心交换机配合实现端到端IRF。此外服务器双网关配置成双活模式（Active-Active），；2. 各服务器接入交换机上部署SecBlade FW插卡，用于本区域与其它区域的访问控制策略部署。院线应用区部署FW+IPS+LB插卡；3. 服务器网关部署在接入交换机上，防火墙插卡与接入交换机以及核心交换机之间运行OSPF动态路由，实现FW的双机热备。3.4.3. 互联网区u 功能描述互联网区用于部署集团WEB服务器、院线WEB服务器（若需要），以及集团的DNS、FTP、E-mail等需要通过互联网对公众用户提供服务器的应用系统。u 拓扑设计u 设计要点1. Internet出口采用双运营商链路，保证用户访问效率的同时，实现链路的冗余；2. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与服务器双网卡配合实现双活(Active-Active)；3. 采用双层防火墙部署，外层防火墙用于实现Internet与WEB、DNS、Email、FTP等公网服务器的隔离，实现公网服务器的分域，并配置DMZ区域保证安全。内层防火墙用于实现公网服务器与数据中心内部其它服务器之间的隔离，部署内部区域间的访问控制策略。外层防火墙采用独立设备、内层防火墙采用在服务器接入交换机上部署SecBlade FW插卡。4. 由于Internet区部署了较多的网站等WEB服务器，因此需要部署LB和IPS设备。来保证负载分担和L2L7层安全过滤。3.4.4. 外联网区u 功能描述外联网区用于实现与合作单位的专线网络进行互联，并部署合作单位的前置机服务器。u 拓扑设计u 设计要点1. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与服务器双网卡配合实现双活(Active-Active)；2. 采用双层防火墙部署，外层防火墙用于实现前置机服务器与合作单位网络的隔离，可部署NAT。内层防火墙用于实现前置机服务器与数据中心内部其它服务器之间的隔离，部署内部区域间的访问控制策略。外层防火墙H3C SecBlade FW插卡、内层防火墙可采用非H3C的第三方FW独立设备进行异构，加强安全性。3. 服务器接入交换机上部署SecBlade IPS插卡，实现L2L7层安全过滤。3.4.5. 广域网接入区u 功能描述广域网接入区用于实现与网络汇聚中心的互连，保证集团内部用户通过广域网访问数据中心内的业务系统。（必要时也可考虑与大连数据中心互联）u 拓扑设计u 设计要点1. 广域网出口路由器部署双机，出口链路为双链路，保证广域网出口高可靠；2. 防火墙采用路由器上部署SecBlade FW插卡。3.4.6. 灾备接入区u 功能描述灾备接入区用于实现数据中心与大连灾备中心的互连，实现SAN和LAN网络双中心的互通，保证数据同步复制。同时通过将两中心的VLAN二层打通，实现跨数据中心的大二层网络，便于虚拟机业务迁移和跨地域服务器集群。u 拓扑设计u 设计要点1. 数据中心与大连灾备中心之间采用双路裸纤做灾备互连链路，并采用DWDM进行复用。2. SAN网络直接通过光纤上DWDM波分设备，实现数据存储备份通道的互通。LAN网络通过在服务器网关交换机设备上通过VLAN Trunk到汇接交换机，然后再上DWDM设备，实现双中心之间的大二层VLAN互通。3. 汇接交换机部署IRF，实现双纤捆绑，保证链路的可靠性。4. 跨地域的二层打通后，可以实现网关设备跨地域部署VRRP，保证双中心服务器集群时网关的切换。3.5. 安全设计3.5.1. 安全设计原则安全与网络密不可分，本方案中的安全设计部署采用了与网络分区相同的安全域划分，同时采用SecBlade安全插卡实现了网络与安全设备形态的融合。整个方案的安全部署采用了目前应用广泛的“分布式安全部署”方法，如下图右侧所示：分布式安全部署具有以下优势：u 分散风险：传统的集中式安全部署一般将防火墙旁挂在核心交换机两侧，这样一旦防火墙出现故障，数据中心内的所有业务区都将不能访问，整个数据中心的所有业务均会中断，风险和性能压力都集中在防火墙上。而采用分布式部署后，防火墙出现故障只会影响到本区域的业务，进而实现风险和性能的分散，提高了整个数据中心的可靠性；u 灵活扩展：分部式安全部署，核心交换机原则上不部署任何与业务分区之间的安全策略，可实现核心区与各业务分区之间的松耦合，在新增模块或业务系统时，无需更改核心设备的配置，减小核心区出现故障的机率，保证核心区的高可靠与业务分区的灵活扩展；u 简化安全策略部署：防火墙下移到各业务分区的出口，防火墙上部署的安全策略可大大简化，默认仅需要划分两个安全域（受信域与非受信域），采用白名单方式下发策略，减少了策略的交叉。3.5.2. SecBlade FW插卡部署防火墙设备在数据中心网络架构中为内部系统提供了安全和可靠性保障。防火墙主要部署在数据中心的两个常见区域中：数据中心出口区域和服务器区域。在数据中心出口区域部署防火墙可以保障来自Internet和合作伙伴的用户的安全性，避免未经授权的访问和网络攻击。在数据中心服务器区域部署防火墙可以避免不同服务器系统之间的相互干扰，通过自定义防火墙策略还可以提供更详细的访问机制。防火墙插卡设备虽然部署在交换机框中，但仍然可以看作是一个独立的设备。它通过交换机内部的10GE接口与网络设备相连，它可以部署为2层透明设备和三层路由设备。防火墙与交换机之间的三层部署方式与传统盒式设备类似。 如上图FW三层部署所示，防火墙可以与宿主交换机直接建立三层连接，也可以与上游或下游设备建立三层连接，不同连接方式取决于用户的访问策略。可以通过静态路由和缺省路由实现三层互通，也可以通过OSPF这样的路由协议提供动态的路由机制。如果防火墙部署在服务器区域，可以将防火墙设计为服务器网关设备，这样所有访问服务器的三层流量都将经过防火墙设备，这种部署方式可以提供区域内部服务器之间访问的安全性。XX集团数据中内部，整体安全采用分布式部署设计，已经对不同的业务系统进行了分区，整体安全边界清晰。为简化SecBlade FW的配置，提高网关性能，将服务器的网关均部署在接入交换机上， SecBlade FW插卡仅部署本分区内与其它分区之间的安全策略。若本分区内各服务器之间有隔离需求，建议在接入交换机上采用ACL方式实现。如下图所示：对于仅部署SecBlade FW插卡的业务区（如百货、KTV、ERP/财务、开发测试、支撑管理、外联网区），区域内的安全部署逻辑拓扑如下图所示：u 接入交换机双机部署IRF虚拟化，并实现跨设备链路捆绑。两块SecBlade FW插卡逻辑上相当于插在同一台交换机上。u 每台接入交换机逻辑上均可以看成一台L2交换机与一台L3交换机的叠加，服务器网关部署在交换机上。u SecBlade通过内部的10GE接口与交换机互连，并创建多个L3接口进行引流，让所有流经服务器的流量均经过FW过滤。两块FW插卡通过带外状态同步线（心跳线）进行状态同步，FW插卡之间通过OSPF动态路由实现热备或负载分担（ECMP）。3.5.3. SecBlade FW+IPS+LB组合部署对于XX数据中心的院线应用区、互联网应用区，需要涉及到FW+IPS+LB的组合部署，FW插卡的基本特性3.5.2章节已做描述，下面先介绍IPS和LB插卡的基本组网：u SecBlade IPS基本组网设计SecBlade IPS插卡为数据中心内部提供了更坚固的安全保护机制。通过IPS的深度检测功能可以有效保护内部服务器避免受到病毒、蠕虫、程序漏洞和DDOS等来自应用层的安全威胁。IPS插卡通过OAA（开放的应用架构）技术与宿主交换机配合使用。可以通过传统的流量重定向方式将需要IPS处理的业务流重定向到IPS插卡上处理，也可以通过OAA方式在IPS的Web页面上配置重定向策略，这两种方式都可以实现相同的功能。由于不同交换机设备对OAA的支持程度不同。我们推荐在本方案中采用重定向策略引流。由于IPS插卡在整个网络中属于2层透明转发设备，不会对报文进行任何修改，整个网络从连通性上看加入IPS后不会产生任何变化影响。因此建议实施的时候将其放在最后进行上线配置，即其他设备都调试OK，流量转发与HA设计都以正常实现情况下再进行IPS的部署实施。SecBlade IPS组网结构流量图SecBlade IPS不会对报文进行任何修改，对于上IPS处理的报文，非OAA方式只能通过VLAN区分流量是属于外部域还是内部域。所以在组网设计中需注意非OAA方式重定向到IPS插卡的业务流上下行流量需为不同VLAN。由于IPS插卡不具有双机热备功能，通过组网设计，部分环境可以做到IPS故障的切换，部分环境中当IPS故障后，重定向功能失效，业务流将不能继续受到IPS的安全保护，流量在短暂中断后仍然可以保证连续性。u SecBlade LB板卡设计部署LB插卡具备两大主要功能，服务器负载均衡和链路负载均衡，分别应用于数据中心服务器区和Internet出口区域。服务器负载均衡为数据中心服务器区性能的扩展和资源利用的优化提供完美的解决方案。链路负载均衡非常有效的部署在数据中心多出口的组网环境中，可以同时对多条广域网链路优化资源利用。LB插卡的工作方式与防火墙的类似，仍然作为一个独立的设备运行。通过传统的三层方式与交换机或下游设备相连。可以通过静态路由和缺省路由实现三层互通，也可以通过OSPF这样的路由协议提供动态的路由机制。SecBlade LB在数据中心出口的部署如图所示，在数据中心出口区域，LB插卡可以与宿主交换机连接三层连接关系，也可以直接和下游设备如防火墙等建立三层连接关系。这取决于用户的实际需求，前一种方式可以提供更灵活的路由控制策略，而后一种方式可以简化组网的复杂结构（例如：如果经LLB下行的流量都要通过防火墙的安全保护，那么可以将防火墙直接作为LLB的下一跳设备）。需要注意的是，在双机热备的组网环境中，两块LLB的出口配置必须相同，这样才能保证业务切换后能正常运行。如图所示，在数据中心服务器区，LB提供了服务器的负载均衡能力。我们可以将LB插卡作为服务器的网关设备，这样所有的服务器流量都需经过LB设备。也可以将服务器网关放置在交换机上，LB设备通过路由方式访问服务器群，这样的部署方式可以灵活控制LB对服务器的访问。u 组合部署在数据中心服务器区IPS+FW+SLB的部署主要有以下四种方式：u IPS如果需要保护所有流量可以部署在前端，如果仅需要保护部分关键区域的业务可以放置在FW后面。u SLB可以作为服务器网关设备部署，如果服务器间还需要更严格的防护策略可以将防火墙部署在SLB下端作为服务器的隔离设备。u 通过IRF堆叠技术还可以进一步简化组网结构，提高管理维护和配置成本，是目前的流行部署方式。本方案的推荐采用组网四方案，组网逻辑拓扑如下图所示：在本案例组网设计中， 接入交换机和安全插卡都为双机部署，使用OSPF动态路由协议。交换机通过IRF方式增强可靠性和管理性，FW插卡与上游设备建立三层连接关系，提供安全保护功能。SLB插卡与接入交换机建立三层连接关系，同时对下做为服务器网关设备提供服务器负载均衡功能。3.6. QoS设计3.6.1. QoS设计原则XX集团网络整网QoS设计遵循以下的原则：u 正常情况下QOS是通过带宽来保证的。换句话说，即在网络带宽足够高的情况下，不需要QOS机制。当带宽利用率达到60可考虑扩容；u 网络设备的容量不能成为瓶颈；u 网络/链路故障或网络拥塞情况下QOS策略生效；u 任何时候都优先保证实时业务。3.6.2. QoS服务模型选择为了更有效的利用带宽，使关键业务得到无阻塞的应用，网络需要进行QoS方案的设计实施，首先需要考虑选择合适的技术框架，也即服务模型。服务模型指的是一组端到端的QoS功能，目前有以下三种QoS服务模型：1. Best-Effort service尽力服务2. Integrated service（Intserv）综合服务3. Differentiated service（Diffserv）区分服务u Best-Effort service：尽力服务是最简单的服务模型。应用程序可以在任何时候，发出任意数量的报文，而且不需要事先获得批准，也不需要通知网络。网络则尽最大的可能性来发送报文，但对时延、可靠性等不提供任何保证。u Integrated service：Intserv是一个综合服务模型，它可以满足多种QoS需求。这种服务模型在发送报文前，需要向网络申请特定的服务。这个请求是通过信令（signal）来完成的，应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求，包括带宽、时延等，应用程序一般在收到网络的确认信息，即网络已经为这个应用程序的报文预留了资源后，发送报文。而应用程序发出的报文应该控制在流量参数描述的范围内。u Differentiated service：Diffserv即区别服务模型，它可以满足不同的QoS需求。与Integrated service不同，它不需要信令，即应用程序在发出报文前，不需要通知路由器。网络不需要为每个流维护状态，它根据每个报文指定的QoS，来提供特定的服务。可以用不同的方法来指定报文的QoS，如IP包的优先级位（IP Precedence)、报文的源地址和目的地址等。网络通过这些信息来进行报文的分类、流量整形、流量监管和排队。这三种服务模型中，只有Intserv与Diffserv这两种能提供多服务的QoS保障。从技术上看，Intserv需要网络对每个流均维持一个软状态，因此会导致设备性能的下降，或实现相同的功能需要更高性能的设备，另外，还需要全网设备都能提供一致的技术才能实现QoS。而Diffserv则没有这方面的缺陷，且处理效率高，部署及实施可以分布进行，它只是在构建网络时，需要对网络中的路由器设置相应的规则。对于XX集团广域网的QoS，我们建议采用Diffserv方式进行部署。3.6.3. QoS规划CCITT最初给出定义：QoS是一个综合指标，用于衡量使用一个服务满意程度。QoS性能特点是用户可见的，使用用户可理解的语言表示为一组参数，如传输延迟、延迟抖动、安全性、可靠性等。XX集团网络中主要包括数据、视频两种业务应用。而数据又分ERP关键业务和其他业务，因此需要对现有业务系统进行分类，才能更好地保障业务的开展。u 业务分类和标记针对XX集团的要求，对其主要的流量进行划分和标记，具体如下：业务类型业务特征IP PrecedenceIP DSCP802.1p网络控制协议（hello、SLA）适用于网络维护与管理报文的可靠传输，要求低丢包率756（CS7）7视频会议对时延、抖动较敏感；带宽需求高；需要可预计的时延和丢包率534(AF41)5ERP适合重要数据业务,低丢包、高优先级324(AF31)3目录同步和策略下发适合普通数据业务，低丢包、19(AF11)1邮件系统及Internet应用尽力而为（Best effort）转发000u 流量监管和整形在完成区分业务应用类型后，需要对整个广域网进行流量的监管和整形，对于XX集团广域网络SDH来说，出口带宽是有限的，而入口带宽总是大于出口带宽，需要对入口和出口进行限制和整形，以保障关键流量的顺利转发。u 队列管理在Diffserv体系的队列管理中，同样按照不同的边界范围采用不同的队列管理技术。局域网主要基于以太网的组网方式，以太网实现的QoS功能主要是能够支持那些对延时和抖动要求较高的业务流。目前业界在以太网络交换机实现的Qos队列管理技术主要采用严格优先级SP（Strict-Priority）队列调度算法、加权轮循WRR（Weighted Round Robin）调度算法。SP队列调度算法，是针对关键业务型应用设计的。关键业务有一重要的特点，即在拥塞发生时要求优先获得服务以减小响应的延迟。WRR队列调度算法在队列之间进行轮流调度，保证每个队列都得到一定的服务时间。在实际应用中，SP队列调度算法与WRR调度算法可以同时应用一个端口上，既保证关键业务的延时与抖动，同时又保证各业务具有一定的带宽保证。广域网一般采用路由器组网，目前路由器主要支持的队列管理技术包括PQ、CQ、WFQ、CBQ/LLQ，由于PQ、CQ、WFQ的种种问题，目前通常采用CBQ/LLQ做为骨干层的队列管理机制。CBWFQLLQ，有一个低时延队列 - LLQ，用来支撑EF类业务，被绝对优先发送（优先级低于RTP实时队列）；另外有63个BQ，用来支撑AF类业务，可以保证每一个队列的带宽及可控的时延；还有一个FIFO/WFQ，对应BE业务，使用接口剩余带宽进行发送。但是请注意，由于涉及到复杂的流分类，对于高速接口（GE以上）启用CBQLLQ特性系统资源存在一定的开销。另外如果边缘层与骨干层的接入采用低速的链路接入，因此也必须考虑相应的队列管理技术。如果接入带宽=2M，则需采用骨干层一样的调度技术，即CBQ/LLQ。如果接入带宽2M，则需要考虑采用链路有效机制。可采用LFI（链路的分段及交叉）技术避免大报文长期占用链路带宽，采用LFI以后，数据报文（非RTP实时队列和LLQ中的报文）在发送前被分片、逐一发送，而此时如果有语音报文到达则被优先发送，从而保证了语音等实时业务的时延与抖动。另外还可以采用CRTP（IP /UDP/ RTP报文头压缩）技术，以提高链路的利用率。u 拥塞避免建议采用WRED加权丢弃技术，实现拥塞避免。WRED(Weighted early random detection)提供了对拥塞的控制，它不是等待缓冲区填满然后出现尾部丢弃，而是不停地监控缓冲的深度，并可以根据IP header中的IP Precedence有选择地早期丢弃一些级别