大型企业数据中心建设方案

1.1XXX公司数据中心网络建设需求 1.1.2XXX公司数据中心目标架构 1.2XXX公司数据中心设计目标 1.3XXX公司数据中心技术需求 第2章XXX公司数据中心技术实现 第3章XXX公司数据中心网络设计 3.1.3XXX公司的网络结构 3.3.2数据中心分布层智能服务机箱 3.5数据中心地址路由设计 3.5.3VLAN/VSAN和地址规划 第4章应用服务控制与负载均衡设计 4.2数据中心的应用情况 4.2.1XXXX应用1 4.2.2XXXX应用n 4.3应用优化和负载均衡需求 4.3.1XXXX应用的负载均衡要求 4.3.2开放式系统应用的负载均衡要求 4.4应用优化和负载均衡设计 5.1.2网络平台建设所必须考虑的安全问题 5.2.2防VLAN的脆弱性配置 5.4.3智能的监控、分析和威胁响应系统 第6章服务质量保证设计 6.1服务质量保证设计分类 6.2数据中心服务质量设计 6.3非数据中心网络的服务质量设计 第7章网络管理和业务调度自动化 7.2VFRAME业务部署自动化 第8章两种数据中心技术方案的综合对比 第9章数据中心网络割接方案 第10章附录：新一代数据中心产品介绍 1.1.1传统架构存在的问题来越困难，每一次变更都将牵涉相互关联的、不物理设施，涉及多个不同领域、不同服务方向，易出现漏洞和差错。比如数据中心新增加一个业问控制需求，此时管理员不仅要了解新业务的逻防火墙实体的部署、连接、安装，要考虑是增加内累积，将极易在使得系统维护的质量和稳定性难得到同比发展，最普遍的现象就是忙的设备多，二者相互之间又无法借用和共用。这是由为中心进行建设的，并不考虑上层业务对底层1.1.2XXX公司数据中心目标架构传统组网观念是根据功能需求的变化实现对应的硬件准化和统一调度的“服务”组成，那么业务层面的构成的“资源池”，需要什么服务就自动的会由在图中，隔在物理架构和用户之间的“交互服务层1.3.1整合能力1.3.2虚拟化能力1.3.4绿色数据中心要求第2章XXX公司数据中心技术实现2.1.1一体化交换技术它已在标准上给出了如何把存储网(SAN)的数据技术协议。由于该项技术的简单性、高效率、经储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见FCoE2.1.2无丢弃以太网技术存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”通过基于IEEE802.1p类别通道的PAUSE功能来提供基于数据流类别的流量控制IEEE802.1Qaz标准定义基于IEEE802.1p流量类别的带宽管理以及这些流量的优先级别定义IEEE802.1Qau标准定义如何管理网络中的拥塞(BCN/QCN)2.1.3性能支撑能力），能需求，DCE设备必须提供比传统以太网要求的核心层的三层转发延迟应可达到30us以下，接入层的二层转发延迟应可在3~2.1.4智能服务的整合能力llll2.2.1虚拟交换技术设备的协议关系，需维护的路由邻居关系数以二次参与生成树计算关系，生成树计算和维护量以二次2.2.3服务器虚拟化服务器虚拟化可以使上层业务应用仅仅根据存储网都是孤立的，这就无法真正实现与物理源无关的资源共享和复用的。虚拟机迁移需要一个Virtualization(OTV)来解决跨城域或广域网的二层延展l减少通用集成电路的空转（使用定制化的专业设计的芯片往往比通用芯片第3章XXX公司数据中心网络设计3.1.1层次化结构的优势3.1.2标准的网络分层结构议被用于这一层时可以获得路由负载均衡，快层还是网络智能服务的实施点，包括安全控制3.1.3XXX公司的网络结构布层、接入层等分层结构，才能保证网络的稳定性、健备将造成浪费，而如果采用低端核心设备则会对），），），3.3.1数据中心分布层虚拟交换机3.3.2数据中心分布层智能服务机箱数据中心的网络智能服务由设计在分布层的智能服务机箱必要在传输过程中经过数据应用类防火墙的检），），物理结构图），就可以实现三种网络的接入，用户在操作系统上也可以看见流量。这种方法的优点是负载均衡效果更好，避免两个Nexus50塞（虽然可能性比较小而且网络结构简单，易于管理3.5.1核心层3.5.2分布汇聚层和接入层没有环路，从根本上解决了生成树算法收敛慢、不3.5.3VLAN/VSAN和地址规划第4章应用服务控制与负载均衡设计4.1.1基本功能用或者一个用户使用。另外，每一个分区都支持源管理的灵活性和安全性。ACE支持基于角色的访问的命令而应用程序管理员角色(applicationadminrole)只4.1.2应用特点虚拟模块运行。凭借这个解决方案，企业能够利用一个思科ACE模块，为多达250个特性允许企业对管理角色进行定义，限定管理员对体应用和庞大的用户群体。ACE系列模块配备了在应用供应领域尚属首次面世，为许多常用数据中心协议，如HTTP、实时流协议扩展性（用户/客户端应用数量）和后端可扩展性（服务器/服机箱吞吐率，可以轻松扩展，来满足最大型网络的要求使部署完全透明化。基于模板的配置和审计与服务激活/中4.2.1XXXX应用14.2.2XXXX应用n4.3.1XXXX应用的负载均衡要求l最终用户将HTTPS（TCP端口443）流量发送至AD/LDAP管理4.3.2开放式系统应用的负载均衡要求4.4.1智能服务机箱设计ACE模块和防火墙模块是一期数据中心实施4个万兆端口、双双上连到Nexus7000，这），区将有自己独立的智能网络服务策略，比如对应独立的虚拟防火墙4.4.2应用负载均衡的设计.方案二：单臂模式的应用负载4.4.3地址和路由4.4.4安全功能的设计入攻击是指设计一种机制，使检查模块接收终），4.4.5SSL分流设计安全套接层（SSL）是一种应用层协议，为互联网提供加4.4.6扩展性设计持的连接数可达345000条。凭借这一最佳性能和250个虚拟分区的支持，ACE可以综合性能每秒通过的数据包数每秒处理的系统日志数每秒最大连接数虚拟服务器服务器群真实服务器VLAN总量（客户端/探测器ACL条目虚拟分区250*,基本报价包括5个虚拟分区VLAN总数（客户端/*需要购买升级许可服务器的冗余实际是负载均衡服务器群中的的概念，虽然已经存在很多的安全防护技术，如防火墙、5.1.2网络平台建设所必须考虑的安全问题接入交换机应当支持对DHCP请求作流量连接数、内存数、策略数、带宽等等，防止一个5.3.4防火墙性能和扩展性设计综合性能全局配置路由模式下每个虚拟防火墙256个VLAN透明模式下每个虚拟防火墙8对VLAN对接入控制列表在单一虚拟防火墙模式下最多为虚拟防火墙墙许可证这些被拒绝的流，而是存储、备份、文件传输、传统的不停的打补丁和进行特征码升级的被动防御5.4.1网络准入控制），到生产网络。通过将端点安全状态信息与网络准入控制的执5.4.2桌面安全管理动作，用户在接入后进行的操作、收发的信息，终端免受所谓“零日攻击”，即那些还未被人们所了解5.4.3智能的监控、分析和威胁响应系统中，管理员很难发现，往往等待其爆发、形成损失再去5.4.4分布式威胁抑制系统又更敏感，只有一种病毒爆发，广域网线路就可第6章服务质量保证设计6.2.1带宽及设备吞吐量设计）；服务器机柜分配得当的条件下，以上大量资源耗费对Nexus5000到7000之间采用4个万兆，在万兆端口数量不紧张的情况下还可以扩），宽还可以继续扩容，通过vPC和VSS技术保证跨机箱捆绑的充分负载均衡。6.2.2低延迟设计（IEEE802.3Annex31B当6.2.3无丢弃设计合承载和接入能力。信息传递的服务质量保证和况下用户也不会感到有服务质量的问题。因此行“拥塞规避”措施，即采用某种机制保证它们不6.3.1QoS实施方案致的应用所占带宽比例，使用频度，未来的增长趋势等。这需要依6.3.3QoS策略的制定和部署我们推荐两种方法：一个是利用桌面安全管理系QoS调度区是数据流传送所经过的网络主体，％，一般金服务的带宽更充裕一点。而铜服务和剩余资源的拥塞带宽都为0，即的75％。根据这些规则，在广域网中，我们应当把两种LLQ业务——语音和视频分在两个线路上，其中语音和其它业务在DS3线路，而视频单占2M×2线路故障、所有业务才会走到一条线路上。正常情况视频独占4M线路，因此可以允许视迟也非常低，没有必要分解传送，而在其它广域网6.3.4评测和调整部署的策略是否起到效果了呢？在生产网络上用种由设备担当的统计会耗掉过多的资源，真正有实际意义的6.4.2QoS策略管理器解决方案通过提供能够在您的网络上定义端对端服务质量（QoS）策略的工具，QoS策略管理器（QPM）解决方案使网络管理员能来提供一致、可预测的网络服务。作为增强智能网络的一部分，QoS对整个企业来说类是一个关键功能，它允许为通过某一网络单QoS服务。使用QPM，一个管理员可以快速构建基于规则的能够对应用通信流进行识第7章网络管理和业务调度自动化络中的虚拟网、虚拟防火墙、服务器虚拟化软件第8章两种数据中心技术方案的综合对比在技术上，我们除了传统上的从性能、可扩展性、心的技术要求进行对比分析，这些技术要求在前面有过详细描述，8.1.1传统技术领域对比接入层-所有接入层支持双电-所有接入层支持双电可管理性力制），证8.1.2下一代数据中心技术能力比较术算网络、存储局域网据优先级的暂停帧支力（二层3us，三层存储转发方式的延迟可扩展的二层接入环境，适于传统业务应化现稍逊，且不支持服务支持中心（TAC）成立专门队伍保证对第9章数据中心网络割接方案第10章附录：新一代数据中心产品介绍产品概述Cisco®Nexus7000系列交换机最大限度地集成可扩展性和运营灵活性。CiscoNexus7000系列交换机是一个模块化数据中心级产品系列，适用于高度可扩展的万兆以太网网络，其交换矩阵架构的速度能扩展至15Tbps以上。它的设计旨在满足大多数关键任务数据中心的要求，提供永续的系统运营和无所不在的虚拟化服务。Cisco强特性提供实时系统升级，以及出色的可管理性和可维护性。它的创新设计专门用于支持端到端数据中心连接，将IP、存储和IPC网络整合到单一以太网交换矩阵之上。作为第一款下一代交换机平台，CiscoNexus7心可用性、可靠性、可扩展性和易管理性而优化的特性。保证系统的永续运营。•前后通风，带10个前面板接入的垂直模块插槽和一个集成电缆管理系统，能够支持新老数据中心的安装、运营和冷却。•面向数据中心的高可靠性和最高可用性设计方法，所有接口和控制引擎模块都采取前面板接入，冗余电源、风扇和交换矩阵模块则完全采用后端接入，以确保维护过程中布线不受影响。•系统采用两个专用控制引擎模块；可扩展、完全分布式的交换矩阵架构最多能容纳5个后端安装的交换矩阵模块，配合10插槽机型的机箱中板设计，整个系统能提供最高7Tbps的转发能力。•拥有8个I/O模块插槽的CiscoNexus7000系列10插槽机箱最多支持256个万兆以太网或384个千兆以太网端口，能够满足最大型数据中心的部署需求。•前后通风确保CiscoNexus7000系列10插槽机箱能用于数据中心，并满足热通道和冷通道部署要求，而不会增加复杂性。它分别采用两个系统风扇架和两个交换矩阵风扇架进行冷却。每个风扇架都配备有冗余风扇，独立变速风扇能随着周围温度自动调整，不仅降低进行出色管理的设施的能耗，而且能实现最佳交换机运行状态。该系统为所有风扇架设计冗余功能，进行热插拔时不会影响系统；如果一个风扇或风扇架发生故障，系统能继续运行，不会对冷却效果造成重大影响。•集成电缆管理架能将所有电缆正确、整齐地放在一边或两边。•系统拥有可选的空气过滤器，能确保流过系统的空气清洁。添加空气过滤器能满足NEBS要求。•机箱顶端的一系列LED清晰地提供主要系统组件的状态显示，能提示操作员是否需要执行进一步的调查。这些LED负责报告电源、风扇、交换矩阵、控制引擎和I/O模块的状态。•电缆管理盖和可选的模块前门能使安装在系统中的布线和模块不受意外事件的影响。透明的前门使客户能够查看布线、模块指示灯和状态指示灯情况。产品概述Cisco®Nexus5000系列是一个为数据中心应用提供支持的线速、低延迟、零丢包万兆以太网，思科数据中心以太网和以太网光纤通道(FCoE)交换机（参见图1）。在当今的数据中心中，具有强大的多内核处理器、机架安装的密集刀片服务器日益增多。机架内计算密度的激增，以及虚拟化软件的普及，都推动对于万兆以太网和整合I/O的需要：CiscoNexus5000系列能完美地支持这一应用。CiscoNexus5000系列具有延迟低、前后通风及后面板端口的特点，适用于正要迁移到万兆以太网的数据中心，以及那些已准备部署统一阵列，以支持通过单一链路联网的局域网、存储局域网和服务器集群（或采用双链路实现冗余）的数据中心。此交换机系列使用简洁的架构，在所有端口上支持万兆以太网，而且无论数据包大小和实施何种服务，都保持一致的低延迟。它支持思科数据中心以太网功能，提高以太网的可靠性、效率和可扩展性。这些特性使该交换机可在一个无损耗的以太网阵列上，支持多个流量类别，由此实现局域网、存储局域网和集群环境的整合。它能将FCoE连接到本地光纤通道，保护现有存储系统投资，并大大简化机架内布线。除在服务器上支持标准万兆以太网卡(NIC)外，CiscoNexus5000系列能与融合网络适配器(CNA)的整合式I/O适配器集成，将以太网NIC与光纤通道主机总线适配器(HBA)相结合，透明地迁移到一个统一网络阵列，与现有实践、管理软件和OS驱动程序协调一致。此交换机系列与第三方集成收发器和Twinax布线解决方案集成，在机架级别为服务器提供非常经济高效的万兆以太网连接，无需再使用昂贵的光收发器。无论实施哪些网络服务以及数据包大小如何，CiscoNexus5000系列交统一的低延迟以太网解决方案。该产品系列专为数据中心环境而设计，采用前后通风，网络端口位于后部，使交换操作更贴近服务器，并尽量简化和缩短布线。此交换机系列非常便于维护，采用冗余、可热插拔的电源及风扇模块。其软件以数据中心级CiscoNX-OS软件为基础，提供高可靠性和易管理性。交换机，能够以极低延迟提供1.04Tbps吞吐率。它有40个固定万兆以太网、思科数据中心以太网和FCoESFP+端口。通过配置，2个扩展模块插槽能增加支持12个万兆以太网、思科数据中心以太网和FCoESFP+端口、多达16个光纤通道交换机端口，或二者的结合。该交换机有1个串行控制台端口和1个带外10/100/1000Mbps以太网管理端口。它采用可热插拔的1+1冗余电源，以及可热插拔的4+1冗余风扇模块，以提供高可靠的前后通风。CiscoNexus5000系列能够支持扩展模块，以增加万兆以太网、思科数据中心以太网和FCoE端口的数目；或经由1/2/4Gbps光纤通道交换机端口连接到光纤通道存储局域网(SAN)；或实现这两个目的。CiscoNexus5020支持以下任意两个模块的组合（参见图2lll1个以太网模块，提供6个万兆以太网、思科数据中心以太网和FCoESFP+端口。1个光纤通道和以太网模块，提供4个万兆以太网、思科数据中心以太网和FCoESFP+端口，以及41个光纤通道模块，提供8个经由SFP接口提供1/2/4Gbps本地光纤通道的端口，以便透明连接现有光纤通道网络（未来提供）。图2.从左到右：6端口万兆以太网、思科数据中心以太网和FCoE模块；4端口光纤通道和4端口万兆以太网、思科数据中心以太网和FCoE模块；8端口本地光纤通道扩展模块万兆以太网的高带宽对传输提出巨大挑战，而现在这已被CiscoNexus5000的收发器和布线选项所克服。该产品系列支持一个创新的Twinax铜布线解决方案，它连接标准SFP+连接器以便机架内使用，并为较长的电缆提供光布线（参见图3）。ll新解决方案将收发器和Twinax电缆集成到一个节能、低成本、低延迟的解决方案中。SFP+直连式万兆以太网Twinax铜缆每收发器仅使用0.1瓦(W)功率，每链路大约只有0.25微秒的延迟。l如需进行较长布线，CiscoNexus5000系列还支持多模、短距离SFP+光收发器。每l率大约1W，延迟不到0.1微秒。这两种选项与10GBASE-T相比，延迟更短，能效更高。10GBASE-T标准使用功率在4到8W之间的收发器，每链路延迟高达2.5微秒，很大程度上增加网络级功耗。图3.CiscoNexus5000系列使用SFP+直连式万兆以太网铜缆进来支持更长连接技术电缆距离电源（每边）收发器延迟（链路）思科及其合作伙伴已开发CAN，为服务器操作系统提供一个以太网NIC和一个光纤通道HBA，使IT部门这些适配器参与交换机自动协商，简化管理并有助于减少配置错误。Emulex和Qlogic提供基于ASIC的定制融合网络适配器，Intel则提供基于软件的融合网络适配器。为了将Nexus5000的服务延展到更多机柜，提供更高密度的DCE接入，但又无需增加管理上的负担，思科提供了Nexus2000——Nexus5000专用的延展器，它提供高密度的千兆或万兆本地接入，然后用几乎线性的性能完成万兆的上连，而所有管理则完全放在上连的Nexus5000上，从而提供了最佳性价比、且支持VN-link等高级DCE功能的数据中心接入解决方案。CiscoNX-OS是一个数据中心级的操作系统，该操作系统体现模块化设计、永续性和可维护性。在业界成熟的CiscoSAN-OS软件的基础上，CiscoNX-OS确保持续的可用性，并为承担关键业务的数据中心环境设立标准。CiscoNX-OS的自行恢复和高度模块化的设计实现对业务无影响的运行，提供出色的运营CiscoNX-OS是面向数据中心的需要而设计的，它所提供的强大、丰富的特性集，不仅能满足当前数据中心的路由、交换和存储网络要求，还能满足未来的数据中心需求。凭借XML界面和类似CiscoIOS®软件的CLI，CiscoNX-OS为相关网络标准和各种真正数据中心级思科创新的实施提供鼎力支持。灵活性和可扩展性NX-OS4.0也能与遵循本产品简介中所列举的网络标准的网络OS互操作。•整个数据中心通用的软件：CiscoNX-OS简化数据中心的操作环境，提供一个统一的OS，能够在数据中心网络的各个区域运行，包括局域网、SAN和第四到七层网络服务。•模块化软件设计：CiscoNX-OS能够在SMP、多核CPU和分布式线卡处理器上支持分布式多线程处理功能。硬件表编程等需要大量计算的任务能卸载给分布在多个线卡上的专用处理器。CiscoNX-OS模块化进程在独立受保护内存空间中逐个按需启用。因此，只有当一个特性启用后，进程才会启动，开始分配系统资源。模块化进程由实时预先排程器管理，有助于确保及时处理关键功能。•虚拟设备环境(VDC)：CiscoNX-OS能够将OS和硬件资源划分为模拟虚拟设备的虚拟环境。每个VDC拥有其自身的软件进程、专用硬件资源(接口)和独立的管理环境。VDC有助于将分立网络整合为一个通用基础设施，保留物理上独立的网络的管理界限划分和故障隔离特性，并提供单一基础设施所拥有的多种运营成本优势。可用性•持续系统运营：CiscoNX-OS提供持续的系统运营，维护、升级和部署软件认证，同时不会造成服务中断。通过将进程模块化、模块化修补、思科运行中软件升级（ISSU）功能和不间断转发(NSF)平稳重启相结合，极大地降低软件升级和其他操作所带来的影响。•思科ISSU：思科ISSU利用冗余引擎在平台上提供透明的软件升级功能，极大地缩短停机时间，使客户能够在极少影响或不影响网络运营的情况下，集成最新的特性和功能。•迅速开发增强特性和故障修复：CiscoNX-OS的模块化特性使新的特性、增强特性和故障修复能够迅速地集成入软件。因此，模块化修复功能能够在极短的时间内完成开发、测试和交付使用，满足紧迫的时间要求。利用ISSU，这些更新镜像能在不干扰正常运行的情况下安装。•进程应急启动：关键进程在受保护的内存空间中运行，独立于其他进程和内核，从而提供精确的服务分隔和故障隔离，支持模块化修补和升级，以及快速重启功能。各进程能够分别重启，不会丢失状态信息，不会影响数据转发，因此，在升级或故障后，进程会在数毫秒内重启，而不会影响邻近的设备或服务。利用基于标准的NSF平稳重启机制，拥有大量状态信息（如IP路由协议）的进程能够得以重启；其他进程则借助本地永久存储服务（PSS）维持其状态。•状态化引擎故障切换：冗余引擎始终保持同步，支持快速的状态化引擎故障切换。它具有先进的检验功能，有助于确保故障切换后整个分布式架构中状态的统一性和可靠性。•可靠的进程间通信：CiscoNX-OS提供进程间可靠的通信功能，能够确保故障过程中和出现不利情况下，所有信息都得以传送和正确地发挥作用。该通信功能有助于确保进程同步化和状态的一致性，这些进程能够在分布于多个引擎和I/O模块上的处理器上启用。•冗余交换以太网带外信道(EOBC)：CiscoNX-OS能充分利用冗余EOBC来支持控制和I/O模块处理器•基于网络的可用性：通过提供工具和功能，使故障切换和回退透明、迅速，从而优化网络收敛。例如，CiscoNX-OS提供生成树协议增强特性，如BPDU防护、环路防护、根防护、BPDU过滤器和网桥保证，以确保生成树协议控制平面的状态正常；UDLD协议；路由协议NSF平稳重启；毫秒间隔的可维护性•故障排除和诊断：CiscoNX-OS拥有独特的可维护性功能，使网络操作员能够根据网络趋势和事件提前采取行动，从而增强网络规划，缩短网络运营中心(NOC)和厂商的响应时间。呼叫到家、思科通用在线诊断(GOLD)和CiscoNX-OS嵌入式事件管理器(EEM)是CiscoNX-OS用于提高可维护性的部分特•交换端口分析器（SPANSPAN特性允许管理员在不对运营造成影响的情况下，将SPAN进程流量导向连接一个外部分析器的SPAN目的地端口，从而对端口(称为SPAN源端口)间的所有流量进行分•嵌入式数据包分析器：CiscoNX-OS拥有一个内置数据包分析器，用于控制平面流量的监控和故障排除。该数据包分析器以常用的Wireshark开放源网络协议分析器为基础而构建。•智能呼叫到家：智能呼叫到家特性能够持续监控软硬件，并通过电子邮件发送关键系统事件通知。它拥有多种消息格式，能与寻呼机服务、标准电子邮件和基于XML的自动分析应用等出色兼容。它提供报警分组功能和可定制目的地功能。该特性有多种用途，例如直接寻呼网络支持工程师、发送电子邮件给NOC，以及利用思科自动通知服务直接开启一个思科技术支持中心(TAC)案例等。这一特性向实现自治系统运营迈出重要的一步，使网络设备在出现问题时能通知IT，确保故障得以迅速地解决，缩短解决时间，最大限度地延长系统正常运行时间。•思科GOLD:思科GOLD是一个诊断套件，负责检验硬件和内部数据路径是否按设计要求运行。思科GOLD特性集包括引导时间诊断、持续监控，以及按需和定期测试等。这个业界领先的诊断子系统能够执行对当今连续运行环境十分重要的快速故障隔离和持续系统监控功能。•思科EEM:思科EEM是一项强大的设备和系统管理技术，集成在CiscoNX-OS之中。思科EEM能够帮助客户充分利用思科软件的网络智能优势，使其能根据发生的网络事件，定制所采取的行动。•CiscoNetflow:Netflow是CiscoNX-OS中的一个组件，它支持版本5和版本9输出，以及灵活Netflow配置模式和基于硬件的样本Netflow，提高可扩展性。可管理性•可编程XML界面：在NETCONF业界标准的基础上，CiscoNX-OSXML界面为设备提供一个统一的API，使客户能快速开发和创建工具，增强网络性能。•SNMP协议：CiscoNX-OS符合SNMP版本1、2和3的规定，支持广泛的管理信息库（MIB）。•配置验证和回退：凭借CiscoNX-OS，系统操