企业私有云数据中心技术方案

1、 企业私有云数据中心技术方案解决方案建议书 TOC o 1-3 h z u HYPERLINK l _Toc483134746 1需求分析 PAGEREF _Toc483134746 h 1 HYPERLINK l _Toc483134747 1.1现状分析 PAGEREF _Toc483134747 h 1 HYPERLINK l _Toc483134748 2整体方案设计 PAGEREF _Toc483134748 h 4 HYPERLINK l _Toc483134749 2.1整体解决方案拓扑 PAGEREF _Toc483134749 h 4 HYPERLINK l _Toc4831

2、34750 2.2云计算平台的搭建 PAGEREF _Toc483134750 h 5 HYPERLINK l _Toc483134751 3基础网络平台设计 PAGEREF _Toc483134751 h 8 HYPERLINK l _Toc483134752 3.1基础网络整体设计 PAGEREF _Toc483134752 h 8 HYPERLINK l _Toc483134753 4安全设计 PAGEREF _Toc483134753 h 12 HYPERLINK l _Toc483134754 4.1L2L4层安全 PAGEREF _Toc483134754 h 13 HYPERLI

3、NK l _Toc483134755 4.2L4L7层安全 PAGEREF _Toc483134755 h 15 HYPERLINK l _Toc483134756 5存储设计 PAGEREF _Toc483134756 h 15需求分析现状分析数据中心在基础设施和应用系统建设方面取得了很大的成绩，但是在其建设当中，办公网和生产网的资源部署方式仍然是按照应用进行物理的划分，这种部署方式可能存在以下风险和挑战：资源利用率低由于应用与资源绑定，每个应用都需要按照其峰值业务量进行资源的配置，这导致在大部分时间许多资源都处于闲置状态，不仅造成服务器的资源利用率较低，而且对资源的共享、数据的共享造成了天

4、然的障碍。运维成本高随着企业内部生产网和办公网业务的增加，服务器、网络和存储的设备数量也会出现迅速的膨胀，在传统的数据中心建设模式下，会造成占地空间、电力供应、散热制冷和维护成本的急剧上升，为企业长远的IT投入和运维带来挑战。业务部署缓慢在传统的模式下，企业的各个部门如果要部署新的业务，那么在提交变更请求与进行运营变更之间存在较大延迟，每一次的业务部署都要经历硬件选型、采购、上架安装、操作系统和应用程序安装以及网络配置等操作，使得业务的部署极为缓慢。管理策略分散当前的生产网和办公网的运维管理缺乏统计的集中化IT构建策略，无法对企业内网的基础设施进行监控、管理、报告和远程访问，IT管理策略分散。

5、的云数据中心建设作为企业运行关键业务运行平台和进一步发展的基石，必须拥有更强的IT服务能力，保持高效稳定的运行，数据中心的升级建设势在必行。另外，随着企业IT建设的迅速开展，云数据中心承载着企业内部的关键业务、核心应用，对于信息数据的完整性、业务运行的可靠性、网络系统的可用性的要求越来越重要。目前IT信息技术已经延伸到企业的各个层面，从企业角度看，云计算有利于整合信息资源，实现信息共享，促进企业信息化的发展。从用户角度看，利用云计算可以独立实现或享受某一项具体的业务和服务。因此云计算将在企业的IT政策和战略中正扮演越来越重要的角色。云数据中心的建设，未来的核心业务涵盖如下范围：以“统规、统建、

6、统维”思想为指导，以丰富的云基础设施，云存储，云安全和各类云服务共同构建云数据中心，服务于各部门的生产网和办公网。数据处理：海量数据的处理和分析。为各部门集中提供基础的信息处理能力，承接企业各部门的应用系统迁移和部署，实现相关云数据中心的资源整合、集中部署与统一管理。项目建设应从云数据中心信息化发展方向以及发展现状出发，加强综合协调和统筹规划，借助现代、前沿的信息化技术，形成集成能力强、运作效率高和具有可持续发展能力的云数据中心多业务应用平台，真正为提供找得着、用得好、有保证的信息化服务。具体建设思路如下：统筹规划，分步建设资源共享、协同服务因地制宜，突出重点基于云计算，创新服务模式本方案将云

7、数据中心“IT基础设施”的“按需使用”以及”自动化管理和调度”作为云计算的实践，形成可落地实施的、可持续发展的云计算平台，即IaaS云计算平台。云数据中心的建设目标建议如下：统一管理通过最新的云计算核心技术之一虚拟化技术，整合现有所有应用，整合内容包括WEB、MAIL、FTP、域控管理、OA系统、后台数据库等应用，将整个业务系统作统一的规划和部署，统一数据备份，从而形成自上向下的有效IT管理架构。强调整体方案的可扩展性、高可用性、易用性和易管理性采用最新的2路多核服务器，保证整个硬件系统的可靠性和可用性，为用户的应用提供可靠的硬件保障；建设云计算平台，发挥云计算平台的优越性，为用户提供HA功能

8、，保证用户业务系统的连续性和高可用性，让用户的业务实现零宕机风险；提供专业的管理软件，保证硬件系统和软件系统的可管理性，为用户节省管理投资成本。整体方案设计整体解决方案拓扑根据本期工程的需求和建设目标云计算平台总体逻辑拓扑结构如上图所示。整个平台由网络资源池、计算资源池、存储资源池、管理中心以及利旧服务器区五部分组成。网络资源池（根据实际配置撰写）采用业界主流的“核心+接入”扁平化组网，核心交换机采用2台H3C S12508设备，部署IRF2虚拟化技术，并在机框内部署负载均衡（LB）和防火墙（FW）插卡，实现业务的流量监控和负载均衡；计算资源池的接入交换机采用4台H3C S5830-V2设备(

9、24个万兆口)，部署IRF2虚拟化技术；计算资源池（根据实际配置撰写）采用H3Cloud云计算操作系统软件，将40多台H3C FlexServer R390机架服务器组建HA集群，在虚拟机上部署企业业务应用，并配合HA和动态负载均衡等高级功能，实现业务的连续性，减少计划内宕机时间，提高资源利用率。存储资源池根据实际需求采用多台H3C FlexStorage P4500 iSCSI存储阵列，统一存放虚拟机镜像文件和业务系统数据，这样做不会在运行虚拟机的云计算计算节点主机上引起任何额外的负载。管理中心采用2台H3C FlexServer R390机架服务器，分别部署H3C iMC DCM数据中心管

10、理套件和H3Cloud软件套件（含CVK、CVM和CIC），实现对云计算资源池的统一管理及调度。云计算平台的搭建计算资源池设计服务器是云计算平台的核心，其承担着云计算平台的“计算”功能。对于云计算平台上的服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的服务器资源池。在这个服务器资源池上，再通过安装虚拟化软件，使得其计算资源能以一种虚拟服务器的方式被不同的应用使用。这里所提到的虚拟服务器，是一种逻辑概念。对不同处理器架构的服务器以及不同的虚拟化平台软件，其实现的具体方式不同。在x86系列的芯片上，其主要是以常规意义上的VMware虚拟机或者H3Cloud虚拟机的

11、形式存在。资源池分类设计在搭建服务器资源池之前，首先应该确定资源池的数量和种类，并对服务器进行归类。归类的标准通常是根据服务器的CPU类型、型号、配置、物理位置来决定。对云计算平台而言，属于同一个资源池的服务器，通常就会将其视为一组可互相替代的资源。所以，一般都是将相同处理器、相近型号系列并且配置与物理位置接近的服务器比如相近型号、物理距离不远的机架式服务器或者刀片服务器。在做资源池规划的时候，也需要考虑其规模和功用。如果单个资源池的规模越大，可以给云计算平台提供更大的灵活性和容错性：更多的应用可以部署在上面，并且单个物理服务器的宕机对整个资源池的影响会更小些。但是同时，太大的规模也会给出口网

12、络吞吐带来更大的压力，各个不同应用之间的干扰也会更大。如果有条件的话，通常推荐先审视一下企业自身的业务应用。可以考虑将应用分级，将某些级别高的应用尽可能地放在某些独立而规模较小的资源池内，辅以较高级别的存储设备，并配备高级别的运维值守。而那些级别比较低的应用，则可以被放在那些规模较大的公用资源池（群）中。初期的资源池规划应该涵盖所有可能被纳管到云计算平台的所有服务器资源，包括那些为搭建云计算平台新购置的服务器、企业内部那些目前闲置着的服务器以及那些现有的并正在运行着业务应用的服务器。在云计算平台搭建的初期，那些目前正在为业务系统服务的服务器并不会直接被纳入云计算平台的管辖。但是随着云计算平台的

13、上线和业务系统的逐渐迁移，这些服务器也将逐渐地被并入云计算平台的资源池中。对于x86系列的服务器，除了用于生产系统的资源池以外，还需要专门搭建一个测试用资源池，以便云计算平台项目实施过程以及平台上线以后运维过程中使用。在云计算平台搭建完毕以后，企业的服务器资源池可以如下图所示：在云计算平台上线以后，原有非云计算平台上的应用会逐步向云计算平台迁移，空出的服务器资源池也会逐渐并入云计算平台的资源池中。其状态可以用下图所示：CVM虚拟化管理平台体系将IT数据中心的物理服务器资源以树形结构进行组织管理，统一称之为云资源。云资源是H3Cloud云计算软件分层管理模型的核心节点之一，用来统一管理数据中心内

14、所有的、复杂的硬件基础设施，不仅包括基本的IT基础设施（如硬件服务器系统），还包括其它与之配套的设备（如网络和存储系统）。默认情况下，H3Cloud云计算管理平台出厂配置中已经添加了一个名为“云资源”的根节点，准备使用H3Cloud云计算软件进行管理的所有物理资源都需要手工逐一添加到该节点下进行统一的管理。云资源中的被管理对象之间的关系可以用下图描述：基础网络平台设计基础网络整体设计本次项目基础网络采用“扁平化”设计，核心层直接下联接入层，省去了中间汇聚层。随着网络交换技术的不断发展，交换机的端口接入密度也越来越高，“扁平化”组网的扩展性和密度已经能够很好的满足云数据中心服务器接入的要求。同时

15、在服务器虚拟化技术应用越来越广泛的趋势下，扁平化二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。相比传统三层架构，扁平化二层架构可以大大简化网络的运维与管理。基础网络平台组织结构如下图所示：网络的二、三层边界在核心层，安全部署在核心层；核心与接入层之间采用二层进行互联，实现大二层组网，在接入层构建计算和存储资源池，满足资源池内虚拟机可在任意位置的物理服务器上迁移与集群。实际组网拓扑如下图所示： 采用2台S12508构建核心层，分别通过10GE链路与接入层、管理网交换机、出口路由器互连，未来此核心层将逐步演变成整网大核心，两台核心交换机部署IRF虚拟化。接入层采用2台S5830V

16、2-24S，每台接入交换机与核心交换机采用10GE链路交叉互连，两台接入交换机部署IRF虚拟化，与核心交换机实现跨设备链路捆绑，消除二层环路，并实现链路负载分担。分层分区设计思路：根据业务进行分区，分成计算区、存储区和管理区。计算、存储区域内二层互通，区域间VLAN隔离；根据每层工作特点分为核心层和接入层，网关部署在核心层。核心层设计核心层由两台H3C S12508构建，负责整个云计算平台上应用业务数据的高速交换。两台核心交换机S12508分别与两台服务器接入区交换机间呈“三角形”型连接，与现网出口区路由器呈“口”字型连接，一台管理区接入交换机双上行分别与两台核心交换机连接。核心交换机间及与服

17、务器接入交换机、管理区接入交换机、现网核心路由器间均采用万兆接口捆绑互联。核心交换机上部署防火墙插卡和网流分析插卡，实现云计算业务的安全防护与流量分析。两台S12508部署IRF2虚拟化技术，简化路由协议运行状态与运维管理，同时大大缩短设备及链路出现故障快速切换，避免网络震荡。IRF2互联链路采用2*10GE捆绑，保证高可靠及横向互访高带宽。组网拓扑如下图所示： 接入层设计接入层分为资源池接入和管理区接入两大部分：资源池接入：采用两台S5830V2-24S全万兆交换机构建，负责x86服务器和iSCSI存储设备的网络接入，服务器配置双网卡4个万兆接口，其中两个万兆接口捆绑做业务流接口，两个万兆接

18、口捆绑做存储流接口双网卡采用捆绑双活模式；iSCSI存储设备的网络接入采用万兆链路，接入交换机上对应的端口工作在万兆模式。两台S5830V2-24S部署IRF2虚拟化技术，通过跨设备链路捆绑消除二层环路、简化管理，同时大大缩短设备及链路出现故障快速切换，避免网络震荡。IRF2互联链路采用2*10GE捆绑，保证高可靠及横向互访高带宽。安全设计本次项目安全设计采用分层保护的思路，从“云计算资源池”向外延伸有三重保护：具有丰富安全特性的交换机构成数据中心网络的第一重保护；具有高性能检测引擎的IPS对网络报文做深度检测，构成数据中心网络的第二重保护；凭借高性能硬件防火墙构成的数据中心网络边界，对数据中

19、心网络做第三重保护；三重保护为数据中心网络提供了从链路层到应用层的多层防御体系。交换机提供的安全特性构成安全数据中心的网络基础，提供数据链路层的攻击防御。数据中心网络边界安全定位在传输层与网络层的安全上，通过状态防火墙可以把安全信任网络和非安全网络进行隔离，并提供对DDOS和多种畸形报文攻击的防御。IPS可以针对应用流量做深度分析与检测能力，即可以有效检测并实时阻断隐藏在海量网络流量中的病毒、攻击与滥用行为，也可以对分布在网络中的各种流量进行有效管理，从而达到对网络应用层的保护。L2L4层安全L2L4层安全防护由防火墙完成，本次项目防火墙插卡设备虽然部署在交换机框中，但仍然可以看作是一个独立的

20、设备。它通过交换机内部的10GE接口与网络设备相连，它可以部署为2层透明设备和三层路由设备。防火墙与交换机之间的三层部署方式与传统盒式设备类似。 如上图FW三层部署所示，防火墙可以与宿主交换机直接建立三层连接，也可以与上游或下游设备建立三层连接，不同连接方式取决于用户的访问策略。可以通过静态路由和缺省路由实现三层互通，也可以通过OSPF这样的路由协议提供动态的路由机制。如果防火墙部署在服务器区域，可以将防火墙设计为服务器网关设备，这样所有访问服务器的三层流量都将经过防火墙设备，这种部署方式可以提供区域内部服务器之间访问的安全性。安全域划分：核心防火墙插卡上根据不同的业务类型，划分不同的安全域，

21、通过域间策略的安全防护。本次项目初期建议划分虚拟桌面域、虚拟机业务域、存储域、外部域这四个安全域，所示外部流量及跨域的横向互访流量均需要经过防火墙过滤。如下图所示：虚拟桌面域：此域内主要部署虚拟桌面的后台虚拟机，只允许使用瘦客户机的用户访问；虚拟机业务域：此域内主要部署初期迁移到虚拟机上的试点业务应用，只允许相应的用户访问；存储域：此域用户部署iSCSI或NAS存储设备，仅限云平台虚拟机访问，不允许外部用户访问。外部域：与现网及企业外网用户互联，非信任区域。安全控制策略：防火墙设置为默认拒绝工作方式，保证所有的数据包，如果没有明确的规则允许通过，全部拒绝以保证安全；建议在两台防火墙上设定严格的

22、访问控制规则，配置只有规则允许的IP地址或者用户能够访问数据业务网中的指定的资源，严格限制网络用户对数据业务网服务器的资源，以避免网络用户可能会对数据业务网的攻击、非授权访问以及病毒的传播，保护数据业务网的核心数据信息资产；配置防火墙防DOS/DDOS功能，对Land、Smurf、Fraggle、Ping of Death、Tear Drop、SYN Flood、ICMP Flood、UDP Flood等拒绝服务攻击进行防范，可以实现对各种拒绝服务攻击的有效防范，保证网络带宽；配置防火墙全面攻击防范能力，包括ARP欺骗攻击的防范，提供ARP主动反向查询、TCP报文标志位不合法攻击防范、超大IC

23、MP报文攻击防范、地址/端口扫描的防范、ICMP重定向或不可达报文控制功能、Tracert报文控制功能、带路由记录选项IP报文控制功能等，全面防范各种网络层的攻击行为。L4L7层安全防火墙工作在L2L4层上，无法“看”到L4层以上的安全威胁，而传统的IDS（入侵检测系统）作为一个旁路设备，对这些威胁又“看而不阻”，因此我们需要IPS（入侵防御系统）来解决下面这些L4L7层的安全问题：存储设计目前主流的存储架构包括DAS、 NAS、 SAN，下面针对3种主流应用系统做架构分析。直连方式存储（Direct Attached Storage - DAS）。顾名思义，在这种方式中，存储设备是通过电缆（

24、通常是SCSI接口电缆）直接到服务器。I/O请求直接发送到存储设备。存储区域网络（Storage Area Network - SAN）。存储设备组成单独的网络，大多利用光纤连接，服务器和存储设备间可以任意连接。I/O请求也是直接发送到存储设备。如果SAN是基于TCP/IP的网络，则通过iSCSI技术，实现IP-SAN网络。网络连接存储（Network Attached Storage - NAS）。NAS设备通常是集成了处理器和磁盘/磁盘柜，连接到TCP/IP网络上（可以通过LAN或WAN），通过文件存取协议（例如NFS，CIFS等）存取数据。NAS将文件存取请求转换为内部I/O请求。上述几种存储方式的优劣势分析：DAS费用低；适合于单独的服务器连接主机的扩展性受到限制，主机和存储的连接距离受到限制，只能实现网络备份，对业务网络的压力较大SAN高性能，高扩展性；光纤连接距离远；可连接多个磁盘阵列或磁带库组成存储池，易于管理；通过备份软件，可以做到Server-Free和LAN-Free备份，减轻服务器和网络负担。成本较高NAS安装过程简单；易于管理；利用现有的网络实现文件共享；高扩展