分布式云数据中心解决方案建议书

1、分布式云数据中心（DC2）解决方案技术建议书目 录 TOC h z t 标题 1,1,标题 2,2,标题 3,3,标题 7,1,标题 8,2,标题 9,3,Heading1 No Number,1 HYPERLINK l _Toc523648219 1.1 项目背景及价值 STYLEREF 1 综述综述 项目背景及价值项目背景【根据实际项目背景描述】XX移动业务支撑系统包括了IT域系统、CT域系统及公共域系统三大类。业务支撑系统在历史业务发展过程中，根据每阶段业务需求而逐步建设，曾有效支撑运营和改善XX移动运营效率。当前，由于业务支撑系统采用有需求再建设的模式，没有统一的规划和运营，导致当前系

2、统中出现了很多孤立的节点，业务互联及数据共享均存在很大的困难。并随着建设的不断深入，对系统功能性要求、整体性要求以及集中化要求日益迫切。同时，现有业务支撑系统规模日益庞大，给建设和维护带来了巨大的压力。此外，建设时间周期长，对于突发性需求难以及时满足，影响到了整个电信企业的竞争力。综合分析现有IT 支撑系统现状，发现存在以下问题：建设与运营成本高。数据中心建设成本高昂，并且由于运营系统按应用垂直构建，当需要支持新建业务或扩展已有业务能力时，需要不断对现有数据中心扩容。同时大量构建的小规模DC，建设与维护成本相比大容量的数据中心更高。 资源利用率低。目前的数据中心的资源使用理念为应用间隔离，资源

3、容量按照应用的最大预期负荷来设计。同时，资源为应用静态分配，大部分时间数据中心的计算、存储和网络资源利用率低下。服务SLA保证困难。数据中心层次过多，使用者访问应用时必然会造成较大时延，尤其是对于处于分层架构顶端的应用，所需经过的数据中心站点网络环节和层级过多，这就加大了网络连接故障或流量拥塞发生的概率；同时由于数据中心基础设施设备均按照应用最大峰值流量需求进行容量和部署规划，缺少对企业用户漫游及业务热点变化的感知能力，因此面向最终客户接入的业务体验优化将更加困难。管理复杂。由于数据中心承载的业务多种多样，而不同业务对软硬件系统的要求以及容灾备份策略各不相同，因此按应用纵向构建基础设施的方式造

4、成了协同管理非常困难。XX移动存在大量的小规模的增值业务系统，存在部署分散、资源利用率低、机房空间占用大的情况，随着业务不断发展，对现有数据中心资源的云化整合需求也越来越迫切。项目带来的价值通过本期项目的建设以及对现有业务系统的进一步云化整合，可以带来如下价值：多数据中心统一管理调度提供针对多数据中心的统一的运维、运营管理能力。分布式云数据中心的管理系统可以集中管理和监控各个数据中心的计算、存储、网络资源和使用情况，提供统一的资源管理、跨DC资源部署、运维管理、服务管理和自助服务等能力。融合的基础架构从一个中央控制台下发业务到不同的资源池，支持华为FusionSphere,Vmware Vsp

5、here虚拟化平台，从而将异构的资源池，异构的存储资源作为服务提供。同时支持将服务器本地硬盘组织成一个融合架构的虚拟化资源池，实现基础架构的高性价高安全性。 灵活的应用管理 通过虚机模板、应用模板，以及用户自定义编排等能力，提供应用快速、自动化部署的能力。安全可靠的业务服务提供完善的容灾、备份能力。系统可根据业务需求定制虚机的备份和恢复任务，备份的粒度细化到VM粒度。灵活的网络服务采用扁平化的跨站点的大二层，拉通跨数据中心的虚拟化，提供灵活的虚拟机迁移能力，从而使得数据中心的业务的灵活性， 伸缩性大大提高。项目目标【根据实际情况修改】建设统一资源池管理系统，实现所有资源的统一运维与调度。包括：

6、独立建设统一资源池管理系统，实现对IT域、CT域的统一管理。采用模块化扩展方式，后续可平滑扩展对公共域资源的管理。在统一资源池管理系统上分权分域管理。IT域资源池软硬件扩容及业务云化迁移。CT域资源池软硬件扩容及业务云化迁移。方案设计原则可靠性及可用性系统的可靠性包括整体可靠性、数据可靠性和单一设备可靠性三个方面。云平台的分布式架构，从整体系统上提高可靠性，降低系统对单设备可靠性的要求。系统的可用性是通过冗余、高可用集群、应用与底层设备松耦合等特性来体现，从硬件设备冗余、链路冗余、应用容错等方面充分保证整体系统的可用性。安全性遵循行业安全规范，设计安全防护保证客户数据中心安全。重点保障网络安全

7、、主机安全、虚拟化安全、数据保护。成熟性从架构设计、软硬件选型和IT管理三个方面设计数据中心解决方案，采用经过大规模商用实践检验的架构方案和软硬件产品选型，采用符合ITIL规范的IT管理方案，保障方案的成熟性。先进性合理利用云计算的技术先进性和理念先进性，突出云计算给客户带来的价值。采用虚拟化、资源动态部署等先进技术与模式，并与业务相结合，确保先进技术与模式应用的有效与适用。可扩展性支撑数据中心的资源需要根据业务应用工作负荷需求进行弹性伸缩，IT基础架构应与业务系统松耦合，这样，在业务系统进行容量扩展时，只需增加相应数量的IT硬件设备，即可实现系统的灵活扩展。DC2解决方案概述方案总体架构图

8、STYLEREF 1 s 2 SEQ 图 * ARABIC s 1 1 DC方案总体架构分布式云数据中心总体架构如上图所示，由基础设施层和云管理层组成。各层都分别向上层提供API接口供上层调用。分布式云数据中心各层介绍功能分层说明基础设施层基础设施层提供基础的计算、存储和网络虚拟化的能力，在资源管理层的管理下，提供统一的计算、存储、网络资源池。基础设施层同时提供本地的基础运维能力，包括本地基础设施的告警、性能、拓扑的监控等。云管理层云管理层可以分为资源管理和运维中心。资源管理层主要提供数据中心内镜像管理、业务编排、自动化、弹性及网络服务。运维中心提供对多数据中心的统一运维管理能力，包括对监控、

9、告警、性能等的统一监控运维。基础设施层基础设施层提供基础的计算、存储和网络虚拟化的能力，在资源管理层的管理下，提供统一的计算、存储、网络资源池。基础设施层同时提供本地的基础运维能力，包括对本地基础设施的告警、性能、拓扑的监控等。云管理层 云管理层可以分为资源管理和运维中心。资源管理层主要提供数据中心内镜像管理、业务编排、自动化、弹性及网络服务。运维中心提供对多数据中心的统一运维管理能力，包括对监控、告警、性能等的统一监控运维。资源管理支持对不同虚拟化平台计算资源的统一管理；支持对防火墙、交换机的统一管理；支持对虚拟化平台使用的块存储设备的统一管理。资源集群管理资源集群由一个或多个计算资源、存储

10、资源和网络资源组成。一个虚拟化环境中可以有多个资源集群。资源集群管理包括创建资源集群、删除资源集群、扩容资源集群、减容资源集群、查询资源集群、资源集群性能监控和资源集群的调度策略等。通过资源集群管理，可以提高基础设施资源的利用率和灵活性，统一虚拟化资源管理的能力，对上层应用的发放屏蔽差异，提升了虚拟资源的管理效率，降低了运维成本。模板管理包括虚机模板的创建，发布，查询，修改等。 多数据中心统一管理调度。应用快速部署，弹性伸缩。运维中心支持对多数据中心告警、性能、拓扑等运维信息的统一监控管理。解决方案概述网络方案分布式云数据中心网络子系统采用多租户隔离设计的网络设计，将网络虚拟化，为每个租户提供

11、所需虚拟网络环境，如下图所示：图 STYLEREF 1 s 2 SEQ 图 * ARABIC s 1 2 DC2网络子系统架构图从上图可以看出，核心交换机上配置VPN VRF和Internet VRF，VPN VRF与汇聚交换机上的VPN VRF对接，internet VRF与汇聚交换机的Global VRF对接，用户将租户之间的网络逻辑隔离。汇聚交换机上配置一个Global VRF，每个租户的虚拟防火墙都对接到Global VRF中实现对公网访问。汇聚交换机上配置多个VRF，用于为每个租户提供虚拟路由器，提供租户的业务网关路由功能，在VRF下配置三层网关用于提供业务网关（业务网关也可以配置在

12、虚拟防火墙上），每个VRF将与租户的虚拟防火墙对接；实现对租户业务的保护。租户如果租用了虚拟负载均衡将对接到虚拟路由器上，提供服务器的负载均衡功能，同时受虚拟防火墙的规则保护。虚拟交换机逻辑上接入到TOR交换机端口，每个租户有自己独立的虚拟交换机。虚拟交换机上有不同的端口组，不同的端口组有不同的网络属性。虚拟机网卡可任意加入不同端口组，用户不同租户之间的隔离。不同数据中心采用MPLS VPN、GRE、VPLS VPN进行互联，每个租户可以独立申请VPN业务，也可以多个用户在一个VPN中。资源池方案DC2云计算资源池总体架构设计原则是以资源组合形态来参照，分成物理数据中心层、统一资源层、应用计算

13、环境层。其中：物理数据中心层：分布式云数据中心通常包括多个物理地域分布的数据中心。单个物理数据中心的形态和传统云数据中心基本一致，分为物理基础设施和物理基础架构。采用扁平化二层网络设计，将数据中心IT设备高速连接到一起。统一资源池层：包括统一的计算资源池、存储资源池和网络资源池。资源池的划分和底层物理设备位置无任何关联，通过华为FusionSphere虚拟化软件，将物理分散的计算、存储、网络设备纳入统一资源池，供上层业务按需调度。应用计算环境：包括企业/运营商的各种业务部署，以及根据业务需求而划分的相应资源隔离的VDC。安全方案分布式云数据中心为企业及个人提供各种信息资源，其重要性类似于一个人

14、的心脏。作为信息最核心的节点，DC2包括了网络、存储、服务器、虚拟机、应用等。因此，一个体系化的DC2安全解决方案必然应该覆盖DC2的所有组成元素，而不能单用传统的技术手段实现其全部的安全保障。华为DC2（分布式云数据中心）安全框架从模块化、低耦合、端到端及纵深防御思想出发，根据层次分为物理设施安全、网络安全、主机安全、应用安全、虚拟化安全、数据保护、用户管理、安全管理等几个层面，全面满足用户的各种安全需求。 分布式云数据中心安全方案包含以下安全层面的能力：物理设施安全：通过门禁系统、视频监控、环境监控等实现数据中心环境、物理访问控制、设施层面的安全网络安全：从防火墙、IPS、SSL VPN、

15、抗DDoS等技术手段对网络系统中的系统和通信数据进行保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。主机安全：保护主机层操作系统的安全，对磁盘的加密，保护用户OS层安全和用户数据安全。虚拟化安全：从虚拟层加固、Cloud管理应用加固和虚拟机隔离等技术手段确保虚拟化的安全。应用安全：从电子邮件防护、Web应用防护等技术手段对应用层面的数据进行保护，保障用户的应用数据能够不受破坏、更改、泄漏、篡改。数据安全：从剩余数据防护等技术手段加强数据保护，包括密钥管理功能。用户管理：从特权用户访问审计等加强用户管理。安全管理：从安全信息与事件管理等技术手段加强

16、。安全服务：从安全集成到安全评估、再到安全优化，阶段性的专业服务，为用户建立更安全的IT信息系统。管理方案管理子系统涉及服务管理，资源管理，运维与监控等功能，其包含的部件如下：IT服务管理主要包括事件管理、问题管理、变更管理、配置管理、 发布管理、服务水平管理、 知识库、CMDB等。运营商通过统一管理门户的运维管理平台能够高效的管理数据中心的运营运维，查看Dashboard、报表、知识库的各种统计信息指导数据中心管理优化，同时还能够灵活构建客户化定制。统一资源管理提供在多种虚拟化平台下的云主机、云存储、云网络、云安全等云资源的自动化发放和配置能力。资源池是一组合理规划、有效组织的可用资源分区（

17、Available Zone）的组合，是资源弹性调度的最大边界，由一个资源池管理系统管理。基于资源池管理系统提供云资源数据中心服务统一编排和自动化管理的能力，包括异构以及多资源池的策略编排，简化管理，提升效率。运维中心面向数据中心业务，进行场景化运维操作和可视化的状态/风险/效率分析，基于分析能力提供主动和可预见的运维中心。运维子系统分为数据中心运维层和专业设备监控管理运维层。监控管理面向设备的统一运维管理系统，包括计算、存储、网络设备，提供了对这些设备的告警、性能、拓扑等数据的采集能力，同时支持将这些数据传递給OC。通常对应主体是华为的设备进行开局的时候，采用eSight作为基础架构的运维管

18、理系统，这时可支持部分第三方设备，如IBM、H3C、思科等。容灾备份方案分布式云数据中心支持容灾备份管理，通过灾备软件与系统架构结合，实现多层次的灾备能力。基于IaaS层的容灾方案，主要采用存储阵列复制和虚拟化层复制技术；容灾管理软件ReplicationDirector提供容灾服务、容灾策略、主备资源管理能力，ReplicationDirector根据前期配置的容灾策略，主备资源关系，通过数据网络实现从主用生产中心到容灾中心的数据容灾；通过管理网络实现从主用生产中心到容灾中心的虚拟机，存储、网络、资源池等的信息同步；当灾难发生时，ReplicationDirector可以根据管理平台中定义好

19、的容灾恢复计划，实现容灾站点的业务切换，快速恢复业务；备份子系统主要包含本地备份+异地备份保护；其中，本地备份功能由HypderDP、FusionManager组成；异步备份保护通过NAS的远程复制，将数据备份到异地或者第三方的云存储;虚拟机备份采用无代理备份方式工作；绿色节能方案绿色数据中心是数据中心发展的必然，建设绿色数据中心必须从机房、IT硬件、虚拟化软件、数据中心管理多方面考虑。图 STYLEREF 1 s 2 SEQ 图 * ARABIC s 1 3绿色节能方案全景图绿色机房：DC2数据中心机房建设充分考虑绿色节能，华为提供集装箱数据中心机房和模块化机房两种绿色机房方案。绿色IT硬件

20、：华为IT硬件设备充分考虑到绿色节能需求，华为服务器通过CPU智能调频、智能电源风扇等技术实现绿色节能；华为存储通过CPU智能调频、智能电源风扇、存储瘦分配、智能硬盘休眠等技术实现绿色节能；华为网络设备通过独有的低功耗设计实现绿色节能。绿色虚拟化软件：华为FusionSphere充分考虑绿色节能需求，通过提高CPU利用率、提升内存复用率、动态节能策略等技术实现绿色节能。绿色数据中心管理：华为Manageone数据中心管理解决方拿通过PUE动态监测、温度云图实施监控机房功耗和能效实现绿色节能。DC2网络方案设计 网络总体架构设计网络架构设计原则数据中心网络的设计需要遵循以下设计原则：模块化应考虑

21、到业务的调整及发展，网络结构和系统结构要模块化、易于扩展。高可靠网络设计中采用冗余网络设计，实现关键设备、链路冗余；关键设备选用高可靠性产品，可实现单板、模块热拔插、控制模块设计冗余、电源冗余；减少网络层级，简化网络结构，从组网架构上提高可靠性。安全隔离数据中心网络应具备有效的安全控制。按业务、按权限进行分区逻辑隔离，对特别重要的业务采取物理隔离。以服务器为中心的业务、IP存储备份、管理网络等多个网络进行物理隔离。可管理性和可维护性网络应当具有良好的可管理性。为了便于维护，应尽可能选取集成度高、模块可通用的产品。灵活业务网络基于SDN网络架构，将物理网络虚拟化，提供不同的业务网络，实现业务网络

22、的灵活部署。并提供多租户隔离，用户可自定义网络策略实现保护数据中心内部的资源安全访问。网络自动化通过提供北向API，由上层管理软件通过调用API接口，实现网络自动化，提供即时的网络服务。为业务快速上线部署提供网络环境。分布式云数据中心逻辑架构数据中心的逻辑架构如下所示，包括六大部分。图 STYLEREF 1 s 3 SEQ 图 * ARABIC s 1 1 数据中心逻辑架构说明：图中数字所示为数据中心内部的各个分区, 核心网络区是数据中心网络的核心，连接内部各个服务器区域、企业的内部网络、合作单位的网络、灾备中心和外部用户接入的网络等。服务器区域部署服务器和应用系统的区域。按照功能分区和模块化

23、原则进行设计，网络架构按照功能的不同，分为外联区（包括Internet接入区和企业远程接入区）、企业办公网接入区和内部核心区；内部核心区包括网络服务区、业务生产区（包括高安全业务生产区与一般业务生产区）、OA区、运行管理区、开发测试区等功能模块。存储区域包括FC SAN、IP SAN、FCOE的存储设备和网络。互联网络区域是把企业内部用户和外部用户接入到数据中心的区域。出于安全和扩展性的考虑，根据互联的用户类型分为：内部互联网络，合作单位互联网络，Internet互联网络。内部互联网络通过园区网、广域网和企业总部、分支机构的网络互联。合作单位互联网络通过城域专线、广域专线和合作单位的网络互联。

24、Internet互联网络实现互联网公众用户的接入、出差员工通过互联网安全接入有通广域网的办公点。出口路由器接入2个不同运营商，实现互联网出口的可靠性保护。例如：中国大陆企业一般会选择中国电信、中国联通作为互联网出口。灾备中心互联网络区域是实现灾备数据中心互联的区域，主要是以传输设备实现与同城灾备中心互联，以广域网专线实现与异地灾备中心的互联。运维管理区对网络、安全、服务器、应用系统、存储管理的区域。包括故障管理，配置管理，性能管理，安全管理，告警管理，日志管理等。分布式云数据中心物理架构对应逻辑架构，数据中心的物理架构如下所示。图 STYLEREF 1 s 3 SEQ 图 * ARABIC s

25、 1 2 数据中心的物理架构 网络分层设计数据中心融合、虚拟化技术的应用对网络提出了更高的要求，需要更低的延迟、更高的吞吐量和更高的可靠性，为此，数据中心内部核心网络架构采用扁平化二层网络架构（核心层、接入层），使用网络虚拟化技术，核心层交换机承担着核心层和汇聚层的双重任务。核心层采用CSS虚拟集群技术，将两台核心交换机虚拟为一台设备，设备背板共享，交换能力提高。接入层采用堆叠技术，将两台或多台接入交换机虚拟为一台设备，设备背板共享，交换能力提高。扁平化二层网络架构中，采用虚拟集群和堆叠技术，解决链路环路问题和spanning-tree收敛问题，解决二层链路环路简化，网络拓扑为树形结构，提高链

26、路利用率和网络的可靠性。二层网络设计的优势如下：简化网络结构，降低维护管理成本能够减少网络中的交换机和链路数量，从而降低前期购置成本和后期维护成本。网络性能提高，支撑高性能的服务器流量通过减少交换层数量，流量需要穿越的交换机数量也会减少，从而可以缩短延迟，提高应用性能。网络利用率提高，支撑云计算的资源池动态调度采用Eth-Trunk链路聚合技术，带宽利用率可以达到100。扁平化的大二层网络设计支持云计算对于计算资源池和存储资源池任意按需调配的要求。网络可靠性提高减化的网络通过虚拟集群和堆叠技术，可以消除网络中的可靠性隐患，无需运行spanning-tree协议，降低网络的故障收敛时间，从而提高

27、网络可靠性。 网络平面设计由于采用了虚拟化技术，云平台的管理系统与计算资源和存储资源需要在网内交换大量的管理和监控数据；虚拟机需要挂载存储池的存储资源，也需要海量的数据在数据中心网内传输；同时，网内还要传输虚拟机的业务数据，为了更好地支持这三类业务数据的传输，在数据中心内部将网络划分管理、业务、存储三个平面，三个网络平面相互隔离，互不影响。业务平面用来承载用户端到数据中心各个业务应用系统的流量以及数据中心内部云主机之间的的流量，业务平面按照业务类别的需求进一步划分为不同的业务服务区。管理平面用来承载数据中心网络、服务器、存储及安全等设备之间的管理数据、指令操作数据以及云计算系统的维护和监控数据

28、。管理平面与业务平面共用核心层交换剂，通过VLAN实现两个平面的隔离。存储平面用来承载计算子系统和存储子系统之间的存储流量。存储平面网络是一个独立的隔离网络，保证存储网络的服务质量和安全。 网络功能区设计按照数据中心公有云业务特点，将数据中心分成外联区、数据中心核心区和存储备份数据中心。外联区 外联区用于数据中心与多个互联网运营商网络互联，为数据中心提供高速的互联网出口链路，实现数据中心与互联网之间的互通。向客户分支机构、合作伙伴提供远程驻地网络到数据中心的高速网络接入，互联远程的驻地网络与托管到数据中心的应用信息系统。例如大型企业的企业广域网通过数据中心的外联路由器接入到数据中心内部的应用办

29、公系统。DMZ区用于数据中心对外公共服务区，包括NTP、DHCP、DNS、web服务等。为整个数据中心提供网络应用服务和web业务。业务管理区用于数据中心业务，部署对外的自助服务业务和运营业务。实现业务申请、退订和自动化发放功能。后台管理区用于监控整个数据中心的设备性能，包括存储、服务器、网络、安全设备等。同时做为带外接入管理使用，在紧急情况下，通过维护窗口接入到数据中心。数据中心核心区 数据中心业务核心区域为数据中心的内部网络，分为核心与接入2个层次以及管理、存储、业务3个平面，并且在业务网络平面分成多个业务功能区。网络服务区网络服务区部署防火墙FW、应用负载均衡设备LB、SSL VPN设备

30、等业务网关设备以及安全硬件设备，用于提供IPS/IDS网络安全、负载均衡、网络接入控制等功能。网络外联区设计外联区是数据中心对外的门户，对外连接多家互联网运营商，提供数据中心对外的高速网络出口，外联区的网络架构需要高安全性，可靠性，稳定性。组网结构外联区网络架构示意图如 REF _Ref304620876 r h 图4-4所示。图 STYLEREF 1 s 3 SEQ 图 * ARABIC s 1 3 外联区网络架构示意图外联区包括出口路由器、DDOS流量清洗设备、全局负载均衡。出口路由器：两台出口路由器分别上联到运营商互联网和MPLS VPN网络，路由器即作为数据中心公网出口接入到inter

31、net也作为MCE接入到MPLS VPN网络。DDOS流量清洗设备：旁挂于路由器。在路由器上做镜像接口将来自internet的流量发送到流量分析系统，通过部署流量分析系统来建立IDC网络流量模型，观察相关的流量行为来判断是否发生了攻击以及攻击的目标情况，通过sink hole技术来牵引攻击流量到DDOS清洗设备进行清洗，清洗后的流量传回数据中心网络。全局负载均衡设备：旁挂与路由器。通过代理模式将请求发送给全局负载均衡器，设备有监控业务健康状态功能，通过该设备判断最优的业务路径，之后返回一个网络质量最优的业务地址给用户。网络核心区设计网络核心层常见的有二层架构和三层架构两种设计方案。其中，二层架

32、构主要用于中小规模数据中心场景，满足业务特性需求的同时，能提高网络传输性能；三层架构主要用于大规模及超大规模数据中心场景，核心、汇聚、接入采用独立设备，提升整体业务处理能力。二层架构数据中心网络整合核心层和汇聚层，实现扁平化二层网络架构，核心交换机承担着核心层和汇聚层的双重工作。网络核心层设计如 REF _Ref320980134 r h 图4-2所示。图 STYLEREF 1 s 3 SEQ 图 * ARABIC s 1 4 网络核心层设计图核心/汇聚采用两台框式交换机集群。接入层采用盒式交换机，盒式交换机每两台堆叠。接入层交换机和核心/汇聚层交换机间的链路进行链路捆绑。网络核心层部署两台核

33、心交换机，核心交换机采用CSS虚拟集群技术，将这两台设备对外虚拟化为一台超大容量的交换机设备。接入层交换机采用堆叠技术，将两台接入交换机虚拟为一台设备，设备背板共享，交换能力提高。核心交换机与接入交换机之间的10G链路通过链路聚合技术进行跨机框的链路捆绑，大大提高网络高可靠性。这个方案有四大优势：减化管理和配置首先，集群和堆叠技术将需要管理的设备节点减少一半以上。其次，组网变得简洁不需要配置复杂的协议，包括STP/SmartLink/VRRP等。快速的故障收敛链路故障收敛时间可以控制在30%不大于100%（即不复用）20%虚拟机的VCPU使用率30%100%-200%虚拟机的VCPU使用率20

34、%200%-300%云计算资源池设计本期项目计算资源选择E9000（CH121）刀片服务器，采用E5-2650八核CPU，虚拟化复用比采用1.5，每台服务器支持的VCPU个数为43.5，因此每个业务所需的服务器台数如下：DC2云计算资源池服务器需求DC2业务&平台VCPU资源（个）虚拟机（个）服务器台数（台）云主机220003000506Manageone平台4861.1FusionSphere管理平台6481.5备份服务器3240.7可以计算出每个DC2业务&平台的服务器对应的内存需求如下：DC2云计算资源池服务器内存需求DC2业务&平台内存资源（G）服务器台数（台）服务器内存需求（G）云主

35、机出租3200050664Manageone平台961.187FusionSphere管理平台1281.587备份服务器640.787因此本期分布式云数据中心资源池选用服务器规格如下：云计算资源池服务器规格一：服务器型号：E9000（CH121）CPU：E5-2650内存：16G*6硬盘：300G SAS * 2云计算资源池服务器规格二：服务器型号： CPU：内存：硬盘：根据本期DC2项目各业务&平台的规模，以及考虑云计算集群10%的资源冗余，云计算集群设计如下：分布式云数据中心资源池集群设计DC2业务&平台服务器台数（台）归属集群集群规模云主机556云主机集群一138台服务器云主机集群二13

36、8台服务器云主机集群三138台服务器云主机集群四142台服务器Manageone平台1.1管理集群5 台服务器FusionSphere管理平台1.5备份服务器0.7FusionStorage存储资源设计存储需求汇总如 REF _Ref358535004 r h 表6-38所示存储需求汇总DC2业务&平台存储资源（T）备注云主机1600云主机Manageone平台1.2云平台FusionSphere管理平台1.6云平台备份服务器0.8云平台共计存储需求为1603.6 TB，其中1600T采用分布式存储FusionStorage提供，3.6T采用服务器本地硬盘提供。采用900G的SAS盘，有效容量

37、=900*(10003)/(10243)*0.5=419；容量维度总硬盘数=总需求容量/单盘有效容量=1600*1024/419=3910。存储计算结果汇总：编号名称配置说明数量备注1*磁盘600G/900G SAS(2.5 10000RPM)3910块2存储刀片SCNA326块C2安全方案设计安全方案框架华为DC2（分布式云数据中心）安全框架从模块化、低耦合、端到端及纵深防御思想出发，根据层次分为物理设施安全、网络安全、主机安全、应用安全、虚拟化安全、数据保护、用户管理、安全管理等几个层面，全面满足用户的各种安全需求。该架构中包含以下安全层面的能力： 物理层安全通过对云数据中心安装门禁系统，

38、严格控制人员的进出（只有授权的人员才能够进入），部署视频监控设备及环境监控系统，方便事后审计，保证了数据中心相关人员的安全管理。同时，数据中心的安全建设还包括以下这些方面的安全内容：防盗窃和防破坏；防雷击；防火；防水防潮；防静电；湿度控制；电力保障；电磁防护网络层安全通过防火墙、IPS、SSL VPN、抗DDoS攻击、数据摆渡等技术手段，实现对网络系统中的系统和通信数据进行保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。主机层安全通过终端病毒防护、HIPS防护、HIDS防护、虚拟机加固等技术手段，实现对数据中心的云主机的安全防护，保障用户云主机不

39、受数据中心内外网络的病毒感染威胁，黑客入侵威胁，安全漏洞威胁，使得用户的业务得以长期、稳定的运行。应用层安全通过邮件安全防护、Web应用安全防护等技术，实现对于数据中心的关键应用，如电子邮件、web应用、门户网站等的安全防护，保障用户的应用数据能够不受破坏、更改、泄漏。虚拟化层安全通过对云平台的虚拟化层、Cloud管理应用层进行安全加固，以及对虚拟机进行安全隔离等安全措施，防止病毒、黑客等对虚拟化环境的破坏，同时，保证即使云中的单台虚拟机遭受破坏，也不能对其他的虚拟机造成安全威胁或影响，解决了由云计算带来的虚拟化安全隐患，确保虚拟化环境的安全。数据安全通过剩余数据销毁机制，确保用户存储于云中的

40、数据得到安全保障，不因其他用户租用相同的物理存储资源，而造成用户数据的泄露，打消用户对使用云业务的担心；通过采用高安全性的加密算法，对数据进行加密存储，保证了用户数据完整性、高度保密性；同时，存储系统采用的分布式文件系统将数据切片存储在不同的云存储节点和硬盘上，数据无法通过单个硬盘恢复，故障硬盘无需进行数据清除即可直接废弃，用户数据不会通过硬盘泄露。用户管理安全通过统一的安全运维接入和接入访问控制解决方案，实现对DC2用户核心业务的操作系统、数据网络设备等IT资源的帐号、认证、授权和审计的集中控制和管理。同时，通过将操作日志发送到统一安全管控中心，可以由统一安全管控中心进行关联分析，及时发现安

41、全风险，为信息安全事件提供责任认定、调查取证的证据。安全管理安全管理包括了支撑安全策略和安全管理制度的技术手段、方法和产品。通过提供统一安全管控中心解决方案，收集分布在DC2数据中心的防火墙日志、入侵检测日志、入侵防御日志、流量清洗日志、VPN接入日志、垃圾邮件网关日志、HyperVisor日志、统一运维审计系统日志等，并对收集的安全日志进行关联分析，获得隐藏在日志中的安全风险信息，以供DC2运维人员及时发现隐患，处理问题。针对DC2数据中心分布的网络设备、安全设备及相关安全软件，在考虑安全防护策略时，遵循最小授权原则、业务相关性原则、策略最大化原则，在保证业务正常运作、保证效率的同时，又保障

42、了相关业务得到相应的安全防护，同时，确保安全策略不会出现互斥的问题。安全服务安全服务包括了华为公司为用户提供覆盖DC2端到端的设备、软件的安装、配置等集成服务。同时，可以针对用户的DC2云数据中心，提供专业的安全评估和安全优化服务，帮助用户更好地了解其自身业务是否存在安全隐患，及时采取措施，防范于未然。安全方案设计分布式云数据中心目前针对电子政务等保三级安全要求构建了合规性满足能力，其他合规性可根据项目需求满足。 网络安全技术实现访问控制华为防火墙的ACL提供了细粒度的访问控制功能，实现粒度包括：源与目的IP地址、源与目的MAC地址、源与目的端口、访问协议等。防火墙ACL的应用可以应用于防火墙

43、端口的进出流量，也可以应用于不同的域间。因此，针对用户访问控制，网络层面实现了较为细粒度的安全访问控制。流量清洗华为提供的流量清洗产品，在特定场景下，用户只需要增加相应清洗板，就可以享有流量清洗的功能。华为流量清洗技术采用基于DPI技术的检测机制，深入分析报文的每个字节，可以有效识别流量型攻击、应用型攻击、扫描窥测型攻击和畸形包攻击等多种类型，自动下发引流策略到核心路由设备，将异常流量引入清洗设备进行清洗。同时，可查看报表、攻击事件、清洗情况等。VPN技术虚拟专用网络（Virtual Private Network ，简称VPN)指的是在公用网络上建立专用网络的技术。华为的VPN设备通过IKE

44、v2协议强化用户认证、报文认证、NAT穿越等功能，消除了中间人攻击和拒绝服务攻击隐患。同时，通过扩展支持EAP-SIM、EAP-AKA等无线鉴定协议，从而更高效地对无线网络链路提供更高的安全保护。虚拟防火墙技术虚拟防火墙是将一台物理防火墙划分多个为逻辑防火墙，每个逻辑防火墙能够独立为一个企业服务，提供私有网络，实现独立的安全保障，进而实现物理防火墙资源使用率的最大化。图 STYLEREF 1 s 5 SEQ 图 * ARABIC s 1 2 虚拟防火墙示意图每台虚拟防火墙能够为用户提供私有的路由转发服务、安全服务和配置管理服务/数据摆渡技术一般用于政务云中，需要按照项目情况修改数据摆渡技术网闸

45、是实现两个相互业务隔离的网络之间的数据实现安全“摆渡”的设备。通用的网闸模型设计一般分三个基本部分：内网处理单元、外网处理单元、隔离与交换控制单元。内网处理单元包括内网接口单元与内网数据缓冲区。接口部分负责与内网的连接，并终止内网用户的网络连接，对数据进行病毒检测、防火墙、入侵防护等安全检测后剥离出“纯数据”，作好交换的准备，也完成来自内网对用户身份的确认，确保数据的安全通道;数据缓冲区是存放并调度剥离后的数据，负责与隔离交换单元的数据交换。外网处理单元与内网处理单元功能相同，但处理的是外网连接。隔离与交换控制单元：是网闸隔离控制的摆渡控制，控制交换通道的开启与关闭。控制单元中包含一个数据交换

46、区，就是数据交换中的摆渡船。对交换通道的控制的方式目前有两种技术，摆渡开关与通道控制。摆渡开关是电子倒换开关，让数据交换区与内外网在任意时刻的不同时连接，形成空间间隔GAP，实现物理隔离。通道方式是在内外网之间改变通讯模式，中断了内外网的直接连接，采用私密的通讯手段形成内外网的物理隔离。该单元中有一个数据交换区，作为交换数据的中转。入侵检测与入侵防御华为的入侵检测与入侵防御系统可以实现一体化，也可以分别独立自成产品，以满足用户不同的用户需求。入侵检测功能的核心技术体现在检测引擎、签名库识别效率和处理性能上。通过IPS检测引擎和签名库，可以对系统漏洞、未授权自动下载、欺骗类应用软件、间谍/广告类

47、软件、异常协议、P2P异常等多种威胁进行防护。同时，IPS基于“漏洞”的签名规则，单条规格可以覆盖上千种攻击；借助蜜罐系统，实时捕获最新的攻击、蠕虫、木马等威胁，提供零日攻击的防御能力。主机安全技术实现主机安全防护技术主要包含主机病毒防护、主机入侵检测技术、主机入侵防御技术。病毒防护HIDS检测HIDS（Host-based Intrusion Detection System）主机入侵检测技术通常在被重点检测的主机上运行一个代理程序，该代理程序扮演着检测引擎的角色，它根据主机行为特征库对受检测主机上的可疑行为进行采集、分析和判断，并把警报信息发送给控制端程序，由管理员集中管理。HIPS防御H

48、IPS（Host-based Intrusion Prevention System）防御通过在被重点保护的主机上运行一个代理程序，再根据定制的规则对本地的运行程序、注册表的读写操作、以及文件读写操作进行判断并允许或禁止。如果你阻止了，那么它将无法运行或者更改。比如你双击了一个病毒程序，HIPS软件跳出来报告而你阻止了，那么病毒还是没有运行的。HIPS解决了病毒天天变种天天出新而防病毒软件可能跟不上病毒的脚步的问题。应用安全技术实现Web应用安全防护用户可以根据需要增加相应的web应用防火墙实现安全防御的功能。针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的。Web应用防护主要针

49、对的安全威胁有：SQL 注入防护、HTTP Flood防护、Cookie欺骗漏洞防护、XSS跨站脚本漏洞防护、网页挂马防护、Web恶意扫描防护、缓冲溢出攻击、日志篡改、应用平台漏洞攻击等。同时，也可以通过学习针对服务器的各种攻击特征包和多种web攻击行为来自定义事件，实现更符合现场环境web应用安全防御。网页防篡改网页防篡改技术主要有以下几种：外挂轮询技术：该技术采用对监控目录轮询扫描对比的方式，来判断文件是否被非法修改。对规模比较大的网站，不能实时的发现文件的修改，存在篡改信息被浏览的危险。核心内嵌技术：该技术是在WEB应用服务器中加载过滤器模块，在请求网页的时候，对请求的页面基于数字水印进

50、行比较，来判断文件是否被非法修改。该技术也是比较早的防篡改技术，主要在WEB应用服务器中加入防篡改模块，目前主要应用于Unix平台。文件过滤驱动技术：该技术利用操作系统底层对文件的管理机制，来控制对文件的增、删、改等操作。只有授权的合法进程才能对文件进行操作，未授权的进程进行的操作将直接进行阻止。该技术目前主要应用于Windows和Linux平台，需要在操作系统中加载内核模块，在系统内核中劫持系统的底层操作。事件触发技术：该技术基于操作系统的消息体系结构，操作系统在完成对文件的操作之后，会生成相应的消息上报给系统上层，通过读取消息队列实时发现文件的变化。该技术目前主要应用于Windows和Li

51、nux平台，实时监控文件的变化。动态防护技术：该技术利用WEB/应用服务器软件的过滤器机制，截获所有http访问请求，也可截取提交的数据，对请求以及提交的数据进行规则的检验，实时阻断带有攻击的请求以及数据的提交。该技术用于所有的平台，使用于所有的web应用服务器。可以根据当前用户的实际情况，采用不同的防篡改技术，以保护其网站的安全。邮件安全防御其邮件安全防御是通过邮件DoS攻击防御技术、SMTP防伪技术、DNS反查技术、黑白名单、内容过滤引擎等技术，实现防御电子邮件病毒、垃圾邮件、网络钓鱼、间谍软件等依附在电子邮件上的恶意攻击，确保用户安全使用邮件。虚拟化安全技术实现虚拟机隔离虚拟机隔离指同一

52、物理机上不同虚拟机之间的资源隔离，是虚拟化能够实际应用的基本特征之一。隔离包括CPU、内存、内部网络隔离和磁盘I/O等的隔离。帐号管理、认证和授权云计算运维管理系统（OMM）支持操作管理员账户全身份周期管理。提供一个缺省的超级管理员账户（Admin），使用该账户可创建其他账户并授予相应的权限。支持角色管理功能和基于角色的授权功能，目前运维管理系统支持三种角色定义：超级管理员、操作维护管理员、游客，对应不同的权限控制。云操作系统加固指云操作系统中各设备、节点以及组件的操作系统、数据库等安全性。例如，云计算系统中大量使用的OS、DB等通用软件，其软件自身的漏洞、不安全的账号和口令、不当的配置和操作

53、、开启不安全的服务等等为病毒、黑客、蠕虫、木马等的入侵提供了方便之门，使得系统容易遭受病毒入侵、漏洞攻击、拒绝服务等等安全威胁，从而影响系统的运营。保障基础设施的安全性，是维持系统正常运行、构建网络安全和应用安全的基础。 操作系统加固保证云操作系统的安全，必须进行基础的安全配置，基础安全配置的主要内容如下：最小化服务：禁用多余或危险的系统后台进程和服务，如邮件代理、图形桌面、telnet、编译工具等 服务加固：对SSH、 Xinetd等常用服务进行安全加固 内核参数调整：修改内核参数，增强操作系统安全性，如禁用IP转发、禁止响应广播请求、禁止接受/转发ICMP重定向消息 文件目录权限设置：结合

54、业界加固规范及应用要求，保证文件权限最小化。帐号口令安全 ：启动口令复杂度检查、密码有效期、登录失败重试次数等。系统认证和授权：禁止root远程登录、尽量不用root账号安装运行进程。日志和审计：记录服务、内核进程运行日志，可以与日志服务器对接Web安全FusionSphere各Web服务具有的安全功能如下：自动将客户请求转换成HTTPS： Web服务平台能够自动把客户的请求转向到HTTPS连接。当用户使用HTTP访问Web服务平台时，Web服务平台能自动将用户的访问方式转向为HTTPS，以增强Web服务平台访问安全性。防止跨站脚本攻击： 跨站点脚本攻击是指攻击者利用不安全的网站作为平台，对访

55、问本网站的用户进行攻击。防止SQL注入式攻击：SQL注入式攻击是指，攻击者把SQL命令插入到Web表单的输入域或页面请求的查询字符串，欺骗服务器执行恶意的SQL命令。防止跨站请求伪造：跨站请求伪造是指用户登录A网站且在Session未超时情况下，同时登录B网站（含攻击程序），攻击者可在这种情况下获取A网站的Ssession ID，登录A网站窃取用户的关键信息。隐藏敏感信息：隐藏敏感信息防止攻击者获取此类信息攻击系统。限制上传和下载文件：限制用户随意上传和下载文件，防止高安全文件泄漏，以及非安全文件被上传。防止URL越权：每类用户都会有特定的权限，越权指用户对系统执行超越自己权限的操作。包含登录

56、页面支持图片验证码，在Web系统的登录页面，系统随机生成验证码；只有当用户名、密码和随机验证码全部验证通过时，用户才能登录。帐号密码安全：Web帐号和密码满足系统账号密码安全原则。数据库加固FusionSphere中包含的数据库类型如下：LDAP数据库PostgreSQL数据库数据库必须进行基础的安全的配置，保证数据库运行安全，各数据库的主要安全配置如下：LDAP数据库，帐户密码加密保存。设置LDAP数据库的安全参数，如连接超时时间，拒绝匿名访问。记录数据库的操作日志。PostgreSQL数据库设置高复杂度的帐户密码。记录数据库的操作日志。安全补丁软件因自身设计缺陷而存在很多漏洞，需要定期为系

57、统安装安全补丁以修补这些漏洞，以防止病毒、蠕虫和黑客利用操作系统漏洞对系统进行攻击。华为FusionSphere提供安全补丁方案如下：虚拟化平台安全补丁：虚拟化平台的管理节点中部署了补丁服务器，具有自动补丁安装、测试功能。用户虚拟机安全补丁：虚拟化平台没有针对用户虚拟机提供额外的安全补丁机制。客户可根据操作系统安全补丁官方的发布情况，结合实际的使用需求，为用户虚拟机定期安装安全补丁。防病毒在各管理节点或虚拟机上部署防病毒软件，防止FusionSphere遭受病毒入侵。管理节点防病毒：管理节点提供外部操作维护Portal，与外界存在交互操作，存在病毒感染风险。但管理节点采用加固的Linux操作系

58、统，病毒感染风险低。用户可以选择为管理节点部署兼容Suse linux 11的防病毒软件。用户虚拟机防病毒：提供基于虚拟化平台的最佳实践部署，提升病毒扫描效率、降低病毒扫描的资源占用、提升虚拟机密度，防止用户虚拟机遭受病毒入侵。恶意VM防护防止VM的地址欺骗Hypervisor的Vswitch将VM的IP地址和MAC地址绑定，限制虚拟机只能发送本机地址的报文，防止VM IP地址欺骗和ARP地址欺骗。VM的恶意嗅探Hypervisor中的Vswitch为交换型以太网（非像Hub的共享型广播型），不同VM的数据包被转发到指定的虚拟端口，即使在同一台物理宿主机上的VM上也接收不到其他VM的数据包，防

59、止VM的恶意嗅探。数据安全技术实现在数据安全方面，华为主要采用数据加密技术和数据安全存储技术以确保数据的安全性。数据加解密数据的加解密主要依赖于加解密算法和加解密密钥。同时，加解密密钥的管理也决定了加密数据的安全。在华为数据中心相关的数据加解密业务中，对于用户数据均采用对称算法和对称密钥实现加解密，相应的算法有：SM1 128、AES 128、AES192、AES256、Serpent-256、Twofish-128。对于对称密钥的管理采用的是数字信封的方式进行保护，采用的算法是非对称算法和非对称密钥，相应的算法有SM2 256、RSA1024、 RSA 2048。数据存储用户数据在华为云中的

60、存储安全有两种主要途径：数据经过加密后进行存储；数据依赖于存储系统的安全设计得到安全保障。华为云数据存储安全设计主要包括以下几方面内容：多副本：云存储系统没有使用传统的RAID模式来保证数据的可靠性，而是采用了复制机制，即同一份数据可以复制保存多个副本。在数据存储前，对数据进行分片，分片后的数据在SOD节点群中按照一定的规则保存在其中3个节点上，即每份数据存放3份。 故障数据自愈：数据存储时被分片打散到云存储系统的多个存储节点上，这些分片数据支持分布在不同的存储节点，不同的机柜之间，同时数据存储时采用多副本技术，数据会自动保存多份，每一个分片的不同副本也被分散保存到不同的存储节点上。在数据发生