智慧校园数据中心方案建议书.docx

智慧校园数据中心方案建议书目 录1 项目概述21.1 学院数据中心IT系统建设需求21.2 学院教育信息化云数据中心平台建设的目标22 方案总体设计32.1 设计依据32.2 设计原则33 数据中心基础设施设计53.1 方案整体规划53.2 网络平台设计方案93.2.1 防火墙特性描述93.2.2 数据中心交换机特性描述103.3 服务器平台设计方案113.3.1 机架服务器技术介绍113.3.2 服务器平台配置规划123.3.3 服务器虚拟化方案123.4 存储平台架构设计方案133.4.1 存储需求分析133.4.2 存储平台规划143.4.3 存储可靠性设计153.4.4 存储高效率设计163.4.5 存储网络设计183.4.6 异构存储的融合183.4.7 存储双活详细设计193.5 华为云平台技术方案263.5.1 华为云平台简介263.5.2 云数据中心管理273.5.3 华为桌面云及应用虚拟化294 配置参数301 项目概述1.1 学院数据中心IT系统建设需求本次数据中心云平台的主要应用场景是 “学院数字化校园云数据中心”，主要承载学院数字化校园数据中心平台，服务全院约2万余师生，建成之后的云平台除了承载学院数字化校园业务，未来可将现有多业务系统整合并统一纳入该平台，形成学院统一规划、管理的云数据中心。1.2 学院教育信息化云数据中心平台建设的目标(一) 构建学院统一云数据中心平台，承接数字化校园业务，并且将学院现有数据中心硬件设备整合，通过云计算形成一个物理上分散但逻辑上集中的统一云数据平台，为学院信息化各种应用系统顺利运行提供硬件环境的支撑。(二) 构建统一的、符合教育部教育信息化行业标准及相关教育资源建设标准（SCORM、LOM、CELTS42、CELTS41.1 等）的数据库基础平台。(三) 建设学院统一认证体系，为云平台提供统一的用户身份管理、权限配置管理、资源配置管理、身份同步服务等及各应用系统基础信息（用户信息、权限信息、配置信息、认证信息、授权信息等）的统一管理与服务。(四) 构建符合学院教育需求、体现学院特色、具备创新应用的、功能完备的，为全院2万余师生，提供教育管理、教育科研、教学应用的教育信息化公共服务平台。2 方案总体设计2.1 设计依据国家中长期教育改革和发展规划纲要教育信息化十年发展规划（2011-2020年）国家教育事业发展第十二个五年规划教育行业用户需求及发展策略研究报告2.2 设计原则l 开放和利旧原则考虑到学院现有硬件设备及未来扩展，此次云平台系统开放接口、可全面融合现有硬件（利用高可靠虚拟化技术池化计算、存储资源），具有可充分利旧、全面开放的规划特点。l 先进原则采用前瞻、主流且成熟的技术手段，利用虚拟化技术及存储双活、业务高可用性等技术保证云平台数据中心架构合理、可靠并具有一定前瞻性。l 实用原则在系统交互界面提供简单、直观的中文交互界面，便于使用及后期维护，并且整个系统设计具有按需分配特点，是具有弹性的资源整合平台，系统具有高效率，高实用的特点。l 稳定原则系统架构设计成熟、并在高校有广泛应用，具有高可靠、高稳定特点，满足教师、学生、管理者正常的使用要求。3 数据中心基础设施设计3.1 方案整体规划本方案采用高校云平台建设最成熟并最有广泛性的架构构成整个硬件平台的搭建。学院共有900余名教职工和接近2万的在校学生，本次系统旨在满足校内师生各类数据业务。根据学校数字化校园业务系统规划及参考其他院校建设建设经验，方案建议：l 虚机资源：至少可承载200个虚机应用；l 存储资源：至少100TB可用空间（老师900人*30GB，学生20000人*3GB）；l I/O资源：新增服务器与存储之间的数据流交互用16Gb FC、与网络之间采用10Gb, 老旧服务器采用1Gb连接。具体配置方案如下： 网络平台采用华为2台S7706万兆敏捷交换机（每台配置8个万兆电口和48个GE电口的设备，其中，万兆用于本次的6台服务器接入，千兆用于老旧服务器的接入）作为服务器区的数据交换，两台设备之间做堆叠，增强设备可靠性，2台USG6650高性能防火墙确保全网安全； 数据库服务器采用2台华为RH5885H V3高性能高可靠4路服务器；RH5885H V3的RAS特性值高达53项，完全可以满足对数据库业务的支撑。 虚拟化软件和云平台管理软件用华为的FusionSphere软件，服务器采用4台4路服务器RH5885H V3， 每台物理服务器配置4颗14核处理器，512GB DDR4内存，可提供224个Core和2048GB内存空间，去除部分冗余（其上部署虚拟化软件，实现硬件资源云化），可支持200个以上虚机应用，其中轻载虚机占50%（100个，配置为1C+4G）、中载虚机40%（80个,配置为2C+8G)、重载10%（20个，配置为8C+32G)。可将现有计算资源统一纳入云平台系统以整合资源，统一管理。 服务器利旧，充分利用虚拟化技术的先进性，将现网30余台两路x86服务器云化，与新增的服务器形成统一的云计算资源池，统一管理运维，给学校提供云化的服务。 底层存储用OceanStor V3系列的双活存储，采用一套用于本地双活的阵列双活软件，可组成严格意义上RPO为零的本地双活存储系统。可将原有存储利旧，形成存储系统资源池化，在充分利旧的基础上，实现数据的高可靠。单台存储配置10块600GB SSD硬盘和26块6TB 7200 RPM NLSAS硬盘，组成混合型硬盘的存储资源池，SSD硬盘可承载低时延、高IO并发的业务，NLSAS硬盘承载大容量的业务，10块600GB SSD硬盘做RAID10 (可用存储：RAID冗余：热备空间比例为4：4：2) 可提供4TB的可用存储空间，26块6TB NLSAS硬盘做RAID6（可用存储：RAID冗余：热备空间比例为16：8：2），可提供96TB的可用存储空间，总可用空间为100TB。图3-1 学院数据中心平台上图是本方案设计的整体架构示意图：l 主机应用系统采用高性价比、易扩展的4路14核512G DDR4机架服务器；l 存储采用SAN+NAS集群双活存储架构，支持异构虚拟化，实现系统数据的高效率与高可靠性的存取，采用scale-out的架构可以做到系统容量与性能的线性增长，减轻业务系统的整体压力，高可靠性的磁盘阵列可以帮助客户的业务数据长期保存在阵列中，保护用户数据投资；而学校的办公系统需要简单，易用，提供亲和用户界面与智能维护管理界面，并且系统应具体平滑扩容的能力，良好的对系统的各子系统问题具备综合定位分析及故障恢复能力，从而降低对业务的影响，针对本项目提供了端到端的高可靠虚拟化解决方案级产品：产品主要部件（服务器、存储、虚拟化平台、用户终端）均可提供华为自研产品，整体交付，专业维护团队支撑，兼容性好。两台OceanStor 5500V3之间既可以形成双活存储系统，又可以对原有两台存储进行异构虚拟接管，与新建存储系统形成新的统一存储资源池，可以提高资源利用率，降低客户总体TCO。l 云平台采用华为FusionManager对计算、存储、网络进行虚拟化管理，华为云平台操作系统由虚拟基础设施套件和云基础服务套件组成，并支持将现有30余台2路老旧服务虚拟化并纳入统一资源池，同时可为桌面云提供计算、存储资源。(一) 打造”智慧校园云平台” l 开放平台，支撑多种教学应用与创新l 统一平台，园区内教学资源协同与共享(二) 高效运行与统一维护l 跨域资源管理：多个校区共享计算与存储资源，实现资源的统一调度；l 统一的平台与网络助力教育资源的快捷共享，各校区的学生经过授权可访问数据中心的资源；l 统一的管理维护最大程度降低维护成本；l 支持平滑扩展，保证业务快速上线；l 智能管控，支持软件自动分发、故障隔离与修复本数据中心的IT业务平台主要用于支撑业务数据计算与存储应用系统，它由服务器平台、存储平台与云计算等几部分组成。 根据学院的业务模式可将业务分为如下若干个系统：1 OA办公平台2 统一信息门户平台3 统一身份认证平台4 数字化校园平台5 网站公开平台 我们可将这些系统的应用服务器部署到云平台上，虚拟化服务器通过FC SAN交换机与存储系统连接，底层采用两套存储通过FC SAN交换机相连，组成主备模式的存储系统，保证数据零丢失。3.2 网络平台设计方案3.2.1 防火墙特性描述T级性能、多合一 、高可靠的网络安全防护： 全面一体化防护一机多能，集传统防火墙、VPN、入侵防御、防病毒、数据防泄漏、带宽管理、上网行为管理等功能于一身，简化管理。精细化带宽管理，可基于应用、网站分类制定QoS优先级，确保关键业务带宽并优先转发。联动沙箱，高效发现未知威胁，有效防范零日攻击。 精准的访问控制通过应用、内容、时间、用户、威胁和位置六个维度的组合，感知日益增多的应用层威胁。准确识别6000+应用，精细地进行访问控制和业务加速。丰富的报表系统，将业务状态、网络环境、安全态势、用户行为全方位可视化呈现，帮助用户全面掌控网络安全。 简单的安全管理内置常用场景防护策略模板，使用者无需过多经验也可快速部署策略。遵循最小权限控制原则，根据网络中的实际流量和应用的风险，自动生成策略优化建议。智能发现长期未使用的冗余、失效策略，有效控制策略规模，简化管理。 最高的性能体验统一的应用识别和威胁描述语言，一次性完成报文解析。IAE单次解析引擎，感知应用信息后，多重防护并行处理。专用内容检测硬件加速，提升应用层防护效率，保障多重防护下的最佳性能。3.2.2 数据中心交换机特性描述弹性、虚拟、敏捷、高品质数据中心核心交换机： 高密度千兆接入，容量超群S7706提供16个全线速10GE接口、48个全线速GE接口，高密的万兆/千兆接入满足云时代数据中心服务器规模不断增长的需求； S7706通过不同的板卡选型，灵活适用于不同服务器密度的机架，满足数据中心机房的各类布线需求，本次配置16口万兆和48口千兆板卡。 CSS简化数据中心网络管理通过业界领先的CSS (Cluster Switch System)技术可以把多台物理核心交换机虚拟成一台逻辑交换机，简化网络管理且提高可靠性；支持专用的堆叠信令端口，控制通道和业务通道物理隔离，增强可靠性；采用业务口集群技术，最大可支持80KM超远距离集群； 强大的业务处理能力，提升网络架构扩展性背板具备良好的扩展性，可平滑扩展至更高带宽，支持单端口速率40G、100G平滑升级，同时完美兼容现网板卡，保护初始投资。超高万兆端口密度，支持2*100GE高密线速板卡，单台设备最大支持480个10GE端口，24个100GE端口，充分满足数据访问等大带宽应用需求。 运营级高可靠性设计，可视化故障诊断S7706具备超越5个9的高可靠性，主控、电源、风扇框等关键部件采用冗余设计，所有模块均支持热插拔。专用的故障检测定位子卡，提供硬件BFD，提供3.3ms高精度硬件级以太OAM功能，802.3ah、802.1ag和ITU-Y.1731标准协议，网络故障发生时能够在第一时间检测所有终端Session联通性，图形化网管故障诊断界面，设备节点、链路自动遍历，实现网络快速故障检测与定位。冗余控制引擎间主备无缝切换，设备优雅重启实现NSF无中断转发。支持ISSU业务运行中软件升级，设备软件升级过程中确保关键业务和服务不中断。 高性能IPv6业务能力，IPv4到IPv6平滑升级S7700软硬件平台均支持IPv6，取得工信部IPv6入网认证和IPv6 Ready第二阶段金色认证。支持IPv4/IPv6双协议栈，支持多种隧道技术，支持IPv6静态路由、RIPng、OSPFv3、BGP+、IS-ISv6、IPv6组播，满足IPv6独立组网和IPv4/IPv6混合组网要求。 创新节能芯片，智能功耗控制创新节能芯片，实现按流量动态调整功率，支持端口休眠，无流量不耗电。支持IEEE 802.3az能效以太网标准，线卡收发器具备低功率闲置模式，支持正常工作与低功率状态快速转换，低流量低功耗。3.3 服务器平台设计方案3.3.1 机架服务器技术介绍信息化建设不仅需要考虑业务平台的快速部署和持续扩展，同时也需要考虑信息化建设过程中为学校带来的竞争成本开销。信息化建设的成本不仅包括了设备采购的成本，还应考虑运营成本。包括：能源消耗、人力成本、管理成本等因素。信息化建设还应考虑和关注系统的集中管理维护、节能减排以及空间利用率等因素。结合这些因素，信息化建设中的通用服务器选型建议采用X86服务器架构。本方案推荐华为新一代高新能机架服务器RH5885H V3，该型号服务器具备如下优势。 领先的计算性能：l 采用Intel Xeon Ivy Bridge-EX（E7-4800 V3）高性能CPU，单处理器最大的内核数量14个。l 系统DIMM数量最大支持48 DIMM，内存数量和容量提升50%，可以支持更大的数据库和更多的虚拟机。 系统高RAS特性，提高系统运行稳定性及实现故障快速恢复：l 实现和移植了Intel安腾（小型机）的高级RAS特性，高达40几项硬件RAS特性。l 风扇免开盖热插拔维护（业界服务器大多风扇内置，需要开盖维护）。l LED诊断面板，故障定位信息更加全面和准确，现场操作，使故障得到快速定位和恢复。l 支持高温40度长期稳定运行（不配置SSD等大功耗卡时）。3.3.2 服务器平台配置规划综上所述，在校园信息化建设中服务器平台的设备选型和配置规划如下： 虚拟化服务器：推荐配置4台华为Tecal RH5885 V3机架服务器作为虚拟化服务器，用于数字化校园业务计算应用。建议配置4路服务器，4CPU型号为E7-4850 V3 (14核)，配置冗余电源、风扇、4端口以太网交换模块；512GB以上DDR4内存，2块300GB 10K SAS磁盘，RAID卡支持RAID0/1/10。 服务器虚拟化软件：推荐采用华为FusionSphere软件。3.3.3 服务器虚拟化方案服务器虚拟化使用hypervisor的软件应用程序来创建多个相互隔离的虚拟环境，称为虚拟机（VM），每个VM可以传统意义的物理服务器应用。服务器虚拟化后，服务器内部的虚拟化软件具有二层交换能力成为vSwitch。当前服务器虚拟化软件很多，比如：华为FusionSphere、vmWare、Xen。图3-2 虚拟机（VM）示意图虚拟机热迁移特性是指在使用同一共享存储的主机之间将处于运行态的虚拟机由当前所在的主机迁移到另一台主机上，在迁移的过程中不影响虚拟机对外服务。HA（High Availability）指的是通过尽量缩短因硬件故障引起的非计划性停机所导致的停机时间，以提高系统和应用的可用性。它与被认为是不间断操作的容错技术有所不同。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。虚拟防火墙一种是指将物理的防火墙，虚拟成多个独立的防火墙，这是物理防火墙的功能；每个虚拟防火墙系统都可以被看成是一台完全独立的防火墙设备，可拥有独立的系统资源、管理员、安全策略、用户认证数据库等。虚拟防火墙是硬件防火墙的特性，虚拟防火墙作用：防火墙通过在同一台物理防火墙设备上划分多个逻辑的防火墙实例来实现对业务或部门独立安全策略的部署，虚拟防火墙极大的减少了用户投入的资本。华为数据中心虚拟化解决方案在选择硬件防火墙时，可以选择支持此特性的硬件防火墙。华为服务器虚拟化解决方案支持基于共享存储虚拟化方式（VIMS）的VM增量快照、全量快照和快照恢复，也支持VM的备份和恢复。VM备份支持全量备份和增量备份，需要与FusionSphere HyperDP一起配合使用。HyperDP可以提供按照指定策略：周期性，一次性的备份和恢复的策略配置。VIMS (Virtual Image Manage System，虚拟镜像管理系统) 是一种高性能的集群文件系统，使用时先将数据存储先格式化成VIMS格式，然后挂载到CNA上进行使用。3.4 存储平台架构设计方案3.4.1 存储需求分析通过上一节对各业务系统的数据存储需求分析可以看出，当前系统的数据存储主要是基于数据库应用类型的结构化数据。数据库数据以结构化方式存储，其数据存取类型为小I/O随机读写，通常采用延时更低、存取效率更高的FC SAN存储设备，存储介质通常也建议采用更高性能、更高可靠性的SSD或者NLSAS磁盘，既能够提文件数据的正常存取，同时也能数据存储的大容量、高扩展性存储并降低数据存储成本。综上所述，在公司的信息化建设过程中，基于各业务系统的统一部署和规划，所需的存储平台应具备以下几方面的因素：1、 能够同时支持数据库应用、服务器虚拟化应用、业务应用的数据存取，即同时提供FC SAN、IP SAN、NAS存储服务的统一存储设备。2、 为保障核心业务系统的高可用性和业务连续性，存储平台应具备系统级冗余架构，同时保障关键应用的数据具备系统级镜像保护。即能够保障存储平台发生系统级单点故障时，数据无丢失、损坏，业务不中断。3、 做为高效率的基础数据存储平台，它应具备业务高扩展能力，不仅是支持多业务差异化的存储需求，同时从容量、性能、带宽各方面也应具备良好的扩展性，从而满足未来业务持续的扩展能力以及对当前的投资提供有效保护。3.4.2 存储平台规划存储平台采用两台华为Oceanstor 5500 V3统一存储设备（以下简称5500）作为双活存储，对于应用业务系统数据，数据量大约在100TB左右。所以，此次5500存储配置128GB缓存，配置10块600G SSD硬盘，配置26块6000GB 7200 KRPM NLSAS硬盘，划分同一个存储池，总裸容量为150TB，存储总的可用容量大约在100TB左右。同时，为了提高整个存储系统的资源利用率，采用“按需分配”的智能存储空间分配策略。利用自动精简配置软件可创建比物理容量大的逻辑卷，客户可为应用主机配置超出实际物理容量的虚拟存储容量，降低客户的初始购置成本。区别于普通的精简配置技术，华为自动精简配置可实现更加精细化的空间管理，分配粒度低至8KB。同时支持空间回收技术，进一步提升了存储资源利用率。当容量不足时，精简配置LUN支持在线扩容，业务不受影响。精简卷的创建过程非常简单。客户只需配置精简卷的名称和大小，存储系统可自动将存储空间划分成小块，自动创建逻辑卷。存储系统镜像技术可以实现同一阵列之间的镜像，镜像方式下，镜像数据严格保持一致，提供了数据高可靠的保障。当一套存储单元故障时，系统仍然可以对外提供业务，保证了业务的365724小时持续访问。通过文件镜像功能，可以进一步保证业务系统数据的可靠性保护。存储系统动态分级存储技术可以自动将不同活跃度的数据和不同特点的存储介质动态匹配，提高存储系统性能并降低用户成本。应用在存储动态分级中不会中断现有业务，不会影响数据读写。对于数据存储平台建议采用双活存储平台规划，对于非关键业务系统可采用冷备或按需恢复的机制部署，而对于核心的关键业务则可通过双存储卷镜像的机制保障核心关键业务系统的存储平台高可用，从而避免单系统失效带来的业务中断或数据丢失。双存储镜像的解决方案既可以依赖于独立的存储虚拟化网关VIS6600T来实现，也可以依赖存储系统自身的同步镜像或复制功能实现，两者的区别主要是在于故障恢复时间点目标（RTO）不完全相同。基于存储部署双活存储软件可以真正实现双存储同时在线，单系统故障无缝切换和恢复，业务完全不中断，数据也不会有任何损坏，具备最严格意义的RTO为0的高可用双存储平台。为满足2套阵列之间关键业务存储空间的同步镜像部署要求，消除设备层面的单点故障，确保业务系统7*24小时在线运行，采用OceanStor V3存储阵列双活软件。它可实现的功能包括：异构品牌存储设备资源整合与统一管理；双存储或多存储设备间数据卷同步镜像功能；异构品牌存储设备统一远程容灾功能。3.4.3 存储可靠性设计设备层面可靠性部件冗余系统的控制器、电源、风扇、电池、交换矩阵、链路等均通过冗余备份保证可靠性，硬盘通过RAID保证可靠性。单个引擎内部，供电均采用1+1备份保证可靠性。硬盘RAID保护支持RAID10/RAID5/RAID6等多种RAID保护方式硬盘故障重构硬盘故障后，通过重构将该盘的数据重新生成并写入其他的多个硬盘上，当在线更换硬盘后，系统内部会在存储池范围内自动均衡；硬盘防误拔硬盘被误拔出并重新接入后，如果时间不超过2分钟，硬盘自动恢复并提供业务，系统自动根据日志记录将拔出后写过的区域的数据重新写入硬盘；如果超过2分钟才接入原来的硬盘，则系统自动从全盘重构转为根据日志记录重写，以减小重构数据量加速恢复过程；FRU在线更换引擎内前端接口卡、后端接口卡、管理卡、控制器、风扇、电源、电池均支持热更换；掉电保护系统异常掉电后，通过电池供电将Cache内的脏数据写入保险箱，提供永久的掉电数据保护DIF校验提供从主机-阵列-硬盘的I/O全路径、端到端DIF机制保证数据的正确性3.4.4 存储高效率设计存储为上层所有的业务系统提供数据存储和数据管理服务，为了提高存储系统的访问效率，所以本次存储系统通过采取以下技术手段可以大幅度提高整个存储方案的使用效率： 动态分级存储：随着大规模数据集中存储的实现，如何解决数据集中伴生的复杂度增加、效率降低、管理成本上升的问题成为客户面临的又一大难题。动态分级存储根据信息在不同的阶段对于业务的价值是不同，通过智能的I/O热度统计，可以精确发掘数据内在价值，从而将数据进行合理的分布。将高Value的数据自动分布到高级别的存储介质上，而将低Value的数据自动迁移到更加廉价的介质上。而这一切都在业务未曾感知的情况下自动完成。 自动精简配置：虚拟存储精简置备是一种通过灵活的按需分配存储空间来优化存储利用率的方法。精简置备可以为用户虚拟出比实际物理存储更大的虚拟存储空间，只有写入数据的虚拟存储空间才会为之真正分配物理存储，未写入的虚拟存储空间不占用物理存储资源，从而提高存储利用率。 RAID2.0+技术：华为存储系统采用RAID2.0+技术，将硬盘切成MB级别的块大小(Chunk)，以Chunk为粒度进行硬盘的资源管理。不同于传统RAID固定成员盘盘的做法，阵列内所有的硬盘被划分为固定大小的CHUNK，系统自动随机选择多个硬盘的多个CHUNK按照RAID算法组成CKG，CKG被划分为固定大小的数据块（Extent）分配给不同的Volume使用。如下图所示：RAID2.0+块虚拟化技术RAID2.0+块虚拟化技术相比传统RAID，有效提升系统整体性能，主要性能优势： 快速重构，每个物理硬盘的CHUNK会和多个硬盘的CHUNK组成RAID，单个硬盘故障后参与重构的硬盘比传统方式多很多，可以极大提高重构速度，最快可以达到每TB重构30分钟完成。 硬盘自动负载均衡，Volume的数据被均匀分布到阵列内所有的硬盘上，可以防止局部硬盘过热，提升可靠性。在参与业务读写过程中，阵列内硬盘参与度高，有效提升系统性能； 最大化硬盘资源利用率：1）性能在RAID2.0+环境中，LUN基于资源池(Pool)创建，不再受限于RAID组磁盘数量，单个LUN的性能可得到大大提升；2）容量由于资源池中的磁盘数量不受限于RAID级别，免除传统卷管理技术环境下有些RAID组空间利用率高而有些RAID组空间利用率低的状况，并借助LUN动态扩容，从而提升磁盘的容量利用率； 提升存储管理效率：无需花费过多的时间做存储预规划，只需简单地将多个硬盘组合成存储池，设置存储池的分层策略，从存储池划分空间(卷)即可；当需要扩容存储池，只需插入新的硬盘，系统会自动的调整数据分布，让数据均衡的分布到各个硬盘上；当需要扩容卷时，只需输入想要扩容的卷大小，系统会自动从存储池中划分所需的空间，并自动调整卷的数据分布，使得卷数据更加均衡的分布到所有的硬盘上；3.4.5 存储网络设计结合本次建设需要，光纤交换机是必不可少的，用于备份组网的以太网交换机可以根据实际业务情况选择性的建设，或者也可以与局域网交换机混合使用。为保障学院信息化持续建设和业务扩展的能力，光纤交换机采用主流16Gb端口速率的型号，同时端口数量也应具有可持续扩展的能力，建设初期应至少提供至少24个端口/台，后续可随业务扩展动态扩容，能够通过堆叠的方式快速增加、扩展光纤端口的数量，达到数十个甚至上百个业务端口。结合以上业务规划，建议采用2台24端口的FC 交换机。3.4.6 异构存储的融合OceanStor 5500V3融合存储系统为异构设备提供丰富的异构虚拟化功能SmartVirtualization，该功能可以适用于业界主流厂商的存储阵列，对于客户现网老旧的存储阵列。通过异构接管功能降低用户管理不同异构阵列的复杂度并提升异构LUN性能；通过提供异构LUN在线迁移实现在不断业务的情况下实现异构LUN之间数据平滑的迁移；通过提供异构远程复制技术实现异构LUN间的容灾；通过提供异构快照技术实现异构LUN的快速备份。异构虚拟化化可以满足各种场景的需求： 异构阵列接管用户的数据中心通过长期的建设，数据中心可能存在来自不同异构厂商的存储阵列。如何很好的管理和应用好来自不同厂商的异构阵列给存储管理员提出了很高的技术要求。存储管理员可通过异构虚拟化接管功能，可大大降低对管理异构阵列的技术难度和复杂度。存储管理员只需要管理好华为阵列就能达到管理好所有异构阵列的目的，从而减轻了存储管理员的工作负担。其场景特点就是简化用户管理。 异构数据搬迁用户数据中心可能存在大量的存量异构设备，有些设备可能即将过保或性能不能再满足业务要求，在购买华为OceanStor V3存储后，客户可能希望把存量LUN上的业务迁移到新购阵列中。客户可通过异构虚拟化LUN在线迁移功能，在线迁移异构LUN数据到新购阵列中，数据迁移过程中，主机业务正常运行，但在进行数据迁移前，需要对异构LUN进行接管。其场景特点就是异构LUN数据搬迁过程中，主机业务不中断。 异构容灾如果客户业务数据分散在不同的站点，且对业务的持续性要求较高时，需要各业务站点的数据互为备份和业务切换。当灾难发生时， 能够通过互为备份的站点进行业务数据的接管和数据恢复。但是，可能由于数据站点的阵列来自于不同的异构厂商，导致异构阵列间的数据无法做到互为备份。异构虚拟化提供的异构同步和异步复制功能，可以使异构阵列间的LUN数据做到互相备份，做到站点间的数据容灾。 异构数据保护客户异构阵列上的LUN数据可能受到病毒或其他原因导致LUN数据受到破坏。异构虚拟化提供异构快照技术可为异构LUN提供快照备份，快照瞬间完成，当数据被破坏后，可通过快照迅速的回滚到指定的快照时间点的数据，迅速恢复数据。3.4.7 存储双活详细设计存储双活作为整个系统的核心基础架构平台，主要解决以下两个核心问题。一是如何在两个数据中心间实现数据实时同步，从而保证异常情况下，零数据丢失（RPO=0）。二是如何实现存储资源的虚拟化，提供可同时被两个数据中心主机访问的存储共享卷，从而实现主机应用集群的跨站点部署，保证异常情况下，应用的自动切换（RTO0）。业界存储双活技术路线当前，存储业务通常有多种实现存储双活方案的架构。按照物理形态分类，一种是基于存储网关来实现；一种是基于磁盘阵列来实现；按照业务能力分类，一种是A/A模式双活，双活的两端都能提供服务；一种是A/P模式双活，只有一端提供服务，只有提供服务的一端故障时另一端才能提供服务。上述分类可以两两组合成不同的双活方案，在方案可靠性、业务连续性以及可扩展性方面都存在一定差异。存储双活架构对比方案可靠性按照物理形态分类。基于存储网关的双活方案：除了需要在每个站点部署磁盘阵列外，还需在每个站点新增一台或多台存储网关设备，由存储网关组成一个跨站点的集群，存储网关导致组网复杂，增加故障节点；基于磁盘阵列的双活方案，只需要将每个站点的一台或多台全冗余架构的磁盘阵列组成一个跨站点的集群，实现自动故障切换，不需要网关，降低组网复杂度，提高方案可靠性。此外还要集群的架构，有些集群实际上采用的是Stretched架构，即将一台阵列的两个控制器部署在两个站点，每站点内部只有一个控制器，存在单点故障风险，可靠性低。数据实时同步技术及性能影响按照物理形态分类。基于存储网关的双活方案除了需要在每个站点部署磁盘阵列外，还需在每个站点新增一台或多台存储网关设备，IO路径为主机-网关-磁盘阵列，相比磁盘阵列方案，因为IO路径需要经过额外网关，比磁盘阵列方案至少多0.5ms的IO处理时间。按照业务能力分类。A/A模式双活采用卷镜像技术实现两站点间的数据实时同步。两台存储设备上的LUN被虚拟化为一个虚拟的卷，主机写操作通过卷虚拟化镜像技术同时写入这两个存储设备，保持数据实时一致。其中任何一个存储设备故障，虚拟卷仍能提供正常的IO读写能力，主机业务不受影响。待存储设备恢复正常后，存储虚拟化设备将增量数据后台同步到修复的存储设备，整个过程对主机“透明”，不会影响主机业务。A/A模式双活采用de 同步复制技术是通过建立主存储设备复制到从存储设备的同步复制关系，在从存储设备生成一个实时一致的数据副本来实现的。同步复制对上层主机而言，两个数据中心的存储体现为两个不同的LUN。由于同步复制的从存储设备不能被主机访问，因此，需要跨站点访问主设备，IO处理时延增加。无论哪种类型方案，为了保证两个数据中心存储的数据实时一致，同步复制与虚拟化卷镜像的写操作都需要等待两端存储同时写成功之后再返回给主机“写成功”。因此，两种架构都将对IO写操作带来一定的时延增加，必须提供低时延的同城网络，以减小对写时延的影响。存储卷的双活访问特性A/A模式双活：提供可供两数据中心主机同时进行读写访问的共享存储卷。主机访问请求由本数据中心所在的存储网关或磁盘阵列响应，无需跨越同城网络访问另一数据中心的存储网关或磁盘阵列。A/P模式双活：将一台存储网关或磁盘阵列的控制器部署在两个数据中心，且控制器处于主备模式，备控制器无法被主机访问，只能提供一条备用的存储路径，不是真正的双活。两个数据中心的主机都只能通过访问其中一个控制器来进行IO读写，不仅增长了主机IO的路径，而且增加了主控制器的业务压力，影响系统性能。根据上面的技术对比，经过可靠性，性能等因数评估，本方案选用磁盘阵列实现A/A模式双活。存储层双活方案采用OceanStor系列产品，实现存储双活架构，为两个数据中心存储同时提供读写服务，且整个存储系统架构全冗余，任意数据中心故障时，另外一个数据中心有一份存储设备和相同数据可用，最大化提高了业务连续性。l 跨站点存储集群设计本方案利用跨站点双活集群技术提供双活的存储架构，最大支持32个存储控制器，向应用服务器提供无差异的并行访问，同时处理应用服务器的I/O请求；各控制器间互为备份，均衡负载，控制器故障后，其承接的业务自动切换到正常控制器，保证系统的可靠性、业务的连续性。集群间的通信支持FC或10Ge链路，通信包括集群心跳和数据镜像。此外本方案无需存储网关实现，降低组网复杂度，提高系统可靠性。其工作原理如下图所示。l 跨站点数据镜像设计通过HyperMetro LUN功能，保证两个站点磁盘阵列之间数据的实时同步。两台存储设备上的LUN被虚拟化为一个虚拟的卷，主机写操作通过卷虚拟化镜像技术同时写入两个数据中心的存储设备，保持数据实时一致。具体的IO读写流程如下图所示。假如数据中心A阵列收到写I/O，处理流程如下：申请写权限和记录写日志：数据中心A阵列收到主机写请求，先申请HyperMetro LUN的写权限；获得写权限后，HyperMetro将该请求记录写日志。日志中只记录地址信息，不记录具体的写数据内容；该日志采用具有掉电保护能力的内存空间记录以获得良好的性能。执行双写：将该请求拷贝2份分别写入本地LUN和远端LUN。通常情况下LUN是回写状态，数据会写入该LUN的Cache就会返回。双写结果处理：等待两端LUN的写处理结果都返回；响应主机：镜像卷返回写I/O操作完成。如果任何一个存储设备故障，采用日志记录故障期间数据的变化情况，待存储设备恢复正常后，将增量数据后台同步到修复的存储设备，整个过程对主机“透明”，不会影响主机业务。l 跨站点数据修复设计单块磁盘可能会因为掉电等异常情况出现坏块。如果是可修复错误而且本端无法修复，因为远端站点有镜像数据，则会自动从远端站点获取数据来修复本地数据盘的坏块，进一步提高系统可靠性。假如数据中心A阵列收到写I/O，镜像处理流程如下：申请读权限：阵列收到主机读请求，先确认HyperMetro的本地读权限。读本地LUN。读本地LUN结果返回，如果可修复错误，执行错误修复。重定向远端读。远端读返回。读结果返回。本地写入修复。l 逻辑错误保护设计当遭遇病毒攻击或人为误操作等异常时，数据中心的数据可能被破坏。采用虚拟快照技术，在操作前对现有数据卷激活快照，实现本地数据保护。虚拟快照采用写前拷贝（COW）技术，仅将变化的数据拷贝至快照卷，系统资源占用少。当原卷数据被错误修改或删除，需要进行恢复时，采用快照对原卷进行回滚，实现数据恢复，并且，快照卷可分别映射给主机进行数据测试和挖掘，不影响生产业务。结合华为容灾管理软件，激活快照前触发数据库完全检查点，待数据下盘完成后，激活快照，保证快照数据完全满足数据库的一致性要求，快速拉起数据库。l 高可靠仲裁防脑裂设计为保证各种异常情况下，存储双活集群能够进行仲裁，建议设计第三方仲裁站点，以保证极端场景下的业务连续性。极端场景包括：出现数据中心整体故障或中间链路故障等场景，存储集群仍然可以访问仲裁服务器进行仲裁，保证业务可靠性和数据一致性。有仲裁站点如下图所示，为保证任一数据中心整体故障或中间链路故障等极端场景下，主机业务的连续性，方案建议采用仲裁服务器。这样，可以保证极端灾难场景下，存储集群仍然可以访问仲裁服务器进行仲裁，保证业务可靠性和数据一致性。第三方仲裁站点位于XX点，XX点与两个数据中心之间通过XX线互联。仲裁服务器可以运行在虚拟机上。当出现任一数据中心整体故障或中间链路故障等极端场景，整个集群的仲裁过程如下：数据中心之间的中间链路断开，导致两个数据中心集群发生分裂，进而两个中心之间的存储虚拟化平台发生“脑裂”，存储虚拟化平台从一个大集群分裂为两个小集群；根据集群“脑裂”的通用原理，当大集群分裂为两个小集群时，每个小集群分别抢占第三方仲裁服务器，抢占成功的小集群“获胜”，将继续对外提供服务，为应用提供存储访问空间；未抢占到仲裁信息的小集群则自动退出集群，不再对外提供服务；当中间链路恢复时，“自动退出的小集群”检测到中间链路由故障变为正常，尝试与“继续服务的小集群”握手通信，经过握手通信两个小集群再次组成一个大集群，以Active-Active模式提供服务，互相之间实现冗余。下图列出了基于仲裁服务器模式，各种故障场景下双活业务是否存活的概要。H1 和H2 表示组成双活HyperMetro LUN的两个阵列，C表示对应的仲裁服务器。无仲裁站点若无第三方仲裁站点，建议用户在某个数据中心部署仲裁服务器，业务表现和上述的描述大致一致，但如果仲裁服务器所在的数据中心整体故障，双活业务停止。若无仲裁服务器，用户可以设置其中一端阵列为优先站点。另一端为非优先站点。当发生脑裂场景，或者非优先站点故障时，优先站点上的lun继续提供服务，非优先站点的lun停止提供服务。不足之处在于当两阵列之间失去联系，可能是站点间链路丢失或其中一个阵列故障。系统不能区分这两种情况，当优先站点阵列故障时，非优先站点不能接管双活业务，双活业务停止。3.5 华为云平台技术方案3.5.1 华为云平台简介华为云平台对计算、存储、网络进行虚拟化管理，华为云平台操作系统由虚拟基础设施套件和云基础服务套件组成。图3-3 华为云平台架构 华为云平台主要有虚拟化基础引擎FusionCompute、云管理FusionManager两大部件组成。一套云平台部署一对FusionManager主备节点，FusionManager通过自动发现功能发现其管辖下的物理设备资源（包括机框、服务器、刀片、存储设备、交互机）以及他们的组网关系；提供虚拟资源与物理资源管理功能（统一拓扑、统一告警、统一监控、容量管理、用量计费、性能报表、关联分析，生命周期），并且对外提供统一的管理Portal。FusionManager还包括统一硬件管理UHM（Unified Hardware Management）组件，UHM提供对硬件自动发现，硬件自动配置、统一监控（带内和带外）、硬件统一告警、硬件拓扑、异构硬件支持。FusionManager可以管理多个物理集群，每个物理集群由一对主备VRM管理。FusionCompute提供基础的虚拟化功能，提供服务器、存储、网络的虚拟化功能，并向上对FusionManager提供接口。每套FusionCompute主要由一对主备管理节点VRM组成。一对VRM管理一个物理集群。一个物理集群中可以把多台服务器划分成一个逻辑集群（又叫HA资源池），一个计算资源池有相同的调度策略，为了使用热迁移相关的调度策略要求资源池主机CPU同制。计算资源池不包括网络资源与存储资源。一个物理集群中可以包含多个逻辑集群。华为虚拟化平台支持服务器、存储的平滑扩容。服务器、存储设备均可根据业务根据需求，在线平滑增加服务器、服务器虚拟集群，在线扩展磁盘、磁盘框、控制框。3.5.2 云数据中心管理华为云管理平台FusionManager聚焦于数据中心虚拟化资源管理、自动化运维发放、并对企业IT管理提供开放的管理接口。华为云管理系统将整个数据中心云化，并对系统中用户可见的资源抽取出来纳入统一的资源池管理，为用户提供一体化的资源管理，自动资源发放，同时为用户提供了方便的获取资源的途径。用户可以通过在服务目录自动化的获取资源并在资源上部署用户需要的应用。华为云管理平台系统架构如下图：服务目录服务自动化用户权限管理北向接口自动资源调度统一Portal和移动接入集成资源管理关联分析和报表统一设备管理虚拟化管理系统管理员组织管理员，业务管理员和最终用户其他管理平台发现,配置,编排,模板,部署等资源分配策略，复用策略等计量，预警，触发调度等插件化的连接器较标准的接口方框内是FusionManager云管理平台的功能模块。“虚拟化管理”可以是华为的虚拟化软件FusionCompute建成的资源池，也可以管理其他厂家的虚拟化资源池，如VMware的vCenter+vSphere或Citrix的XenServer。云管理软件从软件层面拉通统一各资源管理。FusionManager云管理平台负责全系统硬件和软件资源的操作维护管理，用户业务的自动化运维。从功能上划分， FusionManager可以分为统一资源管理、自动化运维、用户权限管理、开放API接口、监控管理、告警管理、拓扑管理、日志管理、客户二次开发几个功能模块。FusionManager云管理平台，对资源进行整合管理，物理设备更换和升级、虚拟化平台的切换，对用户不感知，提升运维效率。通过组织管理，使多部门的云资源使用相互独立，互不感知。FusionManager云管理的主要特点包括：(1)统一资源管理：统一资源池，屏蔽不同硬件和虚拟化的差异，资源的更换升级对用户零感知；虚拟化和裸机管理统一管理平台，支持业界主流的虚拟化产品和操作系统，可以兼容客户现有IT资源；设备自动发现，资源快速发放，缩短业务上线时间；基于资源池的统一编排和调度；(2)VDC快捷分配：软件定义数据中心；网络隔离，通过组织管理，不同部门可以独立使用云资源；安全分区，分权分域；(3)应用智能管理：服务目录，应用快速部署；灵活的模板机制，支持用户自定义模板；资源弹性伸缩，提高设备利用率，可视化管理；(4)灵活的异构能力南向插件机制，快速接入新的硬件和虚拟化；(5)被集成能力北向API可以灵活的被客户管理服务软件集成，使用云管理的告警监控功能，支持HTTP和HTTPS协议。客户在使用北向接口之前，必须使用接入用户名和密码进行认证。对密码采用了RSA2048非对称加密。开发API支持通过AD接口登录；开放性：提供丰富的二次开发接口，通过应用定制，其他外围系统可通过二次开发包方便的调用平台云计算资源，与平台软硬件设备实时交互，实现丰富的系统集成功能，如与高性能计算业务、程序设计系统等Saas应用的便捷融合(6)安全性：网络设计上采用数据、重要文件等信息对外界是隔离的；云计算中心采用的服务设备、辅助设备等，在系统的设计上，采用权限管理、访问控制等技术，保证信息安全。访问、密码(含数据库密码)等采用安全加密传输协议，减少产品受到攻击和破解。支持自定义角色管理，对系统管理员、业务管理员和业务员可以配置不同的角色权限，实现访问隔离。3.5.3 华为桌面云及应用虚拟化华为桌面云可以提供灵活的桌面形态，包括完整复制桌面云，链接克隆桌面云，全内存极速桌面、应用虚拟化。FusionAccess桌面虚拟化以服务器虚拟化为基础，允许多个用户桌面以虚拟机的形式独立运行，同时共享 CPU、内存、网络连接和存储器等底层物理硬件资源。这种架构将虚机彼此隔离开来，同时可以实现精确的资源