基于vSAN双活架构的云数据中心设计方案

1、基于vSAN双活架构的云数据中心设计方案 目 录 TOC o 1-3 第1章项目概述 PAGEREF _Toc8121371 h 31.1项目背景 PAGEREF _Toc8121372 h 31.2技术发展分析 PAGEREF _Toc8121373 h 31.3政策性分析 PAGEREF _Toc8121374 h 4第2章现状及需求 PAGEREF _Toc8121375 h 62.1现状分析 PAGEREF _Toc8121376 h 62.2容量估算 PAGEREF _Toc8121377 h 72.3需求分析 PAGEREF _Toc8121378 h 7第3章云平台系统设计方案

2、PAGEREF _Toc8121379 h 93.1私有云平台架构设计 PAGEREF _Toc8121380 h 93.2基础架构平台 PAGEREF _Toc8121381 h 113.2.1计算资源池 PAGEREF _Toc8121382 h 113.2.2基础架构标准化设计 PAGEREF _Toc8121383 h 183.3私有云安全体系 PAGEREF _Toc8121384 h 193.4私有云网络体系 PAGEREF _Toc8121385 h 203.5私有云综合运维 PAGEREF _Toc8121386 h 213.6私有云容灾体系 PAGEREF _Toc81213

3、87 h 233.6.1同城双活技术 PAGEREF _Toc8121388 h 243.6.2异地容灾备份 PAGEREF _Toc8121389 h 27第4章机房环境要求 PAGEREF _Toc8121390 h 294.1空调制冷设备 PAGEREF _Toc8121391 h 294.2供电设备 PAGEREF _Toc8121392 h 294.3网络传输部分 PAGEREF _Toc8121393 h 294.4机柜设计 PAGEREF _Toc8121394 h 29第5章配置要求 PAGEREF _Toc8121395 h 305.1硬件配置要求 PAGEREF _Toc8

4、121396 h 305.2软件配置要求 PAGEREF _Toc8121397 h 30项目概述项目背景集团经过多年IT信息系统的建设，已经建设了大量的IT信息支撑系统，多年来积累了大量的数据，IT信息系统发挥了越来越重要的作用，信息化已成为推进XXX工作和XXX队伍建设的重要载体。目前各大IT应用系统绝大多数采用“竖井式”的建设模式，即每个 IT 系统的硬件资源与上层应用紧耦合绑定、根据上层应用静态配置匹配峰值负载的资源需求，各个业务部门独立规划设计、建设和使用各自的业务应用系统，运维管理方式也以“竖井式”为主，导致IT建设成本高、资源占用多、造成极大的资源浪费，同时也使得整体IT系统的资

5、源利用率过低，存在大量的异构服务器。在这种系统建设模式下数据中心体系结构变得非常复杂，IT系统的改造和扩展难度很大，不利于IT系统基础设施的规划建设；而由于信息机房能源，制冷和空间条件的限制，也制约了数据中心的规模扩展，从而不能满足日益增长的系统扩容和建设需求。因此对于集团私有云的研究具有极其重要的意义，通过建立集团的私有云可以整合数据中心的资源进行统一配置、使用、调度和管理。构建高可扩展性、高弹性和高可用性的云管理平台具有资源整合度高、资源分配调度灵活、系统稳定性强、扩展能力高和管理部署简便等显著特点，可以大幅提高IT资源利用率、提速业务开展、降低能耗、节省投资。同时，随着集团的日常工作同信

6、息系统的联系越来越紧密，信息系统的运行出现故障所带来的业务影响范围会被迅速扩大，所以集团对其计算机信息系统的连续运行，业务系统、数据的高可用性以及业务计算机系统抵御突发性灾难的能力的要求也必然急剧提高。因此，如何预防潜在风险、保障数据安全、保障关键业务可持续已成为集团信息化建设的重要规划。为了有效地保护重要业务数据完整性，提高信息系统应对灾难和风险的能力，化解数据集中带来的数据安全风险和业务运行风险，集团需建设灾备中心，包括本地双活系统、异地备份系统，实现对信息中心节点内核心数据的本地和异地备份，以确保数据安全。技术发展分析当前云技术已经引起IT格局的划时代变革，几乎所有IT巨头企业公司都从不

7、同领域和角度对云技术进行布局，主力包括：Google、IBM、Microsoft、VMware、Oracle等。云平台建设层次包括IaaS（基础架构即服务）、PaaS（平台即服务）、SaaS（软件即服务）。在IaaS这一层面，通过虚拟化、动态化将IT 基础资源(计算、网络、存储)形成资源池，用户可以通过网络获得自己所需要的计算资源，弹性运行自己的业务系统。VMware是在IaaS方面市场的领先者，全球84%的虚拟化应用都是基于VMware，其产品为用户提供私有云和公有云平台。在IaaS 之上是PaaS（平台即服务）层。这一层面除了提供基础计算能力，还具备了业务的开发运行环境、分布式计算能力等，

8、这一层面的服务可以为业务创新提供快速低成本的开发环境。最上层是SaaS(软件即服务)，此层把完整应用程序、软件作为一项服务提供的，同时可以实现软件个性化定制、应用性能弹性、硬件透明等特性。目前云技术已经处于比较成熟的时期，其关键技术成熟度已经从IaaS向PaaS和SaaS层面高度发展，如服务器虚拟化、存储虚拟化、桌面虚拟化等技术都经过大量不同行业的实际生产环境应用验证，部分技术已列入某些企业或政府组织机构的建设标准，分布式技术也被越来越多的应用到企业核心业务系统获取海量计算能力。如果将云平台的建设比作建设一座摩天大楼，那IaaS层就是大楼的地基，PaaS层如同楼体，而SaaS就是大楼整体装饰，

9、各行业从IaaS到SaaS的建设思路已成为云平台建设的普遍做法，实现云平台建设的逐步过渡，分段建设。政策性分析我国政府在“国家十二五”规划中明确提出要加快政府云计算建设。在2010年工信部和国家发改委联合发出关于做好云计算服务创新发展试点示范工作的通知，指定北京、上海、深圳、杭州、无锡5个城市先行开展中国云计算服务创新发展试点示范工程。除了对高性能、经济性、稳定性等方面的考虑，中国政府还看中云计算的服务能力，大量政府机构将部分电子政务应用迁移到云平台，对现有的数据中心进行改造并建设一个IaaS的基础架构云平台，从而提升政府的服务效率和服务能力。集团系统在集团信息化整体框架内构筑基础云计算信息应

10、用体系和技术支持体系，避免了重复建设和各部门、各警种之间的“数字鸿沟”，形成“纵向贯通、横向集成”的集团信息化体系结构格局。集团也顺应IT发展趋势，研究云计算相关技术，积极借鉴各地云平台建设经验，并结合自身特点提出基础云平台的建设思路，提高集团信息化科技水平。采用云技术建设成的集团基础云平台，通过物理整合、虚拟化、集群等手段，搭建计算资源共享池，实现按业务应用系统需求动态分配软硬件资源，逐步消除单个系统独享硬件资源的系统部署模式，提高资源使用率，提升系统运行可靠性，同时降低信息系统资产总成本、简化IT架构，增加硬件平台的整体可用性、提高信息化管理效率，为后续项目，如：虚拟桌面应用、数据分析处理

11、、系统集中化统一管理、IT资源统一管理分配创造技术基础。现状及需求现状分析目前集团及各的业务应用系统大部分都是运行在Windows平台的环境中，这些应用系统越来越多，也越来越复杂，如果购置新的服务器不仅会增加采购成本和运作成本，并且耗费大量人力，往往需要数日甚至数月的考虑以及操作，这使得 IT 部门更加难以应对业务快速成长和不断变动的需求。在此过程中业务系统的服务器数量、网络复杂程度和存储容量也随着业务应用的更新而激增，这种情况势必将导致出现过去十年其他部门和企业信息化建设的老问题基础架构成本高昂、响应速度低下以及管理不一致等。具体如下：出现大量每台只安装一个应用程序从而未得到充分利用的基于

12、x86 的服务器，大多数服务器系统资源的利用率不高；提交设备变更请求与实际操作变更之间存在较长的延迟；新的服务器、存储和网络连接的置备周期较长；安排的有限宕机时间不足以完成维护工作；由于缺少相应的构建策略或无力贯彻这些策略，导致服务器的构建过程不一致、不可重现；由于修补程序测试系统与业务系统不匹配，因此仓促地大范围应用修补程序会导致应用程序的功效或性能被削弱；针对各个分散的Windows服务器应用了多种基础架构管理系统；设备数量、状态和所有权等信息不完整等等。以上所列问题是采用传统平台架构所导致，这些问题必将使将来采购成本增加、不能灵活适应业务应用的变更。近年来云计算技术得到快速发展，云计算正

13、在给信息产业带来一场革命性的改变。随着业务应用的开展，以具体的业务驱动为核心，整合各信息系统资源，利用云计算技术搭建云计算平台，已成为建设基于多层体系架构应用支撑平台的必然要求。集团下辖？个地市集团X，除了集团之外，每个地市都有自己的数据中心，据统计的现有数据中心IT设备大致如下：【此处略去一万字。】可以看到，除了集团之外，每个地市的硬件配置都是一致的，应用类型完全相同，因此考虑一个地市为典型即可。容量估算根据以上统计数据，可以大致计算现有的各类计算资源容量。集团：CPU：11台四路服务器+31台双路服务器，CPU核数 = 11*4*4+31*2*4 = 424颗物理核，CPU平均使用率小于1

14、5%。内存：总量为808GB，根据提供的使用率，计算出实际使用量为450GB。磁盘容量：根据图表数据统计结果为16TB。各：（以集团为例）CPU：6台双路服务器，CPU核数 = 6*2*4 = 48颗物理核，CPU平均使用率小于30%。内存：总量为64GB，根据提供的使用率，计算出实际使用量为37.44GB。磁盘容量：根据图表数据统计结果为3.5TB。各汇总：CPU：13个6台双路服务器，CPU核数 = 13*6*2*4 = 624颗物理核，CPU平均使用率小于30%。内存：总量为13*64GB = 832GB，根据提供的使用率，计算出实际使用量为486.72GB。磁盘容量：根据图表数据统计结

15、果为13*3.5TB = 45.5TB。集团的计算资源大约等于5个地市计算资源容量的总和。以下为直观图。需求分析（1）全省统一规划，整体架构采用双活数据中心的框架，即在市两个数据中心构建基于数据和应用两个层面的统一资源池，通过虚拟化技术，统一向全省各地市提供计算资源服务。（2）各地市将不具有数据中心，统一归口到省数据中心管理，各地市保证应用接入畅通即可。（3）在保证原有体系架构不做大的改动前提下，将原有设备迁移到省数据中心的虚拟化资源池中，以虚拟机的形式取代原有的物理计算设备（服务器）。（4）在新建的虚拟化数据中心中，逐渐向云服务模式靠拢，最终以服务的形式灵活的向各地市以及其它业务部门提供计算

16、资源。（7）云桌面的建设；在充分考虑应用场景的前提下，逐渐尝试虚拟桌面技术的应用，解决计算终端的管理、维护和安全问题。（8）统一运维管理平台，实现对全省的计算资源进行全方位、深层次、可视化的监管控。云平台系统设计方案私有云平台架构设计整体数据中心的设计，基于“两地三中心”的原则，就是整合2个同城数据中心为一个虚拟数据中心，同时两个同城数据中心设计成存储双活架构， 2个专业数据中心网络（集团网和互联网）按照物理隔离的方式数据交互，构建统一的云计算管理服务平台。通过虚拟化技术，整合计算资源，统一调度，构建 “大数据中心”概念。各地市需要计算资源的时候，通过工单形式向省数据中心申请资源，审批之后由省

17、数据中心灵活调配。“两地三中心”的第三点为灾备站点，建议安置在距离一定距离的地市数据中心，这里假设为集团的数据中心为灾备中心，主要用于对主数据中心的数据备份、虚拟化环境备份。其中在集团网内，在不改变原有应用架构的前提下，又划分出若干“私网”，以便应用系统可以顺利对接。“私网”作为集团网的一个延伸，IP资源可以独立考虑。“指挥调度网”作为独立的业务管理网络，与集团专网平行运行，主要用于集团指挥调度体系业务系统的通信保障。【图略】集团私有云平台逻辑拓扑通过这种云计算数据中心的建立，可以融会贯通各地区的计算资源，有效地监控逻辑资源的使用情况，在资源利用率、高可靠性、灵活调度、快速部署方面都会有前所未

18、有的优势。最终为集团信息系统的建设提供无与伦比的快速响应。集团私有云平台架构主要包含：基础设施层、基础架构平台（含虚拟化资源池、云服务管理平台等）、应用支撑平台、业务平台、综合运维管理等。云平台架构如下图所示。集团私有云平台体系架构1、基础设施层，主要提供基础架构平台所需要的物理设备，这些设备包括x86服务器、传统存储阵列、网络设备等等，由于采用虚拟化技术，因此对于物理设备的选型，充分考虑异构环境的可能性，可以选用不同品牌、型号的物理设备作为基础的物理承载平台。2、基础架构平台，主要提供基础架构层面的各种池化资源，以及向应用层面提供云服务。由虚拟化资源池和云服务提供两个层面组成，由于不涉及具体

19、业务系统，所以相对独立。（1）虚拟化资源池：提供各种虚拟化技术，实现虚拟资源池的建立。这里所指的虚拟化技术，主要包括服务器虚拟化、分布式存储、分布式网络、虚拟化防火墙等等完全基于虚拟化平台的技术。其中网络及安全方面，由于考虑改造相对复杂、投入较大，因此仅作研究性探讨以及规划储备。（2）云服务管理平台：建立在基础架构平台之上，基于虚拟化所提供的各类计算资源、存储资源、网络资源等等提供更贴近于业务层的服务模式，这里主要包括云服务流程的管理、服务目录得设定、多租户模式的管理、SLA的提供，使得用户可以方便的、快捷的建立属于自己的数据中心（虚拟）。这个层面主要是云服务的提供，可以根据用户的管理流程需要

20、进行定制化流程。由于本期重心在于基础架构建设，因此云服务管理平台仅作为规划，暂不落地。3、综合运维管理。这个功能域主要面向运维管理人员，可以针对各类资源（虚拟机、虚拟存储、虚拟网络等）的健康状况、运行状态提供统一的完整的、直观的、可视化的、具有一定决策分析能力的运营维护管理平台。不仅限于虚拟化层面，应该可以覆盖到硬件的体系架构，对于基础架构设备层面进行完整的监管控。4、应用支撑平台。也是传统成为“PAAS”的层面，主要建立业务系统运行的数据支撑和应用支撑平面，有通用或专用的平台类软件组成，比如数据库平台、中间件平台、其它开发平台或者大数据运行平台等等。这部分由应用厂商或软件厂商提供实现。5、业

21、务平台。这部分主要是各种面向的业务体现，可以由传统的应用软件实现，也可以采用SAAS模式实现，各类应用软件的汇集，也是业务的最终体现。这部分由应用厂商或软件厂商提供实现。基础架构平台基础架构平台是“私有云”的“地基”，它的可靠性、可用性，决定了上层应用的稳定性，因此需要采用成熟、可靠的技术构建。计算资源池服务器虚拟化技术分析当前虚拟化技术主要分为“裸金属架构”和“寄居式架构”， 代表产品有VMware、Xen、Hyper-V、KVM等等，其中VMware、Hyper-V为商业化产品，Xen和KVM由于已经开源，因此更多意义上代表一种实现虚拟化实现技术，各厂商可以在基于Xen、KVM的基础上进行

22、商业化的包装，形成自己的产品。从技术的先进性以及成熟度来看，VMware一直是这个领域的领导者，Hyper-V作为Microsoft的一个战略性产品，却是不温不火；至于开源的Xen和KVM，则是给了更多的希望在这两个领域有所建树的IT厂商一个机会，可以快速的完善自己的产品线。服务器虚拟化的技术要求虚拟机性能支持动态的扩展：热添加容量：CPU和内存热添加虚拟机扩展性能64 个虚拟 CPU，1TB 内存虚拟化的主机更易于扩展使用所有核心（64 个核心或更多）虚拟机迁移即时迁移正在运行的虚拟机轻松管理和安排实时迁移向大数据扩展数据中心和虚拟化平台，使其能够支持Apche Hadoop的工作负载，帮助

23、企业在一个通用的虚拟化基础架构上部署、运行和管理Hadoop集群以及周边的核心应用，以发掘大数据的价值，为业务决策提供真实的依据。CPU和内存的热添加和磁盘的热扩展热添加使管理员可以在虚拟机需要时为其增加 RAM 和 CPU 资源，同时不会中断虚拟机的使用。这样可减少停机时间并确保虚拟机中的应用始终拥有所需的资源。分布式资源调度DRSDistributed Resource Scheduler (DRS) 可以跨服务器持续地监视利用率，并可根据业务需求在虚拟机之间智能分配可用资源。分布式电源管理DPM分布式电源管理Distributed Power Management (DPM) 可持续优化

24、数据中心的能耗。分布式交换机（VDS）借助 Distributed Switch (VDS)， 您可以从一个集中界面为整个数据中心设置虚拟机访问交换，从而简化了虚拟机网络连接。 得益于此，您可以轻松地跨多个主机和集群调配、管理和监控虚拟网络连接。 VDS 还提供了丰富的监控和故障排除功能，并为高级网络连接功能提供支持。网络 I/O 控制 (NIOC)利用 NIOC可以为每个虚拟机设置规则和策略，以确保关键业务应用得以优先访问网络。 NIOC 会持续不断地监控网络负载，发现拥塞时，它会为最重要的应用动态分配可用资源，提升和保障它们的服务级别。使用 NIOC 可在虚拟机级别配置规则和策略，并确保始

25、终有 I/O 资源可供关键业务应用使用。 NIOC 会对网络进行监控。 一旦发现拥塞，它就会自动向您的业务规则所定义的最高优先级应用程序转移资源。得益于 NIOC，管理员可以达到更高的工作效率，企业可以跨更多工作负载扩展虚拟化，企业的基础架构也会拥有更加广泛的用途。达到并提高关键业务应用的服务级别无代理终端安全防护无代理终端安全防护彻底革新了大家固有的如何保护客户虚拟机免受病毒和恶意软件攻击的观念。该解决方案优化了防病毒及其他端点安全保护功能，可以更高效地工作于虚拟化环境。Storage Distributed Resources Scheduler (DRS)提供基于 I/O 延迟和存储容量

26、来放置虚拟机和平衡负载的智能机制。配置文件驱动的存储通过根据用户定义的策略对存储进行分组，减少存储资源选择过程所包含的步骤。存储在线迁移虚拟机迁移可以在主机之间迁移正在运行的虚拟机而不中断服务，它针对的是虚拟机的运行时状态，迁移的是正在运行的虚拟机，而存储在线迁移可以在存储阵列内和跨存储阵列实时迁移虚拟机磁盘文件，进而避免因计划内存储维护而造成的应用程序停机。存储 I/O 控制跨多个主机动态分配 I/O 容量调整存储资源以满足业务需求Storage Thin Provisioning提高存储利用率通过延长应用程序正常运行时间获得更优异的业务连续性简化存储容量管理High Availabilit

27、y在虚拟化环境中使用最为广泛的可用性提升功能就是HA。HA通过监控虚拟机以及运行这些虚拟机的主机，为实现高度可用的环境奠定了基础，它在整个虚拟化IT环境中实现软件定义的高可用性，而不像传统集群解决方案那样花费高成本或实现起来过于复杂。Fault ToleranceFault Tolerance (FT)通过创建与主实例保持虚拟同步的虚拟机实时影子实例，使应用在服务器发生故障的情况下也能够持续可用。通过在发生硬件故障时在两个实例之间进行即时故障切换，FT完全消除了数据丢失或中断的风险。Data Protection数据保护解决方案该可以以简单无中断的方式备份整个虚拟机，包括操作系统、应用二进制文

28、件和应用数据。Data Protection使用快速无代理的映像级备份和恢复技术来保护虚拟机(VM)。vStorage APIs for Data ProtectionvStorage APIs for Data Protection (VADP)对于数据备份以及数据复制方面的应用程序非常有价值。VADP可以直接与虚拟化底层整合，用户可以绕过第三方的组件直接来访问数据。Replication通过使用内置的Replication，用户可以消除第三方复制成本，并制定更灵活的灾备计划。Replication无需采用基于存储阵列的本机复制，即可通过网络在主机之间复制处于开启状态的虚拟机存储资源池存储技

29、术的选择在当今的存储领域，尤其是针对大势所趋的虚拟化，存储技术的变革可以用“颠覆”来形容。其中最主要的就是分布式存储技术的引进。传统存储阵列发展的几十年里，确实给数据中心的建设带来了巨大的发展，但是随着虚拟化的普及以及大数据、云计算、互联网+等等概念的落实，传统存储阵列的疲态凸显，在处理能力、扩展性、可维护性、可靠性方面，以及成本考量都呈现出更多地劣势。存储厂商一味在增强、扩大这个“铁盒子”，维护传统领域“蛋糕”的同时，也在加紧研究着另一种背道而驰的存储技术，这就是分布式存储技术。分布式存储技术相对传统存储阵列来说，具有以下一些明显优势：1、简单化。传统存储阵列需要一台昂贵的硬件，以及相应的存

30、储交换机、HBA等专用配件，对于存储阵列的配置需要专业的人员进行管理，甚至受制于存储厂商。而分布式存储技术，直接利用了服务器的磁盘，服务器本身就是控制器，在数据中心的架构中，减少了整整一个存储硬件层面，大大简化了数据中心建设的复杂程度。2、性能的保障。传统存储之前的优势是性能，但是这一点已经被颠覆，对于绝大部分中低端存储来说，性能反而一直是一个“鸡肋”，在虚拟化环境中，由于集中化了I/O处理，而且I/O处理是共享式的，因此很可能造成对于某些虚拟机的影响，或者干脆由于整体性能不行拖累了虚拟化平台。分布式存储技术的性能，取决于高速缓存的处理能力和大小，而它采用的是固态盘技术（SSD），单块SSD的

31、性能可达上万IOPS，如果组建集群的话，性能可以线性扩充，这大大缓解了性能瓶颈。3、扩展性的优势。分布式存储的优势就是“分布式”，所谓的“分布式”就是能够将多个物理节点整合在一起形成共享的存储池，节点可以线性扩充，这样可以源源不断的通过扩充节点提升性能和扩大容量，这是传统存储阵列无法做到的。4、面向对象的管理。这里所提到的“对象”，是虚拟机，传统存储阵列都是“块”一级的操作，存储规则的定义与虚拟机、应用无任何关联性，这就造成存储与应用、业务系统的脱节，而新一代的分布式存储技术，所有的存储规则都可以定义到虚拟机级别，每个虚拟机都可以有自己的个性化的存储规则，比如“副本的多少、条带化、存储格式”等

32、等，这才真正做到存储层面与应用的互动，“存储感知应用”，及时为业务系统创造合适的存储环境。5、更高的可靠性。由于分布式存储的架构是分散式的，数据的存放也是分散在不同的节点之上，因此如果个别节点的损坏，对于整体架构没有任何影响。“单点故障”是一直是困扰传统存储阵列最大的问题，而配置多台存储阵列做镜像的意义不大，同时成本不菲，而分布式存储技术轻松的解决了这个问题。尤其是跨站点的分布式存储技术出来之后，使得这种可靠性扩展到了容灾级别。6、更好的维护能力。这里所提到的维护，指的是维护硬件，传统存储架构中，如果出现了故障，我们要逐层排查故障点，其中比较复杂的层面就是存储阵列和存储网络，因为这是专业的领域

33、，需要所谓的专家们来配合解决，而分布式存储技术，由于与虚拟化内核紧密耦合，服务器层就是存储层，并且通过虚拟化管理软件可以一览无余的看到分布式存储的状态，因此对于整体维护来说非常方便。简而言之，分布式存储的优势就是“更快更省更简单”。分布式存储的技术分析分布式存储技术，业界经常称之为Server-SAN，其实并不准确，应该说Server-SAN是分布式存储技术的一种形式，他的目的是充分利用服务器本身的磁盘，通过IP技术整合成统一的存储资源池，提供存储服务。当前主流的产品有Microsoft Storage Spaces、GlusterFS、HP StoreVirtual VSA (aka Lef

34、tHand)、ScaleIO ECS、GFS（google file system）、VMware VSAN等等，实现的技术原理各不相同，但是功能类似，国内厂商大多是借助于开源的文件系统实现分布式存储功能。分布式存储技术的实现也可以区分为“裸金属”和“寄居式”两种架构。所谓的“裸金属”就是指分布式文件系统的控制层不需要单独安装，与虚拟化平台整合在一起，嵌入在虚拟化内核之中，VMware VSAN就是此类代表，由于不存在管理节点，每台虚拟化主机都可以是管理节点，同时也提供存储服务，因此在架构设计上相对安全级别较高。而国内大部分采用Server-SAN技术的厂商，大部分都是开源文件系统的改造。这些

35、机遇开源技术研发的Server-SAN产品，并没有向VMware VSAN一样把虚拟机和存储紧密融合，这意味着更高的开销和更大的复杂度。Gluster主要用户场景是巨型文件/大数据。与此类似的，还有现在较为流行的“超融合架构”，本质上大部分也是采用的开源文件系统，但是由于属于定制化、专业化的封装类产品，不具有代表性。这里暂且不表。分布式存储应具备的功能Server SAN应该是极其简单的虚拟化层融合的存储解决方案。这是适合任何虚拟化应用程序，包括关键应用工作负载的企业级存储解决方案。它应该与虚拟化平台功能无缝集成使它成为理想的存储平台的虚拟机。Server SAN同时可配置为混合架构或全闪存架

36、构的存储。在混合存储体系结构，Server SAN池化了服务器自带的存储设备，在这种情况下磁盘设备、高速缓存设备、典型的SSD和PCI-E的设备来共同创建分布式共享数据存储，将存储硬件抽象出来，为虚拟机提供了一个软件定义存储层。全闪存架构的目的是为极高IOPS性能要求的场景准备，满足高性能存储要求。同时Server SAN应该支持各类PCI-e闪存卡作为Cache要求，这样可以在低成本之下达到高性能存储的要求。下面简单罗列Server SAN应该具备的一些基本功能：更贴近于虚拟化内核贴近于虚拟化内核, 可以优化数据 I/O 路径以提供最高级别的性能以及最小化对 CPU 的影响，同时提供最佳性能

37、和可扩展性。具有广泛的硬件兼容性硬件无关性是虚拟化的初衷，Server SAN应该可以安装部署在任何主流的x86服务器上，实现控制层与数据层的分离，这要求Server SAN可以兼容绝大部分的服务器、Raid卡、PCI-e、SSD、HD磁盘等各种物理设备。基于存储策略的管理(SPBM) 以存储策略的形式将存储需求与各个虚拟机或虚拟磁盘关联起来。Server SAN 使用这些存储策略来自动执行存储资源的调配和平衡,以确保每个虚拟机获得指定的存储资源。SPBM是衡量Server SAN成熟度的一个重要因素。服务器端读 / 写缓存 Server SAN 可利用基于服务器端闪存设备的内置缓存来加快读

38、/ 写磁盘 I/O 流量传输，从而最大限 度缩短存储延迟。精确的无中断纵向扩展或横向扩展 通过向集群添加主机(横向扩展)以扩展容量和性能,或向主机添加磁盘(纵向扩展) 以扩展容量或性能，实现无中断地扩展 Server SAN 数据存储的容量。高可用性为了确保数据的可用性，Server SAN一般采用副本技术，确保在发生个别磁盘、个别主机或网络时绝不丢数据。精简置备功能精简置备（Thin Provisioning）的目的是最大能力的使用存储容量，也可以称作存储的过量使用技术，一般在虚拟化平台中普遍使用，这种技术可以大大的节省存储空间，避免了存储容量的浪费。内置的容错能力Server SAN应确保

39、在发生磁盘、主机、网络或机架故障时绝不丢失数据。并能支持基于硬件的校验基于存储控制器的校验可发现故障并保证数据完整性。Server SAN应能够具有机架感知（Rack-awareness）能力，提升存储的容错能力。机架感知使得Server SAN可以跨越机架，尽可能把数据块的副本放到多个机架上。这将帮助应对电源故障，存储控制器，网络故障等这类突然状况。快照和克隆与虚拟化体系进行互操作应该可以利用虚拟化平台提供的各种工具软件来实现数据 保护、备份、复制和灾难恢复 (DR)。支持直接连接 JBOD Server SAN 可用于刀片环境中以便管理外部连接的磁盘存储模块。 磁盘服务功能提升存储级双活技

40、术这里所指的“双活技术”，是不同级别双活技术的统称，既能够支持不同物理节点之间的双活，还包括机柜之间的存储双活，在整个机柜发生故障之时，数据不会发生丢失事故。最高级别的双活，是数据中心的双活，由于Server-SAN技术支持站点之间数据同步复制技术，因此在整个数据中心发生灾难性事故时，数据也不会丢失，另一个数据中心可以保障数据的实时接管，结合虚拟化平台的HA功能，可以最短时间恢复业务系统的运行。在本项目中，主数据中心在市区，灾备数据中心在XX市，光纤距离为160KM，由于距离较远，存储级双活技术很难实现，建议在本市区内搭建双活存储架构，结合备份技术，保障数据层面的安全。存储容量计算集团的需求容

41、量为16TB，各累计45.5TB，因此总体容量需求为16 + 45.5 = 61.5TB。由于无法统计真实可用容量，因此这个容量假设为可用容量。基础架构标准化设计所谓的标准化设计，指的是针对提供的计算资源实现标准化定义，以便于更方便、快捷的提供计算资源服务。这里分为两个层面“虚拟资源标准化”、“基础设备标准化”。虚拟资源标准化虚拟机（VM）作为提供计算能力的基本单元，可以等同于原有传统环境中的物理服务器。由于需要快速提供基本的虚拟机作为应用层的运行环境，因此可以实现针对通用计算环境的虚拟机定义，这种定义分为横向、纵向两类定义。横向定义指的是根据虚拟机的操作系统，事先预装各类操作系统，甚至可以有

42、目的的预装好应用软件，封装成虚拟机模板，建立虚拟机模板库，便于应用层面快速部署运行环境。纵向是指根据虚拟机配置的大小，大致可以分类为“大、中、小”三类虚拟机模板，这样可以充分利用计算资源，避免浪费。虚拟机标准化的最终形式，如果结合云服务平台，那么可以统一定义为“服务目录”，以“菜单”的方式提交给最终用户，供其选择，实现快速交付。“服务目录”也是云计算服务能力中一个重要的功能。另外，由于业务系统的紧要程度不同，可以根据事先定义的业务系统级别，划分虚拟化群集或者虚拟化资源池，以“分组”的方式，在可能发生的资源紧缺的情况之下，保障优先级别等级较高的业务系统能够正常运行。基础设备标准化由于采用了计算虚

43、拟化以及分布式存储技术，因此在一定程度上已经屏蔽了底层硬件的影响，理论上来说，采用哪种品牌、哪种型号的硬件设备都无关紧要，但是从最佳实践角度来看，对于硬件配置进行标准化定义，将会更好地构建新一代数据中心，如果采用分布式存储技术，由于减少了传统的存储硬件层，那么在选择x86服务器方面可以参照以下配置：标准双路服务器：用于标准的虚拟化计算节点配置建议如下：CPU主流2颗8核(Intel 2630v3以上)内存单台配置不小于256GB硬盘1*800GB SSD，或1*800GB 闪存卡（建议闪存卡）8*1TB NL-SAS（容量需要根据存储需求定义）接口卡2*10GE网口（用于VSAN网络）4端口1

44、GE网口（用于生产网络）标准四路服务器：用于标准的虚拟化计算节点配置建议如下：CPU主流4颗810核(Intel 2630v3以上)内存单台配置不小于256GB硬盘1*800GB SSD，或1*800GB 闪存卡（建议闪存卡）8*1TB NL-SAS（容量需要根据存储需求定义）接口卡2*10GE网口（用于VSAN网络）4端口1GE网口（用于生产网络）可以看出，如果采用VSAN分布式存储技术，只是对服务器的磁盘做了一定调整，缺少了整整一个存储物理层，能得到与传统存储阵列一样的效果。私有云安全体系基于虚拟化平台的安全体系建立，大致分为三个方面：虚拟化平台网络安全、虚拟化平台终端防护（防病毒）、数据

45、安全（备份）。1、虚拟化平台网络安全。是面向虚拟化平台的各种虚拟化元素，实现虚拟化防火墙的能力，从一定程度上来说，传统的硬件防火墙设备也能够实现面向虚拟化平台的网络安全，因为虚拟化网络也是建立在传统网络技术之上，因此对于传统防火墙的基于传统网络元素（比如IP、MAC、VLAN等等）实现的防火墙策略都是可以应用的。但是由于虚拟化平台独特的一些技术，比如虚拟机、端口组、虚拟交换机、虚拟化集群、虚拟资源池等等，都是传统技术所不具有的，因此如果希望获得更加灵活、更加细致的访问控制策略，则需要专门针对虚拟化平台的防火墙技术。在虚拟化网络安全体系建立中，由于网络与安全作为一个整体体现，而本次项目暂时无法采

46、用SDN（软件定义网络及安全）技术，因此建议先期采用防火墙厂商的虚拟化版本提供虚拟化平台网络安全。2、虚拟化平台终端防护。主要是指虚拟机中操作系统之上的病毒防护体系的建立。防病毒技术一般都是专业厂商更加擅长，虚拟化厂商不提供专业的杀毒技术，仅提供相应接口供杀毒软件对接。病毒防护有两种方式：传统防病毒方式、虚拟化防病毒方式。传统防病毒方式，就是通过每台虚拟机上安装防病毒代理，与传统的物理环境防病毒技术一样。虚拟化防病毒方式，不需要在每台虚拟机上安装防病毒代理，而是通过在虚拟化平台底层提供的接口服务，将防病毒引擎安装在虚拟机之外，在虚拟化平台层面进行病毒检测和防护。由于不需在再每台虚拟机中安装代理

47、，因此虚拟机的开销、病毒库的更新以及统一管理方面都更加先进。在本项目中建议采用虚拟化防病毒方式构建防病毒体系。3、数据保护方面，只要指的是虚拟机的备份技术。虚拟化软件一般自带了虚拟化备份软件，作为其中的一个功能模块体现。虚拟化备份使用快速无代理的映像级备份和恢复技术来保护虚拟机(VM)，并利用重复数据消除技术最大限度地降低备份基础架构的需求，同时它还提供了专为管理员设计的简单的管理功能。虚拟化备份的目标对象是虚拟机（VM），具体落实到虚拟机文件上，相比传统的备份技术，占用更少的带宽，并且备份和恢复更加快速，管理非常简便，但是由于受到应用层的限制，一般不会备份到操作系统文件级别，这是传统备份技术

48、的强项。就本项目而言，建议采用虚拟化备份技术满足初期的数据保护要求，或者结合采用部分数据库备份技术作为补充。私有云网络体系由于采用省级集中之后，各的计算节点全部上收，涉及到原有的私网地址冲突问题，如何解决这个问题，主要有两种解决方式：采用SDN（软件定义网络技术），实现“网络多租户”功能，在同一个虚拟网络平台上，通过虚拟网关、虚拟路由器、VxLAN等技术，将原有各地市的网络环境复制到虚拟化平台，沿袭原有的应用访问方式，平滑迁移到新一代数据中心。优点：不需要修改业务系统，平滑过渡。缺点：代价很大，对于网络管理能力要求较高。修改私网地址方式。重新划分各地市的私网IP，根据各地市的IP更改各地市的业

49、务系统接入程序代码，各地市接入端根据分配的IP进行访问。优点：对于基础架构层面的改造减少复杂度。缺点：需要对业务系统做一定的修改，主要是IP地址绑定的修正，需要全功能测试。基于以上两种方式的比较，建议暂时考虑第二种方式，需要与软件开发商讨论之后制定具体详细方案。私有云综合运维从IT管理者角度，如何有效管理云平台上的IT资源是非常重要的，全面把控、管理IT架构中的各个元素，将会大大提升运维支撑部门的核心价值。“统一运维管理”从内容角度来看，涉及到资源监控、性能优化、事件与问题管理、容量管理、配置与合规性管理等等。如下图所示。统一运维管理示意图由于虚拟化平台的核心位置，“统一运维管理”最好采用虚拟

50、化厂商提供的工具，这样在技术整合时管理粒度更加细致并且管理界面更加完整，同时减少软件之间的对接以及出现问题时可能面对的分工界面。在运维管理过程中，另外一个很重要的因素是数据展现。将所获得的运维数据，通过图形化、可视化的方式直观的展示出来。并且贯穿到服务器、存储、网络、操作系统、应用、数据等各个方面，使得管理者能够快速的了解数据中心的运行状况、健康状态甚至趋势分析。运维展现需要根据具体需求进行定制化，同时需要硬件、软件厂商提供相关接口数据便于调用。为了使用户更全面地了解基础设施所有层的情况。云计算运维应能收集和分析性能数据、关联异常现象，并可识别出构成性能问题的根本原因。它提供的容量管理可优化资

51、源使用率，基于策略的配置管理则可确保合规性并消除数量剧增和配置偏差问题。应用发现、依赖关系映射和成本计量功能为基础设施 和运维团队带来了更高级别的应用感知和财务责任。借助云计算运维管理平台，基础设施和运维团队可获得全面可见性、智能自动化和主动式管理，从而能以尽可能高效率的方式确保服务质量。云计算运维管理平台的整体框架应大致如下：第一个功能是环境状况的统一视图，该视图支持虚拟环境。这是组织的运维团队关注的主要功能，因为该功能可以提供有关环境状况的统一视图。获取一个有关虚拟云计算环境状态的统一视图，是运维监管控的重要能力。其次，提供一套全面的集成功能。在虚拟环境中，遗留给 IT 运维团队的问题是需

52、要不同的运维团队管理网络资源、存储资源和计算资源。但在虚拟化环境中，所有这些资源一一具备，虚拟团队能够一起管理所有这些资源，运维平台应为此提供全面的集成解决方案。另外，就管理性能而言，运维管理应注重分析，了解什么对环境而言是正常的并将该信息用于智能警报，而不是依赖会导致产生大量误报的某些传统阈值方法。具有智能化分析的运维管理才可以实现主动式管理。由于IT需要管理虚拟环境，而且管理的虚拟环境是基于物理环境构建的，并且他们需要通过云来进行管理。因此，应提供异构环境管理功能，不仅能够解决物理和虚拟环境的问题，而且能够满足同时跨私有云和公有云或混合云管理的需求。最后，云计算运维应提供可延展性和开放式框

53、架，以用于将该解决方案以及将其他解决方案集成到云计算数据中心中。下图为云计算运维管理平台的示例样式。云计算平台的各类资源，可以通过统一的监管控界面，按照需求可以定制化的展现出来，并且可以提供外部接口，以供综合运维平台通过更直观的方式展现。私有云容灾体系云平台的容灾体系的建立也是非常重要的，集团数据中心容灾体系的目标为“两地三中心”，两地为市区和某地市，市区为主数据中心，XX为灾备数据中心，两地距离为160KM左右，只能按照异步数据复制方式搭建。RTO预期为“2小时”。在市区内，规划存储层面的双活数据中心，如果采用分布式存储技术，那么将按照分布存储技术的双活机制实现数据层面的同步镜像，以达到同步

54、数据复制，保障同城内的虚拟化平台完整性、一致性。具体架构图如下图所示：【图略】同城双活技术这里所指的“双活”技术，是指通过分布式存储技术实现的存储层面双活。分布式存储技术能够在位于不同地理位置上的两个站点间创建延伸集群并同步复制数据（RPO=0），一个站点发生故障时系统会自动切换到另外一个站点，从而实现站点层面的保护，支持企业级可用性并确保即使整个站点出现故障也不会丢失数据，如果结合虚拟化平台的容错机制，几乎能够达到零停机级别。集团在的机房为主生产数据中心，由于采用了分布式存储技术，因此可以利用分布式存储技术的双活机制，在同城之内设立同城双活数据中心，在虚拟化的计算和存储层面解决数据安全问题，

55、同时也可以比较容易解决虚拟机层面的安全问题，在管理层面，可以统一管理界面，部署方面，可以进行分开部署。从整体架构来看，分布式存储的双活技术也称作延伸集群（以下也称“延伸集群”），也是一个统一的集群，只是它的虚拟化主机分布到两个数据站点上：SiteA和SiteB。每个站点是一个“故障域”。两个故障域之间存储数据完全一样，也就是FTT=1（副本数量=1），除了两个数据站点，分布式存储延伸集群“仲裁站点”的角色由第三站点的见证主机担任，见证主机不提供计算资源和存储资源。数据站点之间通过万兆网络相连，数据站点与见证主机使用普通网即可。当一个站点的虚拟机对分布式存储进行写操作的时候，数据将会被双写到两个

56、数据站点磁盘上。下图为同城存储双活的示意图。在同城双活技术中，站点A和B作为主要的数据存放站点存在，另外需要有仲裁站点，这里称为“站点C”，仲裁节点只存放元数据，不存储业务数据，它的作用是和两个站点建立心跳机制，当其中一个站点故障或站点间发生网络分区的时候，Witness可以判断出发生了什么，并决策如何确保可用性。站点A、B与仲裁站点C之间不需要高带宽低延时，一般100Mbps、100ms的带宽和延时之内都可以忍受。而Site A与Site B之间延时小于5ms，带宽的需求是10Gbps。配置规模目前分布式存储延伸集群最小配置是1+1+1（两个数据站点和一个仲裁站点ESXi的数量），最大是15

57、+15+1，双活两个站点的虚拟化主机数量相同。如果是大规模的双活要求，那就需要配置多个延伸集群。每个延伸集群有一个见证主机即可。见证主机见证主机可以是虚拟化主机，也可以在虚拟机中嵌套安装虚拟化软件。见证主机不必加入到集群中，而是在创建分布式存储延伸集群的时候进行选择，它位于分布式存储集群之外。心跳机制延伸集群实施完毕后，会从主站点和备站点分别选出两个虚拟化主机，做站点间心跳通讯检测。分布式存储的Master节点位于主站点的某一个ESXi上，Backup节点位于第二个站点的某一个ESXi上。Master节点和Backup节点每一秒钟发一个心跳，如果持续5秒没有心跳，Master将会选择第二站点另

58、外一个虚拟化主机作为Backup。如果备站整体出现故障，Master会从主站点选一个ESXi作为心跳的backup。如果Master和仲裁站点5秒钟没有心跳，那么仲裁站点将被认为出现故障。出现这种情况，可以配置一个新的见证主机即可。性能分布式存储延伸集群很好低解决了本地读的问题。在标准VSAN集群，虚拟机的读操作是从所有数据副读。例如FTT=1，那么对数据进行读操作的时候，50%的I/O来自第一个副本，另外50%I/O将来自第二个副本。同理如果有三个副本的话，那么读的时候，每个副本各占33%。而延伸集群增加了本地读的特性，例如主站点一个虚拟机读取数据时，所有I/O操作都将源于本站点虚拟化主机的

59、本地盘。为了保证性能，在延伸集群中，尽量减少不必要的站点之间的vMotion。因为读cache预热是在一个故障域内完成的，如果虚拟机vMotion到另外一个故障域，对方站点的cache则需要过一会才起作用。分布式存储集群利用虚拟化软件特有的优势，如HA的affinity（设置VM和虚拟化主机之间的关联，当某一个虚拟化主机发生故障时，如果条件允许，虚拟机优先在本故障域内其它ESXi上重启），这样既保证性能，又保证高可用。网络要求（1）分布式存储的数据站点之间，或者数据站点和仲裁站点之间的网络，二层和三层网络都可以支持，这降低了对大二层的要求。但是，我们推荐在数据站点之间使用二层网络。（2）数据站点站点之间小于5ms之间的延迟（RTT）。数据