省级政务云平台-存储资源规划

1、省级政务云平台存储资源规划 目 录 TOC o 1-3 h z u HYPERLINK l _Toc524552300 第1章 建设目标、范围、任务 建设目标、范围、任务建设目标以国务院办公厅关于促进电子政务协调发展的指导意见为指导，统筹推进省电子政务基础设施提升、电子政务业务系统协同发展、信息资源共享共用和数据开放利用；按照湘府阅201553号文件要求，以资源整合、集约建设、稳步推进为原则，建成安全可靠、统一高效、国内领先的云计算平台并开展示范应用，为全省各级部门提供弹性的云计算和云存储能力、政务外网承载服务与应用能力，基本满足省直部门“十三五”期间非涉密业务的统一网络、计算资源、存储资源、

2、数据库服务、备份服务、安全服务等需求，提升政府效能，促进政府管理创新，达到简政、兴业、惠民的目标。建设范围省级电子政务外网主要满足各级政府部门社会管理、公共服务等方 面的需求，为各省直部门的非涉密电子政务业务提供承载服务。本次建设省级电子政务外网统一云平台，总体框架为“1+2+N”， 即“1网、2中心、N多应用云”，省本级政务大数据中心，初步形成“8+3+5”的基本框架。具体业务目标主要包括： “一个网络”优化升级电子政务外网平台，满足省直部门间以及省 到市、市到县网络传输和承载的需求； “两个中心”建设云计算中心、大数据中心，满足省直部门十三五期间非涉密业务需求，为政府领导提供科学、合理的决

3、策支持。 “N 朵应用云”建设基于云平台的 N 个全省性应用系统，包括政务 服务、政务管理、政务行业、政务决策和政务办公等领域。 “8大基础数据库、主题数据库”完成人口、法人、宏观、地理空间、政务服务信息、工商企业、信用信息、电子证照等8大基础数据库、主题数据库的建设、迁移、备份共享； “3大平台”完成大数据智能分析平台、数据交换和共享平台、数据开放平台3大平台； “5大示范工程”完成全省旅游大数据分析、12345服务平台、区域经济脸谱大数据分析、省互联网产业发展状况分析、省政府网站群智能监测分析5大示范工程；建设建设统一的安全体系；建设统一运维管理机制；设计迁移策略，完成部分系统的迁移；明确

4、云平台建设、管理、运营模式，节约投资，提升服务质量。建设任务充分考虑省级电子政务外网统一云平台计算、存储资源需求的阶段性和应用系统建设的复杂性，为了保证投资的有效使用，采用分期建设的原则。（一）第一期2016年1完成省电子政务外网的升级改造；2建设40%的计算、存储资源；3启动大数据中心建设；4启动N朵云建设。（二）第二期2017年1建设60%的计算、存储资源；2完成灾备中心建设；3完成大数据中心建设；4完成N朵应用云的部分建设。（三）第三期2018年-2020年1全面完成N应用朵云建设。其中，本期云平台基础设施部分的建设任务具体包括以下：完成省电子政务外网升级改造（含安全平台）；建设主数据中

5、心、同城双活数据中心40%的计算、存储资源，数据交换和共享平台；建设政府协同办公平台、政务安全邮箱；提供省政府门户网站群五年的运维服务；提供统一的运维管理服务（五年），确保本期建设的政务外网、安全体系、云计算中心安全稳定运行。省级云计算中心方案整体架构 （图示：数据中心架构设计）湖南政务云数据中心采用标准化、开放和高扩展的云计算架构，支撑省政府各部门的政务外网、互联网等多种不同业务服务。（1）网络资源设计：网络采用扁平化二层架构，分为核心层和接入层，提高性能，减少时延；网络大二层部署，保证虚拟机在资源池内部的热迁移能力；核心交换机旁挂负载均衡器，提供负载均衡增值服务；防火墙支持虚拟防火墙能力，

6、实现业务系统之间的安全隔离。外网服务区与互联网服务区之间网络通过部署数据交换平台实现不同业务域之间的安全隔离。（2）计算资源设计：采用标准化的X86物理服务器，构建计算资源池。采用OpenStack开放架构，支持Xen、KVM等主流虚拟化平台。X86服务器根据业务系统对资源的不同需求，配置不同的产品型号及物理配置，划分高性能计算区、通用性能计算区，分别作为虚拟化资源和物理机资源。（3）存储资源设计：多样化存储部署，满足不同业务系统的需求，降低存储的投资成本。对于数据库、VM文件系统采用FC SAN进行承载；对于非结构化数据、虚拟化镜像等数据存储，建议采用分布式文件系统存储承载，保障存储性能和扩

7、容能力。（4）业务云化设计：根据各政府部门业务对云资源的不同需求，以及业务云化的难度，分批逐步的将现网业务系统迁移至云服务商政务云，实现更多政务业务的云化。（5）云管理平台设计： 构建统一云管理平台，通过对政务云基础资源的抽象和资源池化，提供自助式的IaaS、PaaS、SaaS服务。政府客户可通过云管理平台统一门户自助申请云服务，并进行灵活的管理。同时，云管理平台也负责对政务云所有基础资源进行统一的运维管理。存储资源方案存储架构设计方案本次存储设计方案，20%结构化数据库单独建池，采用FCSAN磁阵集中互连，对于既有现有高端存储和新添置存储通过虚拟化网关进行统一异构管理。对于80%的非结构化数

8、据，其中虚拟化服务通过分布式存储系统提供后端存储，虚拟机镜像和应用的其他非结构化数据采用分布式存储系统提供。为了保证存储的可靠性及性能，非结构化数据采用采用全对等、分布式的存储集群来构建统一云存储。全对等指的是在整个集群架构中，不存在独立的元数据节点或者控制节点，所有的节点均完全相等，避免“关键节点”异常而导致的存储服务异常；存储资源池在物理上由多个小存储构成，逻辑上作为一个整体对外提供服务。存储架构设计图存储功能设计目前较为主流的存储方式，主要有FC-SAN、IP-SAN、NAS、分布式存储等几种方式，详见下表。表5-4-17 存储类型分类表NASFC-SANIP-SAN分布式存储特点成本较

9、低，性能也较低，易部署，支持长距离、跨平台的共享文件服务器，可满足对访问性能要求不高的平台存放非系统类文件，例如大容量的音视频、办公文件资料、邮件备份文件、虚机镜像文件等。高成本、高性能、高可靠性的块存储，满足核心平台的虚机文件系统和数据存储需求，一般配置SAS盘，性能要求不高的可配置SATA盘。成本较低，性能和稳定性中等的块存储，满足非核心平台（例如一般应用平台）虚机文件系统和数据库存储需求。以Hadoop HDFS/HBase 为代表的大数据存储系统和Server San的分布式存储，大数据存储主要适合存储大文件（以G甚至T为单位的文件），文件存储的节点同时也是计算的节点（计算靠近数据），

10、适合与作为大数据分析数据的存储。系统架构局域网+服务器+集中存储服务器+FC交换机+集中存储服务器+以太网交换机+集中存储服务器+互联网络应用场景云资源池大数据平台、分布式存储传统集中存储集中式存储是目前市场主流存储形态，采用专有的企业级存储硬件架构把多个硬盘组成一个阵列，当作大资源池使用，它将数据以分段（striping）的方式储存在不同硬盘中，存取数据时，阵列中的相关磁盘一起动作，既保证可靠性，又大幅减低数据存取时间，同时有更佳的空间利用率。在实现了文件系统级和块级数据、存储协议融合统一的基础上，以业界领先的性能、多种效率提升机制为支撑，为用户提供了高性能、全方位的解决方案，使用户投资收益

11、比最大化，能够满足大型数据库OLTP/OLAP（Online Transaction Processing/Online Analytical Processing）、高性能计算、数字媒体、因特网运营、集中存储、备份、容灾和数据迁移等不同业务应用的需求。结构化数据应用有很多小文件随机读写的IO，需要的是存储的高IOPS，虚拟机和数据库均对存储速度和稳定性要求特别高，优先使用FC SAN作为业务的主存储，配置高速的固态SSD硬盘和SAS硬盘，提供极其强大的IO性能。存储的IO会不定时突发增大，因此需要存储能够有这种解决突发IO的技术及数据自动分层技术。采用大型的FC SAN交换设备，提供8Gps

12、的全双工光纤端口的线速互联，为所有服务器通过FC网络连接到FC存储系统，FC存储系统向所有服务器提供块设备级共享存储系统，同时为了保证系统的可靠性，FC-SAN存储网采用双路径设计。为满足业务系统、查询系统、数据分析系统的要求，必须强化数据存储核心，磁盘本身性能也决定存储系统整体性能，通常磁盘性能以转速、寻道时间、磁盘缓存等技术指标衡量，存储阵列采用全自动分层存储功能，将关键应用访问读写最为频繁的核心一级应用数据和数据库热点表、索引表以及相关的数据文件自动迁移在第一层固态硬盘层中；将二级应用数据库文件数据存储在第二层的SAS硬盘中，将三级应用放置在SATA磁盘上。集中存储优势和特点：稳定可靠：

13、存储系统部件采用全冗余设计和A/A工作模式，在部分设备故障时，剩余的设备可以替代原有设备功能，保证业务的连续性；快照、克隆、远程数据复制、阵列双活等数据保护和容灾特性能够保护数据不丢失，业务不中断。安全高效：智能精简配置通过按需分配的方式来管理存储设备，实现业务在线扩容，提高资源利用率降低；智能分级存储和智能数据缓存技术利用SSD盘高性能特点实现热点数据加速，提高存储整体访问性能，实现数据生命周期管理；缓存分区和服务质量控制QOS技术实现针对不同的业务划分不同优先级，系统优先响应高优先级的访问请求，从而提升高优先级业务的性能，保障关键业务的服务质量。分布式存储传统SAN在企业基础设施池化、云化

14、中面临的主要问题：存储资源弹性问题：多业务负载、资源的动态需求变化；存储扩展的问题：共享、扩展面临了诸多的瓶颈和问题（机头、前后端网络、CPU/Cache与HDD不同步问题）；形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）；容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨机房），硬盘重建时间长问题。针对上述问题，政务云资源池同时提供分布式存储资源池，使用分布式存储解决上述问题，以满足业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现，作为云计算资

15、源池存储资源池的一部分，为计算资源池提供高速、可靠、安全的块存储服务。分布式Server SAN创建的软件定义的存储环境，利用服务器中的本地存储容量，拥有一个可扩展、高性能且容错的分布式共享存储系统。聚合存储和计算资源，可扩展至数千节点，结合了HDD、DAS以创建具有不同性能层的虚拟数据块存储池。随着存储和计算资源的变化，分布式Server SAN会自动重新平衡存储分布以优化性能和容量使用。分布式Server SAN不受硬件限制，可支持物理应用程序服务器和/或虚拟应用程序服务器，Server SAN不受基础架构限制，可与混合服务器品牌、操作系统（物理和虚拟）以及存储介质类型（HDD、DAS）同

16、时使用，因此它既是一种分布式存储解决方案，又是一种存储虚拟化解决方案。存储容量设计本次需求调研共抽样调研13个省直属部门（分别是统计局、卫计委、教育厅、国土厅、工商局、财政厅、住建厅、人社厅、质监局、地税局、交通厅、民政厅、旅游局），调研系统55个，目前共占用存储空间931T，单业务系统占用存储空间19T，按照20%的年增长率，考虑未来5年的需求，规划期内新建及迁移200个应用系统，本期存储需求为：19T*（1+20%）5*2009500T，其中结构化数据1000T、非结构化数据6600T、本地备份存储1900T；本地备份存储测算：1000T*1.5+6600T*4%*1.51900T，其中1

17、00%结构化数据备份按照1.5倍考虑，4%的非结构化数据按照1.5倍考虑。第一期建设40%存储资源，共计9500T*40%+1900T*40%4600T。业务系统数据存储分析云平台采用“两朵云”的方式，即内部云和外部云分开，本期需同时满足两朵云的存储需求。根据需求调研，省政府各直属部门的系统存储结构化非结构数据比例为1:4，本次设计方案中，存储需要同时满足结构化数据（关系数据库中的表数据）以及非结构化、半结构化数据（对象数据，如声音，图片，视频等）的存储需求。从政务云的业务数据来看主要有以下几类数据；核心数据库、虚拟机（OA/Web/APP）、GIS应用、公文共享/视频/媒体、数据交换共享平台

18、，主要存储需求分析如下：核心数据库委办局虚拟机GIS应用文件/媒体/视频数据交换共享平台典型业务各种核心Oracle数据库办公系统，政府网站，普通应用农业土地确权，国土不动产，地理信息共享平台电子证照，气象局流媒体，文件共享人口库，法人库，文件共享存储诉求多为实时在线交易系统OLTP场景，随机小IO，延时小于5ms，RPO=0业务复杂，以OA、Web等应用为主，IO不均，对业务上线速度，要求较高多并发作业，入库、合库性能要求高，归档场景权限管理复杂视频数据顺序大IO写，图片文档随机IO，权限管理复杂数据变化量不大，以读为主，同步周期5分钟左右，带宽型业务，可靠性要求较高对应存储资源池方案采用高

19、端集中式存储，并建议采用高等级灾备解决方案重要业务委办局，对业务连续性要求较高，建议采用高端集中存储，一般委办局采用分布式存储入库、合库等结构化数据采用集中式存储，大量地图文件采用分布式存储文件增长较快，一般多采用分布式存储可靠性要求较高，结构化数据，建议采用集中式存储存储管理系统为了能够真正接管企业现有各类存储设备，未来亦能提供良好的扩展性，简化企业IT部门日常运维监管的复杂度，业界提出了带外控制面存储资源池的理念。即在不改变现有数据通道的前提下，通过管理通道实现存储资源虚拟化，配置自动化和请求服务化来解决客户当前的困惑。华为OceanStor DJ软件集存储资源虚拟化、自动化、服务化为一体

20、，为业务驱动的存储控制软件, 统一管理存储资源, 提供业务驱动、自动化的数据服务。其核心是基于Openstack存储相关组件的增强，实现存储即服务、数据保护即服务、数据库即服务、大数据即服务等。OceanStor DJ将应用与底层存储解耦，能够使客户不依赖于传统设备和应用厂商的绑定地位。在云化场景下，将存储和数据保护等能力以服务的方式提供，顺应存储价值链向软件和服务转移。OceanStor DJ 功能架构如图所示：虚拟化存储管理系统的主要特点：数据应用服务化1、通过将存储功能软件化、应用化，访问协议解耦，支持文件、块、对象等类型存储资源分配服务。2、作为开放平台，集成华为和第三方数据保护、容灾

21、软件，提供XaaS等服务能力。 业务部署自动化1、通过基于策略的资源调度和任务编排，实现存储资源按需发放和自动化部署。 2、支持自服务（Self-Service），提高资源分配效率，降低OPEX。向存储资源虚拟化1、从控制面通过对企业级存储的管理、资源虚拟化，实现统一管理，提升资源利用率。 2、支持标准硬件，实现快速弹性扩展，承接新型业务和负载。华为OceanStor DJ在控制面上将存储的功能特性从物理阵列中抽象出来，把具备相同或近似能力的多个物理存储池在逻辑上组成虚拟存储池。用户在请求存储资源的时候，可基于虚拟存储池的SLA能力去考虑，无需关心后端由哪台阵列为其应用提供存储资源。DJ部署在

22、管理网络，不会部署在数据网络里；数据的传输不通过OceanStor DJ，但可以定义数据路径如何联通 。DJ的存储服务保留了阵列的高级特性，如镜像、克隆、快照、多站点高可用性等，这区别于传统的存储虚拟化技术，不会因为将后端存储视为标准块存储设备而抹杀这些特性。总体来说，OceanStor DJ具备以下特征：支持异构存储资源的虚拟化管理允许管理员设置存储和数据服务的管理策略支持存储和数据服务“解决方案”的渐进式建设支持全局自动化管理为用户提供丰富的自助服务Portal或API接口存储基础架构的无缝扩展，实现可靠性或性能的提升。（例如QoS和SLA设置）用户对存储资源及成本耗费可进行公开透明的监控

23、和管理华为OceanStor DJ的渐进式建设：从基础存储资源的发放到基于业务驱动Workload的资源分配。从基础存储资源发放到基于大数据、数据库等资源分配。从基础存储资源发放到和FusionSphere等配合提供计算、网络、存储资源分配。可靠性设计实现数据中心的有效性的目的是提升数据中心服务的最大化，减少数据中心业务中断所带来的影响，本方案整体能力超过99.99%以上的有效性，具体实现从以下几个方面来实现：存储集群云平台存储应使用分布式的集群存储技术，确保数据的高可用。云平台中使用统一的存储提供多种服务，同时服务于虚拟化平台、数据库平台及其他特殊业务。云平台存储需要使用全对等、分布式架构，

24、无论是元数据管理节点还是数据存储节点，都应满足全对等、分布式的要求。即任何一个或者有限个节点出现故障，都不应该对整个存储的服务连续性上产生影响。整个存储可以在线完成存储扩容。云平台存储需要实现存储分级，在统一的存储架构下，可以对不同的数据，如结构化数据与非结构化数据，进行分级存储。整个存储集群，需要支持可自定义的多副本冗余方式。用户可以自行根据数据的分级属性、重要程度等指标，对数据进行冗余定义。在用户定义保存多份副本时，如果因为某个或者某几个节点故障导致的副本缺失，存储需要能够进行自动修复，确保足够安全的副本个数。云平台存储需要能够实现资源隔离，包括不同用户的存储资源隔离，不同分级存储隔离，不

25、同分组间存储资源隔离。存储设备冗余设计构架设计上采用冗余的体系构架，实现电源、CACHE、控制卡、总线、磁盘等关键部件的冗余保护，并具有断电保护功能；全面的在线升级能力：所有硬件部件、功能性软件及存储系统的内部微码均具有在线升级能力，使用户的业务能够实现真正的7*24小时应用。系统中所有硬件部件都可以不间断修复，微码可在不影响用户操作和应用运行的情况下重新装入。可热插拔的硬件部件包括：通道适配器、磁盘适配器、硬盘（HDA）、Cache板、电源、电池、风扇等。不间断电源系统，系统有一个电池备份系统。数据保护的可靠性云平台存储需要提供传统的RAID技术（RAID0、RAID1、RAID5、RAID

26、10），以保证数据可靠。动态备盘非RAID的数据保护方式，降低磁盘重建时间。存储电源配置冗余，防止意外断电而失去Cache内容的问题。存储资源虚拟化存储资源“池”化，支持跨硬件平台，跨不同厂商的存储设备整合设备，将各种不同品牌、类型、分散的存储资源整合、虚拟成一个“存储资源池”，以提高整体利用率、降低管理成本。从应用和用户角度看，无需关注使用的物理磁盘及数据经过的具体路径和具体设备。动态、灵活调整。采用集中化管理方式，并根据具体需求将存储资源动态地分配给各个应用。同时根据数据的重要性、访问频度等情况，可以自动在不同性能的设备之间迁移。存储池应做虚拟化设计，包括基于存储厂商的存储设备的虚拟化以及

27、物理服务器本地硬盘的虚拟化两种方式，构建统一的虚拟化储存资源池。集存储资源虚拟化、自动化、服务化为一体，为业务驱动的存储控制软件，统一管理存储资源，提供业务驱动、自动化的数据服务。其核心是基于Openstack存储相关组件的增强，实现存储即服务、数据保护即服务、数据库即服务、大数据即服务等。将应用与底层存储解耦，能够使客户不依赖于传统设备和应用厂商的绑定地位。在云化场景下，将存储和数据保护等能力以服务的方式提供，顺应存储价值链向软件和服务转移。分布式存储数据可靠性数据可靠性，即数据不丢失，是存储系统的第一职责。分布式一般采用普通服务器，要假设服务器和硬盘都是不可靠的。如何保证在有硬件损坏时数据

28、不丢失，是任何分布式存储系统都必须考虑的，包括以下几种：多副本即数据保存N+1份（一般是3份），每一份都存储在不同的节点上。在数据损坏N份时，仍能修复数据。缺点是，需N倍的冗余存储空间。纠删码即将一条数据切分成n等份，通过对这n份数据编码，得到m份相等大小的校验数据块儿。这n+m份数据，各自存储在不同的节点上，拿到n+m中的任意n份数据，均可计算得到原始的数据。一般n取10，m取3。优点是，只需m/n倍的冗余空间，缺点是读写效率较低，且耗费cpu。跨DC双活在两个站点提供两个FusionStorage集群来做双活存储容灾设计。容灾存储卷在两个站点同时支持读和写。接入修复客户端写数据到存储集群，

29、一般先按一定规则找到一个接入节点，再由次接入节点做proxy将数据写到实际存储的节点。假设需要写入3副本，如果接入节点发现，有的副本对应的存储节点此时不可用，或者写超时，那么会将写失败的节点及未写成功的数据存储下来。之后，定时或者收到通知不可用节点变为可用时，尝试写入之前未写成功的数据。全局扫描修复用以修复磁盘损坏、误删文件等原因引起的数据丢失。由master节点发起全局数据，或者primary节点发起自己负责的range的数据，的多个副本间的数据扫描。如果发现某个副本缺失，则进行修复。可扩展性设计集中存储通过增加控制器缓存和硬盘数量来满足存储容量和性能的扩展要求，这种扩展思路在存储界称之为S

30、cale-up纵向扩展，纵向扩展是一般存储系统都具备的功能。它通过将多个单元并入一个单一的逻辑系统来扩展存储系统。纵向扩展Scale-Up示意图这种扩展方法使得单一系统不断膨胀成一个庞然大物，单个个体变强大了，解决了容量扩展和性能扩展的问题。但是毕竟是单一系统，当业务继续增长，对容量和性能需求继续提高，纵向扩展方法将会使得存储系统变得复杂，纵向扩展触到天花板，不能完美解决扩展的问题。横向扩展能在纵向扩展基础上解决容量和性能继续增长的问题。横向扩展称之为Scale-out扩展，简单地说就是在原有存储系统上并行再新增一套或多套存储系统，这些系统自动地就融合成在一起，从使用的角度来看，就是一套完整的系统。这套完整的系统将相关资源紧密融合在一起，不影响系统的运行。横向扩展存储系统克服了物理机架和模块的限制，可作为单一系统，通过增加控制器或是容量节点来实现性能和容量的独立升级，提高IT投入的回报率。同时，线性扩展能力为业务的长期高性价比提供保障。解决了传统单一系统在性能和容量扩展方面的弊端支持Scale-out的存储系统，一切就变得简单，部署工作大大简化，每增加一个系统结点，性能和容量同时增长，当容量不够了，再采购一台加入现有存储系