数据中心基础架构及容灾平台-方案建议书

1、第 PAGE 17页 PAGE 41页数据中心基础架构及容灾平台方案建议书目录 TOC o 1-3 h z u HYPERLINK l _Toc475268556 第一章 建设目标和背景 PAGEREF _Toc475268556 h 3 HYPERLINK l _Toc475268557 1.1 项目背景 PAGEREF _Toc475268557 h 3 HYPERLINK l _Toc475268558 1.2 目标 PAGEREF _Toc475268558 h 4 HYPERLINK l _Toc475268559 第二章 平台建设内容 PAGEREF _Toc475268559 h

2、 5 HYPERLINK l _Toc475268560 2.1 总体架构 PAGEREF _Toc475268560 h 5 HYPERLINK l _Toc475268561 第三章 网络建设 PAGEREF _Toc475268561 h 6 HYPERLINK l _Toc475268562 3.1 总体目标 PAGEREF _Toc475268562 h 6 HYPERLINK l _Toc475268563 3.2 网络设计 PAGEREF _Toc475268563 h 6 HYPERLINK l _Toc475268564 3.3 核心设备选型 PAGEREF _Toc4752

3、68564 h 7 HYPERLINK l _Toc475268565 第四章 基础架构 PAGEREF _Toc475268565 h 9 HYPERLINK l _Toc475268566 4.1 基础架构设计 PAGEREF _Toc475268566 h 9 HYPERLINK l _Toc475268567 4.2 设备选型 PAGEREF _Toc475268567 h 11 HYPERLINK l _Toc475268568 第五章 备份设计 PAGEREF _Toc475268568 h 13 HYPERLINK l _Toc475268569 5.1 备份方式 PAGEREF

4、 _Toc475268569 h 13 HYPERLINK l _Toc475268570 5.2 备份方案选择 PAGEREF _Toc475268570 h 13 HYPERLINK l _Toc475268571 5.3 备份实现的要求 PAGEREF _Toc475268571 h 14 HYPERLINK l _Toc475268572 5.4 异地备份实现 PAGEREF _Toc475268572 h 14 HYPERLINK l _Toc475268573 第六章 容灾设计 PAGEREF _Toc475268573 h 16 HYPERLINK l _Toc475268574

5、 6.1 灾备中心基础设施 PAGEREF _Toc475268574 h 16 HYPERLINK l _Toc475268575 6.2 容灾架构 PAGEREF _Toc475268575 h 16建设目标和背景项目背景一、政策法规的要求2014年，国家通过改革公司注册资本及其他登记事项，进一步放宽对企业准入的管制，降低准入门槛，优化营商环境，促进企业加快发展；登记制度改革不仅仅改变了登记业务的工作，更重要的是要求构建更加严格的监管体系。目前的过渡系统是一个临时性的信息化措施，只是根据相关规范的文书和执照要求进行了修改，在流程、管理特别是监管业务的处理上尚未进行深入的改造，随着企业信息公

6、示条例的颁布，登记制度改革更加完善和成熟，逐步形成了信息公示管理、异常名录管理、抽查、协同监管等新的严管手段，因此，需要新的信息化体系来进行有效的支撑。二、制度改革支撑要求（1）取消垂管需要业务系统进行调整大一统设计思路和应用框架将难以适应越来越多的个性化要求，必须提升应用系统的适应能力和扩展能力才能更好地适应取消垂管后的业务发展。（2）大部制运作需提升应用的协同能力目前部分基层机构已经实现工商、质检、药监的统一监管，大部制监管模式对应用系统提出了信息协同的要求，实现信息在跨部门之间共享，并实现相互之间监管的协同能力,需要进行重大的扩展改造才能满足大部制系统运作的要求。三、总局信息化建设要求（

7、1）国家法人库建设要求国家法人库是中央和地方共建项目，其建设的重要任务之一是工商业务支撑系统，根据国家发展改革委关于加强和完善国家电子政务工程建设管理的意见（发改高技【2013】266号），要求中央和地方统一规划整体理想，围绕国家法人库建设目标、任务和本地工商信息化建设需要，做到六大方面的工作：一是依据相关规范要求，对现有各类业务应用涉及的信息资源进行优化调整。二是对现有各类业务系统系统按照一体化的思路进行统一规划建设和升级改造。三是为推进工商登记制度改革，对相关业务功能进行调整、改造、升级和重构。四是对新增业务应用建设规划。五是建立统一对外信息共享与业务系统应用。六是实现地方工商部门与总局之

8、间业务数据与应用的衔接。（2）数据标准及质量建设要求通过标准化体系，构建开放式信息资源共享利用机制是电子政务的重要任务，国家工商总局近年大力推动数据标准化和数据质量的建设。总局先后制定发布了市场主体准入与退出数据规范等30多部工商信息化标准，发布了关于统一工商行政管理信息化标准的意见，并建立全国关于数据质量的评审机制。要求全国各地对于核心业务数据指标，全系统执行总局发布的数据标准的符合度达到100%。从目前情况看，当前的应用系统数据标准与国家总局的标准存在一定的差距，需要进行改造和调整。（3）全程电子化登记建设要求为认真贯彻落实党的十八届三中全会精神和总局关于注册资本登记制度改革的部署要求，总

9、局要求全国各级工商行政管理部门需建立适应网络环境下的网上登记管理和网上公示系统，大力推进以电子营业执照为支撑的可信网上申请、网上受理、网上审核、网上公示、网上发照、网上验照等全程电子化登记管理方式，提高市场主体登记管理的信息化、便利化、规范化水平。三、信息技术发展要求最近若干年互联网和移动应用的发展，改变和颠覆了生活，结合最新的技术，并将其融入新的应用系统中，也是提升信息化的重要手段之一。当前随着智能终端设备和云计算的发展，越来越多的传统应用被移植到移动办公环境中，基于IaaS、PaaS和SaaS的共享体系越来越多。GPS/GIS的应用越来越广泛，将GPS定位信息与地理信息系统GIS信息结合起

10、来，是市场监管网格化、指挥调度智能化的重要技术基础。目标根据工商总局办公厅关于开展工商行政管理信息化发展“十三五”规划研究编制工作的通知和工商总局关于深入推进工商信息化工作的意见精神要求，推进统一的工商信息化体系建设, 建立承载数据中心和灾备中心的业务平台的工商私有云。通过信息化建设，发挥互联互通、协调共享和效率倍增作用，有效支撑全国统一的市场监管体系的形成和运行。平台建设内容总体架构数据中心建设的主要内容包括网络层、基础平台层、安全保密层、表现层。总体框架如下图：本方案中，核心的数据库和应用服务器直接接入数据中心核心交换机，并在核心交换前端增加防火墙保障后台系统安全。本地业务部门和下属地市工

11、商局通过局域网活运行商网络接入汇聚交换机后访问数据中心的数据。通过Internet对外提供公众服务的服务器位于外网防火墙的隔离区内，并与数据中心间通过网闸或防火墙进行连接，以限制外部网络对数据中心内部的访问。数据中心核心路由通过运行商CWDM链路与灾备中心进行数据传输。网络建设总体目标依托运营商的通信设施的基础资源，采用先进的信息、网络技术，以网络互联与信息交换基础平台为骨干，工商行政管理云平台，承担工商部门之间的非涉密的信息交换和业务互动，在网络环境下逐步实现上下级机构之间各主要业务系统的信息交换和信息共享； 网络设计总体方案中网络设计按照分层次结构的原则自顶向下设计，企业云平台网络分为三层

12、结构：核心层（企业局数据中心）、汇聚层、接入层（本地业务部门和下级接入节点）。网络拓扑结构包括城域网和广域网两大部分：其中城域网采用以太网技术，包括数据中心和其他部门的网络连接；广域网采用数字电路技术， 为直属下级工商局提供网络接入。本方案采用MPLS/BGP VPN（三层）解决方案并提供各部门、系统网络间的逻辑隔离(VLAN、VPN)，保证互访的安全控制。本次工程主要建设企业云平台局域域网、广域网，网络设计如下：一、核心层（企业局数据中心）核心层是整个网络的大动脉，用于连接服务器集群，各部门和其他节点的交换路由以及与广域网连接的出口。核心路由设备采用高密度、丰富特性、高性能的三层路由交换机，

13、广域网端口紧密结合进同一个路由平台，为今后网络设备的扩展性和投资保护提供可靠的保障。核心层由3个节点组成：1台骨干路由器和两台三层交换机。两台核心交换设备之间采用双GE捆绑的方式实现全链接。核心设备应该具有高交换容量、高处理能力、高性能和高可靠性保障；核心交换机要提供高密度、高带宽端口的接入能力，全面支持MPLSVPN。核心路由器应是一个高交换容量、高处理能力、管理能力强、具有丰富接口的高端骨干路由设备。另外，为了实现对内网应用系统和核心服务器集群的安全保障，在核心路由器与交换机之间部署一台千兆防火墙。二、汇聚层汇聚层由省数据中心及各下级和部门节点组成。省工商大楼汇聚层节点设在省工商大楼信息中

14、心，大楼内的各部门直接汇聚到办公大楼核心交换机，然后通过办公大楼核心设备接入核心业务系统。地市工商局通过运营商MSTP接入，这种方式结构简单，维护方便，技术成熟，和县市区目前的网络可以很好的兼容。MSTP设备直接提供以太网口，为IP城域网设备提供点到点传输通道，也可以提供共享带宽的传送通道，这样网络边缘的IP城域网节点就可以通过以太网中继直接和核心节点相连。三、 接入层（单位接入节点）接入层包括市大楼内各部门和地市工商局，省工商大楼内的通过大楼内的汇聚设备接入核心网络，地市工商通过本地汇聚设备接入核心设备选型一、选型原则为了实现企业局数据中心设计与建设目标我们在本次网络设备选型时遵循以下基本建

15、网原则：1、所选用的关键设备具备电信级设备的要求和指标，具备较强的高可靠性（Reliability）、高可用性（Availability）、可缩放性和高服务性，全部网络设备均符合国家和国际标准，具有国家颁发的网络设备入网证件。所选用的网络设备其遵循的组网技术和设备符合国际标准、国家标准和业界标准，为网络的扩展升级，与其他网络的互联提供良好的基础。 2、企业局数据中心外网需选用在市场上经受过实际应用考验，得到广大用户认可的成熟技术与产品。同时应具有一定的先进性，采用国际上先进同时又是成熟、实用的技术，尽量减少技术风险。 3、具有良好的可扩展能力和互联互通互操作特性，所选用的网络设备应易于扩展和升

16、级，便于与其他厂家的产品互联互通互操作，具有良好的业务种类扩展能力，网络设备具备易于技术升级。同时保护原有的投资。4、良好的管理性能，所选用的网络设备可以在配置、性能、故障、安全等方面得到很好的监视和控制，并可以进行远程管理。5、性能优良、配置合理、具备良好的性能价格比和扩充能力6、选用的设备必须很好地满足用户需求, 保证良好的系统性能。确保优良的性能价格比。7、有良好的售后服务体系.二、核心路由器的选型核心路由器内部连接着数据中心，外部连接着各县市区，因此我们必须部署一台高性能，高可靠性的电信级产品来担当此任，而且该产品要具备丰富的接口提供能力，广泛全面的协议支持能力。至少配置2个155M

17、CPOS接口， 6个单模千兆以太接口，6个多模千兆以太接口，16个单模百兆以太接口以及10个以上百兆以太网电接口来提供周边的接入。提供硬件支持的IPv6转发，将来部署IPv6不需重新购买IPv6硬件设备，充分保护用户投资。基于分布式硬件处理，提供高品质、安全和全面的MPLS VPN解决方案；提供高效率的组播转发能力。各关键部件包括路由处理系统、交换网系统、时钟系统、电源、管理总线全部为冗余热备份，实现基于状态的热切换和不间断的路由转发；所有组件支持热插拔；采用无源背板设计；提供IP/MPLS快速重路由、虚拟路由冗余协议（VRRP）、RPR自愈环网(IPS)等保护机制，保证全网运行的高速可靠。三

18、、核心交换机的选核心交换机主要负责平台服务器的接入和网管中心的接入，如果核心交换机一旦出现故障，将会导致工商数据中心的所有业务不能正常运行，所以，核心交换机的可靠性是非常重要的。至少配置48个10/100/1000M自适应电口，24个1000M光口，电信级骨干模块化路由交换机，支持双引擎，冗余电源，硬件支持MPLS VPN、IPv6和10G平台，具有丰富的协议。基础架构数据中心的平台主要基础架构包括：服务器、系统管理和基础软件等内容，数据中心内部基础架构如下图：基础架构设计数据是整个数据中心的核心，存储设备是数据保存的载体和基础，光纤网络和以太网络提供的数据传输的通道，各种服务器及业务软件提供

19、了数据的使用和展现方式。考虑到本地高可用和异地容灾的需要，基础架构设计主要考虑以下方面内容。存储光纤通道提供比IP网络更可靠的数据传输和延迟保障，因此本次选择使用光纤SAN存储作为核心存储设备。根据业务的压力和容量需求，分别采用不同的RAID配置模式进行存储配置。通常使用的RAID类型为RAID10，RAID5和RAID6，主要区别和选择原则如下表：RAID类型性能安全性空间利用率应用场景RAID10最高全镜像50%高性能应用和重要数据保存，如数据库RAID5写性能低于RAID101个校验n-1是一种存储性能、数据安全和存储成本兼顾的存储解决方案。RAID6写性能低于RAID52个检验n-2文

20、件存储，低速大容量磁盘使用较多对于数据库系统建议使用高速SAS磁盘采用RAID10的方式，提供更高的安全性和更高的访问性能，对于FTP等应用，可以使用低速大容量磁盘采用RAID6或RAID5的方式进行配置。考虑到数据本地容灾的的需求，应采用两套存储做数据镜像的方式共同提供服务，防止存储系统的单点故障，高端存储设备价格昂贵，存储设备自身镜像功能会降低存储的性能，导致同等业务系统在使用存储镜像的模式下会要求更高档次的存储，因此建议采用支持镜像模式的集群文件系统实现数据镜像功能，以便于容量的扩充和异地容灾的实现并能很好的支持异构存储模式，并且能够在不影响存储性能的条件下使用快照等数据恢复功能。服务器

21、数据库服务器应充分评估业务压力，并采用成熟的运行在集群文件系统上的数据库集群（如运行在storage foundation HA下的Oracle RAC）的方式提供高可靠功能，减低远程容灾或双活数据中心的成本，方便之后的扩充。应用服务器可以通过虚拟化的方式进行部署，加快部署的进度和后期维护的复杂度，对富媒体应用应使用带有GPU计算模式的高性能服务器进行虚拟化部署。虚拟化的部署方式可以有效的降低能耗，减少机柜空间占用，降低空调制冷成本和运维成本。安全为保证数据和业务的安全并对人员行为进行控制，应在数据中心部署入侵检测系统、漏洞扫描系统弄、企业级防病毒系统、审计系统及身份认证系统和集中管控系统。备

22、份系统4、基础软件基础软件主要包括操作系统、数据库管理软件，应根据业务需求选择相应的软件和授权类型。设备选型存储设备存储设备是数据的载体，是数据中心中的核心设备之一，存储设备的性能和是否能稳定可靠运行对业务运行和数据安全有直接的影响。因此应选择全冗余的双活或多活控制器，冗余电源和风扇，带有硬件RAID芯片，提供充足的FC接口和方便的管理模式，提供多种RAID支持并有良好的售后服务体系的产品。服务器相对于各种昂贵的小型机，X86服务器部署成本低、管理和运维简单、后期维护成本低。各种集群的部署可以基本消除服务器单点故障对业务的影响。因此建议对于各种服务器应根据具体需求选择适当配置的X86服务器，主

23、要从CPU数量和类型，内存容量，各种外部接口和可扩展性为标准进行选择。SAN网络应根据业务服务器和存储设备及其他需要由FC连接的设备统计所需FC端口数量，选择合适的光纤交换机，端口数量应为以后的扩容保留部分空闲端口。软硬件清单设备规格数量备注服务器规格1服务器规格2服务器规格3存储规格1存储规格2SAN Switch规格2路由器规格1三层交换机规格2交换机规格备份一体机规格1防火墙规格2网闸规格1身份认证设备规格1软硬件一体审计设备规格1软硬件一体网管平台规格1软硬件一体入侵检测设备软硬件一体Linux系统Windows 系统数据库管理软件GIS平台软件虚拟化软件企业级防病毒软件备份设计备份方

24、式备份方式主要有以下几种：LAN备份，通过网络将备份数据经备份介质服务器写入备份设备，该种方式成本低，但会占用较大网络带宽。LAN Free备份，备份数据通过SAN网络接入备份介质，成本较高，但对业务网络没有影响，可以有效的降低备份窗口。Server Free备份，不占用备份服务器的资源，不影响业务服务器性能，成本最高。备份方案选择根据备份客户端的FC HBA卡的配置情况，数据备份可以采取LAN-Free（SAN备份）结合Backup over LAN（局域网备份）的备份方案。在物理连接方案上，备份管理服务器和备份设备通过FC卡联入SAN网络环境。在SAN交换机上建立独立的备份zone，备份的

25、数据如经过SAN交换机传递，均从备份zone所设的端口流入或流出，这样与生产zone分离，备份的数据与生产数据不会造成相互影响和冲突。另外，备份管理服务器通过与核心业务系统带外网络LAN连接，连入的管理LAN中。在备份方案选择方面，企业某Zone中的服务器可以采取LAN-free或Backup over LAN的方式进行数据备份，分别描述如下：Backup Over LAN方式采用该备份方式的服务器，没有配置FC HBA卡，不能够访问SAN网络环境。在备份时的控制信息和数据信息均通过管理网传至备份管理服务器，备份管理服务器接收控制信息和数据信息并将备份数据写入备份设备；LANFree方式采用该

26、备份方式的服务器，配置有FC HBA卡，接入到SAN网络环境中。在做数据备份工作时，仅备份时的控制信息通过管理网传递至备份管理服务器用于数据的管理，而备份的真实数据则通过FC卡和SAN交换机直接写入带库（即LAN-Free方式）。因此，不存在备份数据对网络造成较大压力问题。构建统一的备份管理平台在数据中心和容灾中心之间构建统一的备份管理平台，在两地各部署一台备份一体机，先将数据备份在本地然后实时复制到异地，避免了人工搬运和维护多各平台的问题。备份实现的要求根据备份方案说明，在实现备份系统架构时，要求如下：对SAN网络要求在SAN网络环境规划和设计时，要求建立独立的备份Zooning，并与生产Zoonging相隔绝。对备份客户端要求如果备份客户端采用LANFree方案备份，建议备份客户端配置3块FC HBA卡，其中一块专门为备份使用（与和外置存储盘阵相连接的FC卡区分开来）异地备份实现在企业生产和容灾中心各部署一台symantec NBU一体机，即可在两个备份域中（生产中心和异地灾备中心）实现基于全局重复数据删除技术的备份数据远程优化复制，在窄带宽条件下轻松实现数据级异地灾备，同时在复制过程中自动同步并导入备份索引信息，便于异地容灾中心数据自动恢复，避免繁琐的人工导入工作。 数据中心通过数据重删后自动复制到异地数据中心进行多份拷贝保留；当本地数据出现错误或者事故而导致无法恢