政务数据中心初步设计方案_第1页
政务数据中心初步设计方案_第2页
政务数据中心初步设计方案_第3页
政务数据中心初步设计方案_第4页
政务数据中心初步设计方案_第5页
已阅读5页,还剩82页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

项目建设的意义和必要性建设意义政务数据中心建设是城市在推进产业和城市信息化进程中重要的探索实践。在城市产业升级、信息化升级、社会管理模式升级的关键阶段,项目的成功建设将为城市完善信息化支撑能力,奠定发展基础。平台建设将进一步弥补城市市目前在政务信息化的不足,强化重点政务信息化应用系统的互联共享,保障信息系统的长效运行。通过采用新型的技术框架,充分利用平台资源,摆脱了政务数据中心建设投入高,实际效用低的问题,有效盘活数据资产,激发数据潜能,实现了政务数据的规范治理和综合利用,有助于打破政务信息化建设中普遍存在的孤岛问题,推进跨领域、跨部门的数据价值挖掘,培育新型数据应用,提升城市市整体信息资源应用水平,促进城市城市治理能力的科学发展。必要性分析强化政务信息化安全,保障政务工作稳定运行的需要目前我区缺少统一的政务数据基础设施,各部门信息化系统不仅面临标准不统一,安全隐患大的问题,多头建设、重复投入也造成了很大的资源浪费。建设政务数据平台,形成面向全区政务信息化服务的基础设施,将有效强化我取的政务信息化安全,保障各部门的信息化系统能长久、持续的运行和提供服务。建设政务信息资源池,实现信息资源有效利用的需要当前各业务部门基本以自身的业务要求出发,由于没有建立规范的数据共享机制、数据交换流程,即使知道信息归属部门,往往也不能及时从其他部门获取所需要的有用信息。通过对备份信息资源的汇聚和治理,可以将分散在各业务系统的原始信息资源形成统一的、完整的、有序的信息资源,并实现跨行业、跨部门、跨区域的数据共享和综合应用。随着项目建设的深化,可以逐步面向社会将封闭的信息开放化、共享化、价值化,满足公众个性化、多样化的服务需求,推进开放型政府建设。挖掘信息资源价值,提升城市治理效能的需要目前城市各应用系统都运行在各自的部门,信息资源的加工、使用、维护也由相应的权属单位负责,形成了事实上的“信息孤岛”,信息资源的开发利用也存在较大的差异。随着城市化进程的深化,对实现城市综合化治理的要求也更迫切,这就需要能对各部门数据进行整合和关联,深入挖掘信息资源的最大价值,形成跨领域、综合化的新型应用,更好的为城市治理和科学决策提供依据,提升政府管理效能。引导促进信息消费,培育新的经济增长点的需要通过平台的建设,可以建立新型的数据开发利用体系,引导和推动信息资源的社会化开发利用,为政府、企业和公众提供创新平台,丰富信息产品和信息消费内容,构建具有完整产业链的信息消费环境。拓展新兴产业形态,增强信息产品供给能力,培育信息消费需求,从而发挥信息的经济化价值,有力促进经济结构转型,在创新蓬勃发展的同时,促进城区产业及经济的发展。需求分析总体需求随着政务信息化综合水平的提升,政务信息化系统在城市的日常运行和管理工作发挥着日益重要的角色。通过综合运用现代技术、整合信息资源、统筹业务应用系统,提高城市管理和服务水平,成为了城市政务信息化建设的主旋律。建设数据中心安全基础设施,强化政务信息资源安全随着信息技术的发展,尤其是互联网和移动互联网技术的兴起,信息安全事件也层出不穷,如保密信息被窃取、信息内容篡改等问题经常出现。城市市政务信息化经过了一定时期的发展,已经取得了良好的建设成效,但在能力上仍有缺失,资源和能力比较分散,难以对政务系统起到良好的保障。在当前,加快推进区域政务数据中心建设,提升信息安全防护和应急响应能力,保障信息资源安全显得尤为迫切和必要。建立城市数据治理体系,盘活政务信息资源随着近年来电子政务工程建设和发展,各委办局习惯于“从头至尾”建设和管理模式,形成信息烟囱,随着应用深入,造成“四有四少”的现象:“有数据、少共享”、“有应用、少融合”、“有需求、少渠道”、“有方法、少标准”,为解决上述现象,迫切需要建立横向跨部门、纵向跨层级、矩阵式的信息资源治理框架,建成标准化、开放化、简单化、集约化的政务信息资源治理体系,有效提升政务信息资源的可用性,鼓励跨部门的信息资源共享和利用。创新政务信息资源的应用模式,激发数据活力政府部门一直是数据资源的“强势”占有者,囊括了人口、交通、卫生、社保、税收、城市规划等方方面面。盘活这些资源,对于转变政府职能、提高行政效能,大有裨益。传统信息化建设中,对政务信息资源的开发利用往往还停留在条线部门内部,一是缺乏横向的资源整合和综合利用,二是各部门在开发利用理念和技术手段上参差不齐,无法充分发挥政务信息资源的价值和效用。如何及时转变思路,建立一套能有效承载政府信息资源开发利用的计算平台将成为城市政务信息化建设的一个重点。促进城市治理思路转型,推动服务型政府建设国务院总理李克强在政府工作报告中,把加快转变职能、简政放权作为本届政府开门第一件大事,推动管理中心下移,形成能放则放、放管结合、以放为主的管理格局,围绕建设服务型政府工作要求,做到放权与简政提效相结合,与便民利企相结合,最大限度地为基层、为企业、为群众提供优质、便捷、高效的服务。传统的政府部门业务和信息化建设模式具有很强的“条块分割”特性,“部门割据”、“信息孤岛”的现象严重,集中体现在不同领域、不同部门间业务协同程度低,不通气、不配合的情况时有发生,即降低了工作效能,也给被服务对象带来了种种不便,政务服务的公众满意度难以提升。在新形势下,借助信息资源的开放共享、综合应用,打通数据壁垒,将有助于提升部门工作的协调度,有效减少重复性工作,有助于推进各部门决策模式的转型,以数据治国、数据治市,逐步实现服务型政府的工作要求。业务管理需求增强政务信息资源安全政务信息资源是政府宝贵的数据资产,一些政务信息直接涉及政府的核心秘密,关系到政府部门、各大系统甚至整个国家和政党的利益与安全,而在实施行政监管和用户服务中所形成的个人信息(自然人和法人),如户籍、纳税、社保、信用等信息,也关系着提供者的利益。随着网络的广泛普及,电子政务系统及其传递的政府资源面临着日趋严峻的安全威胁,亟需建立一个统一、可靠平台,为全市的政务信息化系统运行保驾护航。实现政务信息资源汇聚共享信息共享是提升政府工作效率和工作质量的主要手段。要遵循一定的原则、规范、标准把信息资源进行整合,使得资源有序化,消除信息孤岛,各个参与信息共享的业务部门互利互惠,在城市管理工作中及时获取其他部门相关的信息资源,提升工作效率。信息共享过程中需要确保信息资源管理职责明确,信息资源能够充分共享,避免由于信息资源的多头管理造成的数据不统一、准确性差造成的工作质量低下。信息共享也是改善民生服务的主要手段。社会服务便捷化:打破业务部门对信息的独占,要能够依靠平台的信息共享能力,实时调取各类信息资源,减少居民办事过程中各项繁琐手续。社会服务均等化:通过平台汇聚有限资源,扩大信息共享范围,实现资源利用最大化,解决由于资源不足造成的社会公共服务不均等。推进信息资源有效治理信息资源统筹管理是提高政府决策科学化的前提。政府需要通过智慧城市整合各类信息资源,形成城市运行数据库,不同层次的城市管理者在决策时对于数据的需求范围和需求数量是有很大差别的。只有对跨越时空、跨越部门的信息资源进行全面管理,并具备深度挖掘分析能力,为政府提供城市全景视图,用数据说话,提供发展趋势预测,用才能够为各级政府决策提供依据。信息化建设需求本期项目将为城市市构建统一的电子政务公共平台,实现对电子政务云平台上现有系统的采集和数据汇聚,保障数据安全,实现数据开发利用。数据平台功能需求利用政务数据中心的资源和能力,对进入数据中心的信息资源进行有效治理,形成全区统一的政务信息资源库,形成数据分析、挖掘能力和应用支撑能力,提升对政务信息资源价值的发掘和利用,为后续信息化应用建设提供支撑。数据存储实现对信息资源的统一存储和合理规划,根据不同数据结构、不同数据处理阶段需求,配置合理的存储资源设计,实现可靠的数据存储。数据存储及数据库设计上要考虑支持结构化、半结构化、非结构化数据的存储,要考虑到对数据分析挖掘和开放服务的应用场景需要。数据整合实现对汇聚数据的有效整合:通过进行清洗、转换、集成,构建规范化的政务信息资源库,通过数据加工、数据整合、数据关联等功能,能够动态配置实现各类不同主题的信息处理,提升数据的价值,实现数据向信息的转变。数据管理数据更新管理平台的数据源是随时变化的,这就要求数据要按照不同规则进行更新,以保证数据的准确性。系统要支持不同更新周期数据按照既定策略及时更新,包括实时更新、准实时更新、定期更新。数据质量管理需要建立数据质量管理的指标体系及支撑功能,支持自动或手动对数据进行维护,保证数据有效性。元数据管理建立有效的元数据管理能力,实现政务信息资源的标准化,增强保障政务数据可用性。数据编目建立信息资源目录的管理模式,实现对数据的统一管理,有效支撑信息资源的共享交换和挖掘利用。数据中心管理需求数据中心管理工作应安排专人负责,负责制订数据管理策略,组织实施备份、恢复操作,指导数据介质的取放、更换和登记工作。日常数据操作可由数据管理人员或机房值班人员完成。性能需求故障处理要求:要求系统7*24不间断工作,平均年故障时间少于20小时。一旦故障发生,能够迅速恢复,并且保证不丢失重要数据;从生产端开始的数据复制,必须要有一致性保证机制,使得数据中心的数据可用,接管业务时可以瞬间打开数据库或应用系统。运行环境需求网络系统需求作为整个系统的基础设施支撑部分,网络系统采用模块化、层次化的结构设计,在追求性能优越、经济实用的前提下,本着严谨、慎重的态度,从系统结构、技术措施、设备选择、系统应用、技术服务和实施过程等方面综合进行系统设计,保证网络系统本身的高性能、高安全、高可靠、可扩展性以及与其它各个系统模块良好的兼容性。计算系统需求政务数据中心采用了云计算及分布式计算相结合的技术架构,针对平台的海量数据分析和挖掘的需要,要求IT基础架构平台具有极高的数据处理能力和并发访问能力,而居于核心地位的数据库服务器、Hadoop计算服务器、数据采集服务器等更是关键的关键。因此,服务器的选择与配置要从多方面考量,包括技术思想、资源分配方案、处理器能力、内存量、操作系统设计、I/O能力、结合相关应用软件的运行评测情况等。存储系统需求数据中心建设应分为两个部分,一是以传统数据共享存储为主体,构建面向传统结构化数据应用的存储系统;二是以服务器本地存储为主体,通过构建分布式文件系统,形成平台数据存储的主体,构成了平台最主要的存储系统。存储系统的设计应采用可伸缩的拓扑结构,通过具有高传输速率的连接方式,具有较高的节点扩充性和传输速率,并应具有跨平台整合性,同时要避免一些常见的网络瓶颈。运行环境管理需求数据中心的各类资源数量众多,如何有效的管理这些网络资源、计算资源、存储资源,保证整个系统提供不间断的服务是巨大的挑战。需要向下管理基础设施、方便灵活的分配调度资源;向上承载各种数据分布式处理、计算的需要,能够有效调度各类分布式计算资源;对外提供容服务及各类数据处理服务。需要使大量的资源协同工作,方便的进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现运行环境的可靠管理。信息安全需求本次对政务数据中心的安全规划按照《信息系统安全保护等级基本要求》的三级标准进行建设,通过对电子政务的安全现状的调研,有重点地对安全体系进行设计。物理安全需要基于物理位置、访问控制、防盗、防破坏、防雷击、防火、防水、防潮、防静电、温湿度控制、电力供应以及电磁防护的整体安全防护要求,实现全面的物理安全。网络安全需要基于网络结构、访问控制、边界完整性检查、入侵防范和网络设备防护的具体内容进行整体安全防护。主机安全需要基于安全审计、漏洞扫描的具体内容进行整体安全防护。应用安全需要基于应用身份鉴别、访问控制、安全审计、通信完整性、保密性、软件容错和资源控制的具体内容进行整体安全防护。数据安全需要基于数据完整性、保密性的具体内容进行整体安全防护。总体设计逻辑架构根据对政务信息建设现状的理解,政务数据中心需要同时在政务外网、政务网上构建资源池,提供支撑服务。平台逻辑架构如下图所示:基础设施平台基于云计算技术建立数据中心的基础设施平台,提供基础设施服务(IaaS),实现对基础设施资源的统一管理。构建包括网络资源池、服务器资源池、存储资源池、分布式计算资源池、分布式存储资源池在内的五大资源池。基础设施平台的资源能够通过IT运维管理平台进行统一管理。数据管理平台数据管理平台提供了对数据全生命周期的治理能力。数据管理平台中建立了采集层、存储层及管理层,采集层提供了基于数据接口及系统两种方式的数据采集手段,能够实现信息资源的有效汇聚;存储层规划设计了原始库、整合库、主题库,面向不同处理阶段的数据提供有针对性的存储和应用方案;管理层重点针对政务信息资源长期存在的数据规范性问题进行整合和治理,并为数据质量提供保障。IT运维管理平台IT运维管理平台实现了对基础设施平台的硬件资源、网络资源、虚拟资源、存储资源、软件资源的运行和使用情况的监控和管理,支持各类资源的动态申请、动态调度、动态回收和动态扩展,并面向用户提供了多种管理、维护和服务功能,包括服务申请、服务计量等。综合数据示范应用基于平台对政务数据的汇聚、治理和挖掘能力,提供对城市整体环境情况全天候的展示和监测,提供城市现阶段重点指标情况的综合展示,并可形成地区产业发展情况的宏观报告。物理架构如图所示,本次政务数据中心分为政务外网平台和政务网平台。政务外网平台通过存储虚拟化技术和远程数据复制技术实现对政务云计算平台上政务外网的业务数据服务。政务网平台通过存储虚拟化技术和远程数据复制技术实现对政务云计算平台上政务网的业务数据服务。关键技术在技术架构上,既考虑了技术的适用性、也考虑技术的先进性和可扩展性,主要的关键技术有:Hadoop分布式技术Hadoop是一个能够让用户架构和使用的分布式计算平台。用户可以在Hadoop上开发和运行处理海量数据的应用平台。它主要有以下几个优点:1)高可靠性。Hadoop支持分布式存储和分布式运行机制,各运行节点独立存储、运行和互为备份,任何一个或一部分节点出现问题都不影响整个Hadoop的整体运行机制。2)高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。3)高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。4)高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。5)低成本。Hadoop是开源的并且设计用来部署在一般的PCServer服务器的硬件上。Hadoop是目前主流的,技术成熟的分布式存储和计算框架,并且在开源的基础可以做更多的扩展和适应性改造,目前应用活跃,遇到问题容易解决等优势;这些都是大数据管理平台采用Hadoop作为分布式云计算框架的基础。Hadoop作为大数据管理平台一个核心应用,大数据管理平台建设为了更好的满足应用需求和结合Hadoop的性能、功能,采用Hadoop的HDFS作为分布式大数量存储的核心;因为旧版本的Map/Reduce存在集群节点无法无限扩展、存在级联故障等问题,大数据管理平台建设采用YARN来作为分布式并行计算的框架,YARN是Map/Reduce的升级版,解决了旧版本的Map/Reduce存在的问题,并新增了插件管理机制,可以插件机制增加、删除其他开源架构,更容易进行开发扩展和定制。大数据管理平台通过对Hadoop的定制来满足实际应用的需求,通过开发分布式计算程序来提供和支持云计算和大数据的分析挖掘。Hive数据仓库技术Hive是基于Hadoop的一个数据仓库的应用,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为YARN任务进行分布式并行计算运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的YARN统计,不必开发专门的YARN应用,十分适合数据仓库的统计分析。数据仓库是大数据管理平台的一个重要应用,数据仓库存储大数据管理平台挖掘的各种主题数据,数据仓库是大数据管理平台提供数据服务的一个主要数据源。大数据管理平台对Hive的访问接口进行封装,通过JAVA编程可以很容易的和Hive交互,把Hive数据仓库和整个大数据管理平台集成,充分把Hive的易用性等功能和Hadoop的分布式并行计算和可靠性等结合在一起。网络虚拟化技术随着网络应用越来越广泛,网络规模越来越大,大量的网络设备构成的复杂网络系统,造成管理成本不断提高,同时降低了网络的可靠性和使用效率。通过多虚一的网络虚拟化技术,将多台网络设备虚拟为一台逻辑设备,可以简化网络拓扑,将网络上各设备之间的协同工作转化为设备内部处理,从而提高网络管理及运行效率,让网络重回简单。另一方面,当需要在网络系统中增加新的网络设备时,多虚一虚拟化不会改变网络拓扑结构,仅相当于逻辑设备更大、具有更多的端口数、更大的带宽和处理能力。多虚一的虚拟化使设备具有了强大的扩展能力,当用户进行网络升级时,只需要增加新的设备,无须替换原有设备,无须更改网络结构和配置,无须中断网络业务,大大提升了网络系统的灵活性和扩展性,降低总体拥有成本。存储多路径技术当主机到存储设备有多条路径时,主机可通过多条链路访问到存储设备的同一个LUN,这样一个LUN就会被映射成多分给主机的操作系统,主机端会看到多个相同的物理LUN;通过存储多路径技术,会在硬盘驱动和两个HBA卡之间生成一个虚拟的HBA,使得磁盘驱动只看到一个虚拟磁盘,然后映射给主机使用。多路径技术还有以下作用:冗余切换功能—当主路径故障后自动将业务切换到备用路径上,避免单点故障导致业务中断。冗余回退功能—当主路径故障恢复后,系统自动将I/O传输路径切换回主路径上。负载均衡功能—可以在多条路径之间智能分摊I/O,均衡I/O负载。远程镜像技术远程镜像技术是在主数据中心和备援中心之间的数据备份时用到。镜像是在两个或多个磁盘或磁盘子系统上产生同一个数据的镜像视图的信息存储过程,一个叫主镜像系统,另一个叫从镜像系统。按主从镜像存储系统所处的位置可分为本地镜像和远程镜像。远程镜像又叫远程复制,是核心技术,同时也是保持远程数据同步和实现灾难恢复的基础。远程镜像按请求镜像的主机是否需要远程镜像站点的确认信息,又可分为同步远程镜像和异步远程镜像。同步远程镜像(同步复制技术)是指通过远程镜像软件,将本地数据以完全同步的方式复制到异地,每一本地的I/O事务均需等待远程复制的完成确认信息,方予以释放。同步镜像使远程拷贝总能与本地机要求复制的内容相匹配。当主站点出现故障时,用户的应用程序切换到备份的替代站点后,被镜像的远程副本可以保证业务继续执行而没有数据的丢失。但它存在往返传播造成延时较长的缺点,只限于在相对较近的距离上应用。异步远程镜像(异步复制技术)保证在更新远程存储视图前完成向本地存储系统的基本I/O操作,而由本地存储系统提供给请求镜像主机的I/O操作完成确认信息。远程的数据复制是以后台同步的方式进行的,这使本地系统性能受到的影响很小,传输距离长(可达1000公里以上),对网络带宽要求小。但是,许多远程的从属存储子系统的写没有得到确认,当某种因素造成数据传输失败,可能出现数据一致性问题。为了解决这个问题,目前大多采用延迟复制的技术(本地数据复制均在后台日志区进行),即在确保本地数据完好无损后进行远程数据更新。存储虚拟化技术存储虚拟化将分散的物理存储资源整合抽象成单一逻辑资源池,使得管理员仅以单一的逻辑视图对存储资源进行识别、配置和管理。虚拟化将存储资源的物理特性隐藏起来,对于用户来说虚拟化的存储资源就像是一个巨大的“存储池”,而不必关心其背后的物理存储设备。存储虚拟化是存储整合的一个重要组成部分,它能减少管理问题,而且能够最大化存储利用率,减缓存储需求,这样可以降低新增存储的费用。如果没有存储虚拟化,只能分别管理物理存储设备,不仅管理复杂性很大,并且容易造成存储资源的浪费。存储虚拟化是通过将一个(或多个)目标服务或功能与其他附加的功能集成,统一提供有用的全面存储服务。典型的虚拟化包括如下一些情况:屏蔽系统的复杂性,增加或集成新的功能,仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上,而这些实体则是用来提供存储资源或服务的。存储虚拟化是一个抽象的定义,它并不能够明确地指导用户怎么去比较产品及其功能,这个定义只能用来描述广义的技术和产品。存储虚拟化同样也是一个抽象的技术,几乎可以应用在存储的所有层面:文件系统、文件、块、主机、网络、存储设备等等。存储虚拟化可以在三个不同的层面上实现:基本专用卷管理软件在主机服务器上实现,或者利用阵列控制器的固件在磁盘阵列上实现,或者利用专用的虚拟化引擎在存储网络上实现。。分布式存储技术分布式存储系统采用Master/Slave的主从结构。一个分布式存储系统集群是由一个主控节点(Namenode)和一定数量的数据节点(Datanode)组成的。主控节点是一个中心服务器,是整个存储系统的大脑,它负责管理存储系统的命名空间(Namespace)和客户端对文件的访问。数据节点在集群中一般是一个节点对应一台服务器,负责管理节点上它们所附带的存储。在内部,一个文件其实分成一个或多个数据块,这些块存储在数据节点集合中。主控节点执行存储系统的命名空间操作,例如打开、关闭、重命名文件和目录,同时决定数据块到具体数据节点的映射。数据节点在主控节点的指挥下进行块的创建、删除和复制。质量保证体系系统质量保证项目建设质量控制是项目建设和管理工作的核心内容之一,项目建设成果质量是决定项目建设成败的关键指标,进行有效的质量控制是本项目其他项工作的基础和前提。为确保项目按进度、按预算、高质量地完成,本项目必须进行全面的质量控制,项目的质量控制工作将贯穿项目全面建设阶段的全过程。在数据建设方面,数据获取流程包括数据采集、数据整理、内部审核、质量检查与验收四个环节。各环节均设置有质量控制措施,各阶段完成后形成工作报告,通过完整的流程工作记录,确保流程顺畅衔接,保证入库数据质量。在软件系统建设方面,软件测试是项目质量的重要保证,在本项目中,将着重进行以下三类测试:内部测试、用户方业务人员测试以及压力测试。从而在最大程度上保证软件成果的质量。系统遵循标准网络系统标准《国家电子政务网络技术和运行管理规范》(GB/T21061-2007)。《综合交换机技术规范》(YD/T1123-2001);《基于IP网的信息点播业务技术要求》(YD/T1130-2001);《基于包的多媒体通信系统呼叫信令协议及媒体流打包技术》(YD/T1131-2001);《信息技术互连国际标准》(ISO/IEC11801-95);《防火墙设备技术要求》(YD/T1132-2001);《数据通信名称术语》(YD/T1133-2001);《开放系统互连安全体系结构》(YD/T849-1996);《消息处理系统消息存储抽象服务定义》(YD/T802-1996);《中国公用计算机互联网工程设计暂行规定》(YD5037-97);《信息技术互连国际标准》(ISO/IEC11801-95);《信息技术、软件包质量要求和测试》(GB/T17544-1998)。信息资源标准《政务信息资源目录体系》(GB/T21063.1-2007);《政务信息资源交换体系》(GB/T21062.3-2007);《信息分类和编码的基本原则与方法》(GB/T7027-2002);《分类与编码通用术语》(GB/T10113-2003);《信息技术信息交换用汉字编码字符集基本集的扩充》(GB18030-2000);《电子政务主题词表编制规则》(GB/T19486-2004);《数据元和交换格式》(GB/T7408);《文献保密等级代码》(GB/T7156-2003);《信息技术通用多八位编码字符集(UCS)》(GB13000.1-1993);《数据元和交换格式信息交换日期和时间表示法》(GB/T7408-1994(EQVISO8601:1988));《电子政务数据元素》(GB/T19488.1-2004);《超文本传输协议标准》(RFC2616-1999)。信息安全标准规范《计算机信息系统安全专用产品分类原则》(GA163-1997);《计算机信息系统安全产品部件(安全功能检测)》(GA216.1-1999);《计算机信息系统安全保护等级划分准则》(GB17859-1999);《路由器安全技术要求》(GB/T18018-1999);《信息技术包过滤防火墙安全技术要求》(GB/T18019-1999);《信息技术应用级防火墙安全技术要求》(GB/T18020-1999);《网络代理服务器的安全技术要求》(GB/T17900-1999)。应用系统的软件开发标准《软件工程标准分类法》(GB/T15538-1995);《软件开发规范》(GB8566-88);《软件维护指南》(GB/T14079-93);《计算机软件产品开发文件编制指南》(GB8567-88);《计算机软件测试文件编制指南》(GB9386-88);《计算机软件测试文档编制规范》(GB/T9386-2008)《计算机软件文档编制规范》(GB/T8567-2006);《计算机软件需求规格说明规范》(GB/T9385-2008);《计算机软件配置管理计划规范》(GB/T12505-90);《计算机软件质量保证计划规范》(GB/T12504-90);《质量管理体系要求(idtIS09000:2000)》(GB/T19001);《计算机软件可靠性和可维护性管理》(GB/T12394-2008)。基础设施平台设计总体技术架构项目建设采用主流、先进、可扩展的基于云计算的大数据技术架构来支撑平台的建设,项目的主要技术特性是基于X86和开源软件的基础设施,支持海量数据存储能力(PB级),海量数据秒级查询,高可行性,存储能力动态、线性扩展。总体技术架构如下图所示:基础设施平台设计设计原则根据建设的需求,本着完整性、开放性、兼容性、安全性、稳定性、可管理性、经济性的总体设计原则,进行整体的建设方案设计。成熟性与适用性原则在满足设计目标要求的基础上,选择切合技术架构、软硬件环境特点以及运维特点的技术路线。选择具有多个案例的成熟技术产品,保障技术架构的稳定性。经济性原则按照云平台各子服务和数据的重要程度和急迫程度,进行能力分级设计,在满足关键服务资源快速恢复的要求下减少成本投入分析云平台生产环境基础架构功能和特点,在满足功能需求的同时,优化资源配置,节省投资易操作性与扩展性选择切换操作方便、时间快捷的技术路线与架构;选择日常维护方便、有可扩展性的技术路线与架构;选择资源能够统一管理的架构模式,方便管理,资源池易于扩展必要改造,但尽量减小对生产环境的影响。选择对生产环境日常运行影响最小的技术路线按照业界最佳实践,对生产进行必要的改造,改造时可兼顾生产环境优化,但整体架构设计需要遵从对生产影响最小原则。产品选型原则高可靠性和高可用性原则硬件平台应稳定、可靠,能够满足要求;选择主流供应商,提供系统高可用性解决方案,设备冗余和板卡冗余技术支持。支持不影响应用程序正常运行的系统硬件和软件的升级维护;整个系统应尽可能减小单点故障的可能性。先进成熟性原则硬件系统应具有产品和技术先进性,先进的产品和技术是未来系统性能的保证。在信息技术飞速发展的今天,选择产品和技术应具有一定的前瞻性,能够适应未来一段时间(5年)业务需求及技术发展变化的需要。同时,尽可能兼顾产品和技术的成熟性,增强系统的整体稳定性。高可扩展性原则随着数据量的不断增大及某些管理的变化,系统平台必须提供足够的可扩展能力以满足未来5年业务增长变化的需要,引入虚拟化技术适应应用的灵活变化。经济性和投资保护原则在选择硬件平台时,应充分考虑现有系统硬件的投资保护,充分利用现有资源。硬件系统必须实用、经济,应该尽量利用现有资源,坚持在先进、高性能前提下合理投资,以期在成本最佳的前提下获得最大的经济效益和社会效益,根据业务需求选择UNIX小型机和PC服务器配合使用,达到较好的性价比。高可管理性原则硬件平台应提供丰富的、图形化的管理工具,便于管理及系统问题诊断。安全可靠原则硬件系统自身需具有一定的安全性,99.99%的可用性,能够满足整体安全策略的要求。同时,还应注重信息安全体系的建设,提高硬件系统的整体安全性,进一步保证数据安全。开放式标准原则硬件需支持业界通用的开放式标准,降低因兼容性问题造成的问题发生率,提高系统的稳定性,满足系统间灵活的信息交互的需要。同时,充分考虑产品可扩展性,满足不断发展变化的业务和技术需求。统一标准化原则硬件系统应坚持标准化的原则,采用业界公认的行业或技术标准,降低管理复杂度。计算资源池设计本期数据中心的网络设计分为政务外网平台和政务网平台,由于政务网平台暂不部署任何政务应用,因此,本期平台的计算资源池设计以外网平台为主。计算资源部署需求分析政务外网平台计算资源部署需求数据整合服务整合服务对业务响应实时性较低、事务大而少,多采用多进程、多线程处理,对计算资源的处理器性能、内存容量以及I/O带宽的要求较高,要求数据库资源有充分的垂直扩展能力,应用计算资源有一定能力横向扩展,数据库计算资源建议选用独立的物理服务器部署,应用计算资源可选用虚拟机的部署。数据挖掘服务数据挖掘服务具有大批量、数据量大、吞吐量大的特点,计算资源需要有较强的横向扩展能力、容错能力,对本地磁盘容量以及网络带宽的要求非常高,需要选用独立的物理服务器并配置大容量本地硬盘部署。数据管理服务数据管理对实时性要求较高,对计算资源的处理器性能、内存容量、I/O带宽的要求较高,要求数据库资源有充分的垂直扩展能力,应用计算资源有一定能力横向扩展,数据库计算资源建议选用独立的物理服务器部署。政务应用服务政务应用服务具有大批量、数据量大、吞吐量大的特点,计算资源需要有较强的横向扩展能力、容错能力,对本地磁盘容量以及网络带宽的要求非常高,需要选用独立的物理服务器部署。平台管理门户门户访问服务具有高并发访问、实时响应要求高的特点,要求计算资源有快速横向扩展能力,可采用虚拟机或物理服务器的部署方式。根据对受理业务种类和特点的分析,得出非常态的业务占主要部分,业务请求并发小,可采用虚拟机部署。运维管理服务对外提供各项服务,对系统使用者也提供各项服务,包括资源管理、服务管理等,计算资源需求不高,可采用虚拟机部署。政务网平台计算资源部署需求数据管理对实时性要求较高,对计算资源的处理器性能、内存容量、I/O带宽的要求较高,要求数据库资源有充分的垂直扩展能力,应用计算资源有一定能力横向扩展,数据库计算资源建议选用独立的物理服务器部署。政务外网平台计算能力估算数据库计算资源选型配置数据库服务器的选型配置选用TPC-C指标作为主机计算资源性能的衡量基准指标,其测试结果主要为TPM-C和$/TPMC,TPM-C为每分钟的标准事务数。原始库项目数值说明用户并发数(秒)150公式:用户并发数*60*交易访问复杂度*业务量发展冗余量/数据库响应时间/服务器CPU处理余量交易访问的复杂度10业务量发展预留30%数据库响应时间(分钟)10/60服务器CPU处理余量50%TPM=1404000考虑到数据的稳定性、可靠性,建议数据库器采用集群模式运行。服务器运行在集群模式下,经验值有20%-30%性能损耗。按此推算,服务器的性能指标应该是1404000/(1-30%)=2005714tpmC因此需要配置计算性能不低于2005714tpmC的计算资源,建议参考配置如下:名称推荐配置数量备注数据库服务器CPU:4颗10核2.4GHz或以上,内存:192GB或以上,硬盘:4块300GB-SAS-15000rpm-热插拔,4块千兆网卡,2块HBA卡4应用系统计算资源选型配置数据管理计算资源数据管理用于描述信息数据资源的属性、特征、定位信息、获取方式、交换范围、权限等级的过程,能够为信息资源的整合和资源定位,建议选用SPECjAppServer2004测试标准进行服务器选配。表STYLEREF1\s4SEQ表\*ARABIC\s13目录管理和元数据管理服务器选型配置目录管理和元数据管理服务器选型配置项目数值说明用户并发数(秒)150公式:用户并发数*并发里包含的应用请求数*系统复杂度并发里包含的请求数5系统复杂度3JOPS=2250考虑到系统需要预留30%处理能力,实际的SPECjAppServer200=2250/0.7=2812JOPS。政务应用计算资源本次部署的政务应用均采用B/S架构设计,建议选用SPECjAppServer2004测试标准进行服务器选配。政务应用服务选型配置项目数值说明用户并发数(秒)50公式:用户并发数*并发里包含的应用请求数*系统复杂度并发里包含的请求数4系统复杂度6JOPS=1200考虑到系统需要预留30%处理能力,实际的SPECjAppServer200=3600/0.8=1500JOPS。平台管理门户计算资源平台管理门户作为数据中心对外信息展示及平台运维的窗口,采用Web方式为政府工作人员提供统一的登录入口,因此建议采用SPECweb2005测试标准作为平台门户服务器的选型标准。平台门户服务器选型配置项目数值说明在线用户数1500公式:(在线用户数*在线率*在线用户平均发起http请求数)/服务器响应时间在线率20%http请求数10门户服务器响应时间0.3SPECweb2005_Banking=10000考虑到系统需要预留30%处理能力,实际的SPECweb2005_Banking=10000/0.7=14285。由于政务应用服务器上部署多个应用服务,因此应用服务器的性能指标不得低于2个应用服务的性能之和,以数据管理服务和政务应用服务的计算性能之和为基准要求,应用服务器的。名称推荐配置数量备注应用服务器CPU:4颗10核2.4GHz或以上,内存:192GB或以上,硬盘:4块300GB-SAS-15000rpm-热插拔,2块千兆网卡,2块HBA卡2物理机其他应用计算资源选型配置分布式存储服务器选型配置管理服务器负责维护文件系统所有的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置,基于安全性考虑,建议采用冗余架构,配置2台管理服务器。名称推荐配置数量备注分布式存储服务器CPU:2颗IntelXeon8核2.2GHz或以上,内存:32GB或以上,硬盘:2块300GB-SAS-15000rpm-热插拔硬盘,6块3TB-SATA硬盘,2块千兆网卡2数据整合计算资源数据整合通过依靠交换数据库和交换中间件,提供不同系统的业务数据转换、对比和加载服务,因此数据整合的计算资源选型配置选用TPC-C指标作为主机计算资源性能的衡量基准指标,其测试结果主要为TPM-C和$/TPMC,TPM-C为每分钟的标准事务数。数据整合服务器选型配置项目数值说明每日的数据峰值200000公式:每日的数据交换峰值*数据交换复杂度*未来数据交换增长量/数据交换时间(分钟)/服务器CPU处理余量数据整合的复杂度15数据增长预留30%数据整合时间(分钟)60服务器CPU处理余量50%TPM=130,000根据公布的数据,一台HPML370(2路4核3.1Ghz)的TPC-C值为273,666,因此需要配置2台性能不低于HPML370(2路4核3.1Ghz)的PC服务器,并配置大容量空间的本地硬盘。参考配置如下:名称推荐配置数量备注数据整合服务器CPU:2颗IntelXeon8核2.2GHz或以上,内存:32GB或以上,硬盘:2块300GB-SAS-15000rpm-热插拔硬盘,6块3TB-SATA硬盘,2块千兆网卡2物理机其他服务器选型配置除上述业务系统外,平台还应提供平台管理、服务管理功能,并配置相应的计算资源。参考配置如下:名称推荐配置数量备注管理服务器CPU:2颗IntelXeon6核2.0GHz或以上,内存:32GB或以上,硬盘:2块300GB-SAS-15000rpm-热插拔硬盘,2块千兆网卡2政务网平台计算能力估算数据库计算资源选型配置数据库服务器的选型配置选用TPC-C指标作为主机计算资源性能的衡量基准指标,其测试结果主要为TPM-C和$/TPMC,TPM-C为每分钟的标准事务数。原始库项目数值说明用户并发数(秒)150公式:用户并发数*60*交易访问复杂度*业务量发展冗余量/数据库响应时间/服务器CPU处理余量交易访问的复杂度10业务量发展预留30%数据库响应时间(分钟)10/60服务器CPU处理余量50%TPM=1404000考虑到数据交换的稳定性、可靠性,建议数据交换服务器采用集群模式运行。服务器运行在集群模式下,经验值有20%-30%性能损耗。按此推算,服务器的性能指标应该是1404000/(1-30%)=2005714tpmC。因此需要配置计算性能不低于2005714tpmC的计算资源,建议参考配置如下:名称推荐配置数量备注数据库服务器CPU:4颗10核2.4GHz或以上,内存:192GB或以上,硬盘:4块300GB-SAS-15000rpm-热插拔,4块千兆网卡,2块HBA卡2计算资源选型设计衡量主机性能的基准指标有很多,选用TPC-C指标作为数据库计算资源性能的衡量基准指标,选用SPECweb2005和SPECjAppServer2004作为WEB服务器和应用服务器计算资源性能的衡量基准值。TPC-C是一种旨在衡量联机事务处理(OLTP)系统性能与可伸缩性的行业标准基准测试项目。这种基准测试项目将对包括查询、更新及队列式小批量事务在内的广泛数据库功能进行测试。许多IT专业人员将TPC-C视为衡量“真实”OLTP系统性能的有效指标,在此我们也将估算业务系统所需要的TPM-C值,以此作为基础来选择主机计算资源性能的基准指标。针对Web服务器的SPECweb2005的测试原理是通过多台客户机向服务器发出HttpGet请求,请求调用Web服务器上的网页文件,这些文件从数千字节到数兆字节不等。在相同的时间里,服务器回答的请求越多,就表明服务器对客户端的处理能力越强,系统的Web性能就越好。SPECjbb2004(Java服务器基准)是一种用于评估服务器端Java性能的SPEC基准。该基准实施了JVM(Java虚拟机)、JIT(Just-In-Time)编译器、垃圾收集、线程和操作系统的某些方面。它还可测量CPU、缓存、内存和共享内存处理器(SMP)的性能。本期建计算资源的性能如下:计算类型计算资源性能需求政务网平台物理机数据管理服务SPECjAppServer2004=2812JOPSIT运维管理平台服务SPECjAppServer2004=1400JOPS数据库服务TPC=2005714tpmc分布式存储服务数据容量=90.2TB综合数据示范应用服务SPECjAppServer2004=1500JOPS政务网平台物理机原始库服务器TPC=2005714tpmc计算资源部署设计政务外网资源部署设计本期项目采用物理机部署的计算资源包括:数据库服务器原始库、主题库、整合库作为中心核心应用,对计算资源的CPU、内存以及I/O处理能力以及可靠性、稳定性都有较高要求,建议配置4台高性能机架式服务器,通过数据库集群技术组成高可用的数据库服务。分布式存储服务器数据挖掘采用大数据平台Hadoop技术,对各政务系统的的结构化数据和图片\文档数据进行数据挖掘和关联查询。配置6台机架式服务器,由2个控制节点和4个数据节点组成。Hadoop中的HDFS分布式文件系统采用本地磁盘的数据存储模式,数据存储采用1+2的冗余,即每份数据都保存2个副本,任意一台服务器故障都不会造成数据丢失及业务停顿。由于挖掘与关联查询的数据量大,建议配置万兆网卡以保证数据通信。应用服务器应用服务器主要承载数据管理服务、综合数据示范应用和平台管理应用,通过采用混合部署的方式,降低系统部署成本和维护复杂度。通过2台高性能机架式服务器,采用集群技术来提供高可用服务。数据整合服务器数据整合服务器主要用于对平台后台备份的业务数据进行转换、整合,通过2台机架式服务器,来为数据整合服务提供必要的计算环境。管理服务器主要用于对数据中心的各设备进行统一的监控和管理,因此采用2台机架式服务器。政务网资源部署设计本期项目部署的计算资源包括:(1)数据库服务器原始库、主题库、整合库作为中心核心应用,对计算资源的CPU、内存以及I/O处理能力以及可靠性、稳定性都有较高要求,其中主题库和整合库均采用分布式数据库架构,因此建议主题库和整合库不再部署独立的服务器,复用分布式存储服务器的计算资源。数据库服务器设计仅考虑原始库的性能需求,建议配置2台高性能机架式服务器,通过数据库集群技术组成高可用的数据库服务。服务器产品选型通过对数据中心服务器性能需求的梳理,分析,建议本期数据中心的服务器采购选型配置如下:表STYLEREF1\s4SEQ表\*ARABIC\s111设备配置清单计算类型计算资源配置参数数量政务外网平台x86服务器数据库服务器CPU:4颗10核2.4GHz或以上,内存:192GB或以上,硬盘:4块300GB-SAS-15000rpm-热插拔,4块千兆网卡,2块HBA卡4数据整合服务器CPU:2颗IntelXeon8核2.2GHz或以上,内存:32GB或以上,硬盘:2块300GB-SAS-15000rpm-热插拔硬盘,6块3TB-SATA硬盘,2块千兆网卡2管理服务器CPU:2颗IntelXeon6核2.0GHz或以上,内存:32GB或以上,硬盘:2块300GB-SAS-15000rpm-热插拔硬盘,2块千兆网卡2分布式存储服务器CPU:2颗6核2.0GHz或以上,内存:64GB或以上,硬盘:配置10块3TB7200rpmSATA硬盘,2块300GB-SAS-15000rpm-热插拔,6个千兆电口6应用服务器CPU:4颗10核2.4GHz或以上,内存:192GB或以上,硬盘:4块300GB-SAS-15000rpm-热插拔,4个千兆电口,2个8GFC接口2政务网平台x86服务器数据库服务器CPU:4颗10核2.4GHz或以上,内存:192GB或以上,硬盘:4块300GB-SAS-15000rpm-热插拔,4块千兆网卡,2块HBA卡2存储资源池设计存储架构设计存储架构选择随着云时代的来临,往往伴随着大数据的到来,数据存储面临着更多的挑战,需要考虑如何快速地从大量的不同数据类型(非结构化、半结构化和结构化数据)中挖掘分析出有价值的数据。传统的共享式存储架构,通常采用传统的关系型数据库,在结构化数据处理方面,处理模式单一,主要通过SQL方式进行数据处理,不具备分布式处理机制,在处理诸如路径分析、社交网络分析时存在性能瓶颈,无法满足大数据时代分析挖掘的业务需求;在非结构化数据处理方面,传统关系型数据库采用二维表的方式存储预定义结构的数据,但是对图片、文本等无法用二维结构描述的数据不能进行有效存储及处理,缺乏非结构化数据的处理能力。在应对大数据处理需求时,只通过一种架构存储数据将会花费过多时间和金钱,因此需要根据不同的业务场景考虑不同的存储架构。表STYLEREF1\s4SEQ表\*ARABIC\s112业务特点分析业务特点传统数据库挖掘分析大数据挖掘分析数据特点对已知的数据范围内易归类的数据进行分析,大多数分析都通过提取、转换和加载(ETL)的流程和数据库限制,加载到数据库中的数据是易解析的,清洗过的,并符合业务的元数据。针对传统手段捕捉到的数据之外的非结构化、半结构化数据,不能保证数据的数据是完整的,清洗过的、没有任何错误的。数据关系建立在关系数据模型之上的,主题之间的关系早已建立,并在此基础上进行分析。非结构化以图片、视频、语音、移动产生的信息等形式存在,所有的信息间很难以一种正式的方式建立关系,绝大多数据的大数据分析基于纵列数据库以外。数据处理方式批处理,需要等待提取、转换和加载(ETL)以及转换工作完成后才能进行。实时分析处理数据中心中数据库类的结构化数据和虚拟机镜像文件数据,属传统的业务类数据,适合共享式存储;数据挖掘和事件相关联查询类的数据属大数据挖掘分析类。根据业务特点,选择合适的存储架构。表STYLEREF1\s4SEQ表\*ARABIC\s113业务类别及存储建议表业务类别共享式存储分布式存储涉及的数据类型传统数据库挖掘分析类适合不适合结构化数据大数据挖掘分析类不适合适合结构化数据和非结构化数据、半结构化数据共享存储设计目前业界比较成熟的共享式存储技术主要包括SAN存储技术、NAS存储技术和IPSAN存储技术。SAN技术是存储系统基于集中管理、高性能访问的需求下产生的,且发展至今此技术已非常成熟。在技术使用上采用了单独的存储管理设备(存储控制器)来统一管理整个存储系统,通过FC协议建设存储网络实现SAN网络上的各计算资源对存储资源的高速访问和共享。适合于大数据量、高速访问、高可用性和高性能响应的系统。NAS存储技术主要用来实现在不同操作系统平台下的文件共享应用,与传统的服务器或DAS存储设备相比,NAS设备的安装、调试、使用和管理非常简单,采用NAS可以节省一定的设备管理与维护费用。NAS设备提供RJ-45接口和单独的IP地址,可以将其直接挂接在主干网的交换机或其它局域网的Hub上,通过简单的设置(如设置机器的IP地址等)就可以在网络即插即用地使用NAS设备,而且进行网络数据在线扩容时也无需停顿,从而保证数据流畅存储。根据目前机房环境及应用规模,业务类数据中的数据库类结构化数据和虚拟机镜像文件数据都采用SAN共享式存储,目前虚拟机数量较少,可以采用FCSAN架构,后续随着业务增多,虚拟机数据增加,可以采用FCSAN存放虚拟机镜像文件数据,NAS存放虚拟机上的业务系统数据,FCSAN和NAS相结合的方式。数据库类结构化数据存储采用FCSAN存储架构,能满足较高吞吐量及响应时间的要求,同时也能满足大并发量的I/O要求,确保各类业务数据的安全性和业务的连续性和整体可用性。分布式存储设计分布式存储是通过网络使用网络中的每台PC服务器上的内置磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散存储在网络的各个角落中。它的特点是分散控制,集中操作、分级管理、配置灵活、高可靠性,易于维护。分布式存储不需要运行在昂贵且高可靠性的硬件上,通过多台x86架构服务器配置多块低成本SATA硬盘,服务器组成集群满足高聚合带宽、高并发访问。通过合理扩展的集群节点数量或增加硬盘数量获得更好的处理能力或存储性能。同时,通过软件实现对硬件损坏的容错,集群中保存的数据或运行的处理任务不会因个别硬件的故障而损失,数据自动复制,可自我修复,进一步降低了对特殊硬件容错技术的依赖,并降低了部署成本。分布式存储可以无限横向扩展,同时由于从多个节点提供数据,从理论上说可以无限提高I/O读写速度,能够满足不断增长的超大数据文件的存放和读写要求。目前常见的使用分布式存储技术的产品有HDFS,GFS,MFS(mooseFS)等。数据量估算待调研后确认。存储部署设计共享存储部署设计主机层:主机主要进行信息处理和数据库运行,在主机端安装HBA卡用于建立数据访问通道。由于系统应用对数据访问性能的要求非常高,为了满足这一要求,我们建议在主机端安装多块HBA卡,提供多条数据通道,通过安装数据通道管理软件,可以提供多通道之间的流量动态负载均衡,确保高性能的数据访问。另一方面,对于核心业务数据库等关键的系统,链路的安全性需要得到保证,数据通道管理软件同样可以提供数据通道之间的失败切换功能。网络层:SAN网络中网络层是非常关键的一个部分,它负责将主机和存储系统连接在一起,并且提供一个高灵活性、高扩展性的环境,以适应业务系统不断发展带来的主机和存储系统的扩展。在SAN网络设计中,采用冗余的网络设计。政务外网配置2台光纤通道交换机,每台配置48个8Gbps光纤端口,为主机和存储系统提供冗余的连接路径;政务网分别配置2台光纤通道交换机,每台配置48个8Gbps光纤端口,为主机和存储系统提供冗余的连接路径。分别配置1台高性能FCSAN磁盘阵列,于每台配置4个8GbpsFC接口,采用Trunk链路捆绑的方式分别上联到2台光纤交换机。针对业务数据的访问频繁度不同,可通过采用分层存储的方式进行数据存放,即在FCSAN存储设备上部署不同转速的硬盘,高转速硬盘可用于存放高密度访问的业务数据或常用数据,低转速硬盘用于存放低密度访问的业务数据或不常用数据。在NAS网络设计中,采用冗余的网络设计。在政务网\政务外网分别配置1台高性能NAS存储控制器,每台配置4个千兆以太网口,以Trunk链路捆绑的方式接入到政务网\政务外网的核心交换机。针对业务数据的访问频繁度不同,可通过采用分层存储的方式进行数据存放,即在NAS存储设备上部署不同转速的硬盘,高转速硬盘可用于存放高密度访问的业务数据或常用数据,低转速硬盘用于存放低密度访问的业务数据或不常用数据。存储层:存储层或者说整个SAN网络存储系统的核心设备是硬盘阵列,在核心磁盘存储系统中,采用性能高、功能强、扩展性大的高端企业级硬盘阵列系统。高端存储系统必须保证100%数据可用性,整个系统采用全冗余的结构设计,没有任何单点故障,双独立供电接口与内部N+1电源模块,冗余散热风扇,具备完善的RAID技术保护方式(RAID1+0,RAID5,RAID6),全局动态热备份盘包,多独立Cache板设计,支持镜像写缓存技术,在两组独立Cache内镜像写数据,且写缓存占总缓存的比例可动态调整。所有缓存也必须是NVS保护的,保证系统高可靠性和实现7×24×365天不停机运行要求。分布式存储配置方案分布式存储容量需求主要来源于数据库数据和图片\文档类数据,用于大数据处理,实现数据挖掘与事件关联查询。根据基础数据库和业务数据库的数据规模,建议采用6台机架式服务器,其中4台作为数据节点,每台服务器上配置10*3TB内置硬盘作为分布式存储;配置2台大内存的服务器作为控制节点,采用本地磁盘的数据存储模式,数据存储采用1+2的冗余,即每份数据都保存2个副本,任意一台服务器故障都不会造成数据丢失及业务停顿。存储产品选型序号名称规格数量备注政务外网平台1光纤交换机配置48个8Gbps端口,并配置48个多模光模块和2个单模光模块,并激活48个端口22FCSAN存储冗余控制器,单控制器缓存≥16GBCache,前端端口≥8个8GB端口,可用容量≥10TB配置数据快照、自动分层、自动精简授权、存储管理软件、主机多路径软件许可,配置远程复制模块13NAS存储冗余控制器,单控制器缓存≥16GBCache,前端端口4个1GE端口,可用容量≥20TB配置数据快照、自动分层、自动精简授权、主机多路径软件许可,配置远程复制模块1政务网平台1光纤交换机配置48个8Gbps端口,并配置48个多模光模块和2个单模光模块,并激活48个端口22FCSAN存储冗余控制器,单控制器缓存≥16GBCache,前端端口≥8个8GB端口,可用容量≥36TB配置数据快照、自动分层、自动精简授权、存储管理软件、主机多路径软件许可,远程复制模块13NAS存储冗余控制器,单控制器缓存≥16GBCache,前端端口4个1GE端口,可用容量≥12TB配置自动分层、自动精简授权、主机多路径软件许可,配置远程复制模块1网络资源池设计网络系统建设属于基础设施建设,各个业务系统均需通过网络进行数据传输,规划一张合理的、高效的网络子系统能够有力地保障数据中心相关业务系统能够安全、稳定、高效地运行。按照的总体架构,作为整个系统的技术设施支撑部分,网络系统采用模块化、层次化的结构设计,在追求性能优越、经济实用的前提下,本着严谨、慎重的态度,从系统结构、技术措施、设备选择、系统应用、技术服务和实施过程等方面综合进行系统设计,保证网络系统本身的高性能、高安全、高可靠、可扩展性以及与其它各个系统模块良好的兼容性。数据中心政务网、外网实现按功能区域隔离,分别实现对不同客户提供不同定制化服务。设计要求可靠性要求网络系统的稳定可靠是应用系统正常运行的关键保证,在网络设计中选用高可靠性网络产品,合理设计网络架构,制订可靠的网络备份策略,保证网络具有故障自愈的能力,最大限度地支持物流各业务系统的正常运行。必须满足7×24×365小时连续运行的要求。在故障发生时,网络设备可以快速自动地切换到备份设备上。安全性要求系统设计按照严格的安全体系进行设计,分布式部署,使网络具有统一的安全防护能力,支持全网的安全联动;网络安全建设能有效防止网络的非法访问,保护关键数据不被非法窃取、篡改或泄漏,使数据具有极高的安全性。先进性要求在本项目的建设过程中,采用先进成熟的设备和技术,确保系统的技术先进性,保证投资的有效性和延续性。具有QOS保障,完善的安全管理机制,满足用户对多业务、高可靠、大容量、模块化的需求。集中式管理要求所有管理功能和模块(如系统管理和网络管理)集成在统一的管理平台上,提供统一的管理对象模型,统一的管理数据库;网络管理、系统管理能以统一的视图集成管理。可扩展性要求随着网络技术的发展和应用规模的不断扩大,网络应具有平滑扩展的能力,这种扩展不应影响原有的应用。数据中心网络系统应能够随时通过增加网络设备或模块来扩展、升级整个网络系统,同时保证原有设备的正常使用。规范性和标准性要求整个设计方案从网络协议、操作系统到各个设计细节,应该全部遵循通用的国际或行业标准,符合国家有关标准规范的要求。易操作和易维护要求系统设计应具有良好的界面,减少各种特别培训,并具有在线帮助功能。同时必须具备良好的可维护性,在升级和整合投入正式运行后,维护成本较低。保护投资要求在保证网络整体性能的前提下,网络设计充分保护用户投资,利用原有的网络及安全设备或做必要的升级,在原有设备的基础上,进行平台建设,避免用户投资的重复浪费,网络的整体性能应随着网络的伸缩能够持续发挥作用,保护现有网络的投资,充分发挥网络投资的最大效益,构筑经济可靠的云计算平台。IP地址规划IP地址规划原则对数据网络的IP地址规划要考虑网络的目前需求、网络的未来发展、现有的资源、网络的管理和维护等,一般来说,IP地址规划应该遵守以下原则:(1)IP地址的唯一性IP地址是区分网络主机的唯一标示,所以网络上任何两台主机都不同的IP地址,否则无法相互通信。在网络设计时要充分考虑IP地址的唯一性。(2)IP地址规划的简单性IP地址的规划应该本着简单的原则,避免在网络的主干采用复杂的网络掩码形式。(3)IP地址的连续性IP地址规划是数据网络整体规划的一部分,即IP地址规划不仅要和网络层次规划相联系,还要和路由协议规划、流量规划等结合起来考虑。相同区域的IP地址连续可以实现地址的最大聚合,相应减少路由表的大小,进而减少网络中流量。(4)IP地址规划的可扩展性在IP地址的实际规划中要充分考虑到网络的可扩展性,好的IP地址规划,在网络扩容中队现有的网络改动较少,同时改造后的路由表的大小不变,方便网络的维护,节约网络的投资。由此,在网络的规划设计中应充分考虑到一段时间内的网络发展,并在可能的情况下为网络的扩展保留充分的余地,在主机数量增加的情况下仍旧能够保证地址的连续性。(5)网络的安全性网络内部应按照不同的应用划分不同的网段,以便进行不同级别的管理。IP地址的合理规划是网络设计中的重要一环,大型计算机网络必须对IP地址进行统一规划并得到实施。IP地址规划的好坏,影响到网络路由协议算法的效率,影响到网络的性能,影响到网络的扩展,影响到网络的管理,也必将直接影响到网络应用的进一步发展。IP地址空间分配,要与网络拓扑层次结构相适应,既要有效地利用地址空间,又要体现出网络的可扩展性和灵活性,同时能满足路由协议的要求,以便于网络中的路由聚类,减少路由器中路由表的长度,减少对路由器CPU、内存的消耗,提高路由算法的效率,加快路由变化的收敛速度,同时还要考虑到网络地址的可管理性。地址规划中需要考虑如下因素:(1)与现有已建成系统地址的兼容为了能更好的推行城市市数据中心IP地址统一规划,实现已建成系统的最少改动,我们需要在广泛调查的基础上找出一段不与大多数单位所采用IP地址相同的地址段。如果冲突无法避免,对于小部分系统可采用双向IP地址转换和DNS解析相结合的技术,在牺牲一定效率的前提下解决地址冲突的问题。(2)IP地址按需动态分配在实际应用中,政务外网的IP地址要按照按需动态分配的原则进行使用,以确保高效的使用有限的IP资源。在做IP地址统一规划时,应根据不同单位和部门的实际需求按地区集中进行地址划分,并对地区范围内的单位部门按需动态分配;根据地区覆盖范围内各单位、部门的发展需求按地区实现地址预留;同时中央保留一部分地址,在预留给某些地区的地址用完后可以增加分配给该地区。在实际应用中,按照按需分配的原则,需要时按照正常手续提出申请,批准后才可以使用,而不用时再由相关的管理部门将其收回,保证将来的再利用。这样,不仅能够节约资源,还能够做到IP地址的高效再利用。(3)以横向为主分配地址的情况下纵向业务通信的实现目前,根据我国政务流程的特点,IP地址按照横向分配为主的原则进行划分。从安全性考虑,按照横向分配的地址虽然可以保证网络层面上纵向间的互联互通和信息交流,但会造成纵向系统的信息不仅仅局限在本系统内部,而是能够被外系统获得。IP地址分配规划数据中心网络系统工程,我们将严格遵守电子政务外网的规范,当前暂且假设按照以下方式进行分配。具体实际IP地址分配以实施方案确认为准。业务地址规划为了业务的扩展和路由、安全规则规划方便,在IP地址冗余的情况下,建议一个业务分配一个C类网段。设备链路IP地址规划设备链路地址建议使用30位掩码进行分配,对于链路之间有透明防护墙等需要管理的设备,可以使用29位掩码进行分配。设备管理地址规划建议在本系统中所有网络设备的管理地址(可采用Loopback地址),配置为32位IP地址掩码,对于有些设备管理,可以使用管理VLAN的IP地址。路由协议规划路由概述建议采用在核心交换机上作为路由和交换的分界点:在核心交换机与接入交换机之间,使用L2交换设计;在核心交换机与边界防火墙之间,采用L3路由设计。这种设计方法有如下的优点:路由配置简单只需要在2台核心交换机上,配置路由。在大量的接入交换机上,只是做二层交换,配置简单。便于采用接入交换机的“自动配置”功能。减少配置维护工作量。扩展性好在同一个核心交换机下的服务器扩容方便。一个业务系统新增的服务器,可以部署在任意的机架中,服务器的IP地址与原来业务系统的IP地址连续,可以统一规划。并且,随着业务的变化,服务器位置调整后,不需要更改服务器和网络的配置,即插即用。另外,随着下一代服务器的“虚拟化”,也需要大的L2网络,便于进行“在线迁移。IGP路由设计在数据中心内部,考虑到网络的稳定性和路由的快速收敛,方便以后的维护和管理,建议采用OSPF动态路由协议。BGP路由设计数据中心与生产中心之间建立EBGP,可采用OSPF路由协议进行路由通告。网络产品选型通过对数据中心网络性能需求的梳理,分析,本期数据中心网络设备采购选型建议如下表:序号名称规格数量备注政务外网平台1核心交换机主机箱引擎+业务插槽≥10个扩展槽,交换容量≥3.84Tbps,包转发率≥2880Mpps

配置高性能防火墙模块,配置双引擎,双电源

主要端口配置:≥48个千兆电口,≥12个千兆光口

支持设备虚拟化、网络虚拟化等数据中心网络特性22接入交换机配置24口10/100/1000M自适应电口,4个千兆SFP接口;交换容量≥376G,包转发率≥180Mpps2政务网平台1核心交换机主机箱引擎+业务插槽≥6个扩展槽,交换容量≥2.56Tbps,包转发率≥1920Mpps

配置高性能防火墙模块,配置双引擎,双电源

主要端口配置:≥24个千兆电口,≥12个千兆光口

支持设备虚拟化、网络虚拟化等数据中心网络特性22接入交换机配置24口10/100/1000M自适应电口,4个千兆SFP接口;交换容量≥376G,包转发率≥180Mpps2IT运维管理平台设计实现对基础设施资源、分布式计算资源、共享数据资源的统一管理,并提供面向用户的自服务门户和面向运维管理人员的运维监控平台。基础设施资源管理基础设施资源管理为建立在电子政务外网、电子政务网上的两个基础设施资源池提供监控和管理能力。资源管理资源监控资源监控对资源池中的各类资源系统、各类资源实例进行监控,记录监控信息供用户和管理员查看。从虚拟机、物理机、虚拟硬盘、小型机、存储、网络资源等资源获取监控信息并进行展现。资源分配IT运维管理平台接收到资源申请指令时,根据指令分配相应的资源,为分配的资源实例进行编号,记录资源实例相关的配置和描述信息,记录申请该资源实例的业务系统编号。资源分配成功后,执行资源部署操作。资源部署资源部署操作通过子资源系统管理接口及设备管理接口在各类资源系统或设备上部署分配过的资源实例,部署成功后记录各资源实例的部署信息、资源实例的配置信息、资源实例与资源系统或设备的关联关系等。资源操作管理平台接收到资源操作指令后,通过子资源系统管理接口及设备管理接口对指定资源实例进行操作。管理员也可以通过管理平台界面来对资源进行操作,可以对物理机进行hypervisor自动部署,并可以自动加入hypervisor集群,也可以对物理机进行操作系统自动部署,对物理机可以进行启动、停止、重启操作。资源回收IT运维管理平台接收到资源取消指令后,通过子资源系统管理接口及设备管理接口对指定资源实例进行回收,回收成功后,将资源实例状态更改为已删除。主机管理物理机的操作包括物理机的添加、删除、启动、停止、重启。资源调度管理IT运维管理平台自动收集各资源池中资源的使用情况,包括CPU使用率,内存使用率、可用存储空间等信息,用于判断资源的可用和容量情况。管理员可通过系统设置功能配置资源分配和调度的策略,IT运维管理平台会根据当前资源池的资源可用情况和设置的策略来合理分配和放置资源。资源状况管理资源状况管理对各资源池资源容量状况进行管理,可以进行对资源池中各类资源的资源总量、已分配资源、未分配资源进行统计,如果容量接近于饱和,会提示管理员。资源容量管理IT运维管理平台对资源池系统中能够支持的资源模板进行容量管理,可以显示每种资源的总容量、已分配容量、已使用容量、未分配容量。资源计量管理资源计量管理对资源池各类资源的资源实例的资源使用情况进行计量,并定期将各类资源计量信息上报至IT运维管理平台。资源模板管理IT运维管理平台对资源池系统中能够支持的资源模板进行管理,包括创建资源模板、配置资源模板、设置资源模板状态、查询资源模板等功能。资源统计分析资源统计分析用于对资源监控信息的多维度统计分析,可以按照时段生成文字或图形报表以供查看。可以按照统计周期进行统计分析,统计周期可配置,例如每小时、每天、每月等统计周期;可以对统计结果按照常用格式进行导出;根据统计数据的保存时长,超过保存时长的数据被自动清理。服务方案管理IT运维管理平台可对分布式计算资源的基础服务方案进行添加、编辑和删除操作。基础服务包括计算方案服务、系统方案、磁盘方案和网络的资源管理、配置和资源分配等。虚拟机快照与克隆IT运维管理平台可以对虚拟机进行快照和恢复的操作。允许虚拟机按照快照创建的时间恢复到当时的状态。虚拟机的快照包括了虚拟机的所有CPU信息、内存信息、硬盘信息、BIOS信息。虚拟机的快照分为三种形式完全快照、差异快照和增量快照,允许虚拟机在运行状态下进行快照和恢复的操作。快照可以选择是否带当前内存映像,并支持虚拟机在需要的时候恢复到任一快照点:当不带内存映像时,恢复后虚拟机的数据与快照时一致;当带内存映像时,恢复时虚拟机直接回到快照当时的运行状态。模板管理IT运维管理平台可对镜像进行统一管理。对模板可进行新建、修改、保存、查询、删除等操作。在管理平台中,虚拟机部署可以支持采用虚拟机镜像的方式进行部署,无需每次新建虚拟机都要为其安装操作系统和必要软件。管理员用户可以通过HTTP请求将模板上传到本地镜像库中,镜像的管理支持镜像资源的创建(支持通过ISO文件创建虚拟机镜像)、上传、分类、修改、查询和删除。资源池管理系统可以自动发现虚拟环境中的操作系统模板信息,并自动将信息同步到系统资源池中;在资源池管理系统中可以将不同格式虚拟机镜像格式转换,将其它格式的虚拟机镜像转换成适用于当前使用的虚拟化技术的格式。高可用性迁移IT运维管理平台通过虚拟机的在线迁移,可以在业务不中断的情况下,实现虚拟服务器从一台物理服务器迁移到另一台物理服务器的在线迁移(依赖于底层Hypervisor的支持情况)。分权分域

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论