大数据中心机房设计方案

大数据中心机房设计方案

目录

第1章方案概述..............................................................1

1.1.建设背景............................................................1

1.2.当前现状.............................................................1

1.3.建设目标............................................................3

第2章方案设计原则..........................................................4

2.1.设计原则............................................................4

2.2.设计依据............................................................6

第3章数据中心方案架构.........................................................6

3.1数据中心架构设计.......................................................6

3.2大数据处理设计.........................................................12

3.3大数据存储设计.........................................................17

3.4安全设计...............................................................19

3.5平台搭建实施步骤......................................................23

3.6物理架构设计...........................................................23

第4章整体架构设计............................................................26

4.1网络总体架构..........................................................26

4.2XXX公共服务平台功能设计..............................................27

4.2.1数据中心功能示意图.............................................27

4.2.2公共服务系统功能示意图.........................................28

4.2.3电子XXX系统功能示意图.........................................29

4.2.4电子政务系统功能示意图.........................................30

4.3XXX公共服务数据流程图................................................31

4.4防火墙设计.............................................................31

4.5接入层设计.............................................................32

第5章数据中心基础设施方案组成................................................32

5.1.机柜系统设计........................................................32

5.2.制冷系统设计........................................................34

5.3.供配电系统设计.....................................................38

5.4.模块监控系统设计...................................................41

第6章运维方案................................................................45

6.1.技术和售后服务.....................................................45

6.2.售后服务项目........................................................45

6.3.售后服务项目内容...................................................45

第1章方案概述

1.1.建设背景

自从出现数字化***以来，数据中心作为数字化交易的核心，被各个***系统

广泛采用。目前随着***电子化的推广，客户市场细分的深入，***产品设计的专

业化，以及对于***系统安全性的要求。***系统的数据中心需要更强大的运算能

力，更多的存储空间，更安全可靠的规划和设计。不仅如此，***系统相比其他

行业的数据中心有其自身特有的特点和要求。***行业数据中心的非常重要的一

点就是安全和可靠。因为哪怕是短时间的网络瘫痪也会造成非常广泛和严重的后

果。这对***数据中心的资源整合，全面安全，高效管理和业务连续性提出更高

的要求。所以***行业数据中心产品和方案的应用必须采用更高等级的产品和整

体设计方案，以满足对于系统安全性的要求。

从数据大集中到多业务整合，***行业的数据中心建设正围绕着业务发展的

需要迅速展。***基础设施的建设，很重要的一个环节就是***数据中心的建设。

***数据中心工程不仅集建筑、电气、安装、网络等多个专业技术于一体，更需

要丰富的工程实施和管理经验。***数据中心设计与施工的优劣直接关系到数据

中心内计算机系统是否能稳定可靠地运行，是否能保证各类信息通讯畅通无阻。

由于***数据中心的环境必须满足计算机等各种数据，以达到反馈信息和处理问

题的功效。特别是要将需要解决电池放电状态和旁路运行状态的监控管理问题等

重要信息发到主要负责人的手机上，以便能随时掌握信息，对一些天气灾害停电

而有应急预案。

1.2.当前现状

随着业务的发展，数据中心的问题与日俱增，数据中心所面临的压力和挑战

也越来越大：业务的不断调整和改变让数据中心总体架构面临极大的压力、有限

的物理空间让数据中心扩展性和灵活性有所限制、虚拟化的欠缺让数据中心资源

调配能力有限、复杂多变的异构环境让数据中心管理效率异常低下、高居不下的

耗电量让数据中心能源成本迅速上升。这些问题与挑战让数据中心管理者迫切需

要对数据中心进行整合和升级。通过有效的整合让传统数据中心升级成为一个智

能化、自动化、高效化的数据中心。当前数据中心面临的问题：

•可靠性问题

供电可靠性是数据中心安全性的重要保障，随着以信息技术为支撑的新业务

的不断涌现，***行业数据中心对供电可靠性的要求大大提升。在数据中心领域，

动力平台的可用性指标分别高于数据中心的可用性指标和整个网络系统的可用

性指标，因此，对动力平台的关注理应放到最核心的位置。比如服务器电源的冗

余方式发生了变化，供电系统就应当做出相应改变。刀片服务器以及虚拟化的应

用，使高热密度问题凸显，数据中心环境更加恶劣，制冷模式就也需要做出改变。

•节能降耗问题

数据中心建设的加速，导致的最直接后果就是能源消耗量的急剧攀升。在当

前全球能源紧张的大背景下，节能降耗是整个数据中心行业的大趋势。对于企业

本身而言，能耗的急剧增长大大提升了数据中心的运行成本，数据中心的节能和

能效改善已成为整个行业的迫切要求。

•管理与维护问题

数据中心是一个庞大而复杂的系统，这些系统是一个有机的整体，牵一发而

动全身，数据中心可靠性的发挥有赖于每个设备的正常运行，有赖于这些设备的

协调一致，任何一个环节出现故障，都有可能造成巨大损失。因此，对整个系统

的管理越来越重要，而难度也越来越大。

•扩容问题

随着业务量的不断扩大，***行业IT应用系统日益增长，服务器规模变得日

益庞大，带来了高能耗、数据中心空间紧张、IT预算紧张等问题。同时，数据

中心动力平台的匹配性却不够，要么利用率低，资源浪费严重；要么供电与制冷

明显不足，影响数据中心可用性。简言之，动力系统对核心设备供电或者制冷需

求的反映不够灵敏。

针对上述问题，技术有限公司推出了创新型的数据中心解决方案。该解决方

案具有高可用性、高节能性、高灵活性、高可维护性等四大特点，能够帮助***

行业客户解决数据中心建设与应用的难题，满足***企业在信息化过程中对数据

中心动力安全、节能环保等方面日益增长的应用需求。

1.3.建设目标

XXX大数据中心项目的总体建设目标是：综合运用云计算、大数据、移动互

联等新技术，高起点、高水平建设覆盖全、功能齐全、国内一流的公益性、综合

性XXX公共服务平台。

数据中心建设应达成以下目标：

高可用--数据中心的高可用直接影响到业务系统的可用性，高可用至少包

括高可靠、高安全和先进性三个方面：

♦高可靠：应采用高可靠的产品和技术，充分考虑系统的应变能力、容错

能力和纠错能力，确保整个基础设施运行稳定、可靠。当今，关键业务

应用的可用性与性能要求比任何时候都更为重要。

♦高安全：基础设计的安全性，涉及到核心数据安全。应按照端到端访问

安全、网络分层安全两个维度对安全体系进行设计规划，采用软硬件安

全设备，从局部安全、全局安全到智能安全，将安全理念渗透到整个数

据中心网络中。

♦先进性：数据中心将长期支撑企业的业务发展，数据中心建设需要考虑

后续的机会成本，采用主流的、先进的技术和产品，建立高性能，大容

量存储的数据中心。

♦易扩展--随着信息化的发展，企业内通信网络的建立和全面覆盖，未来

的业务范围会更多更广，业务系调整与扩展再所难免，因此数据中心必

须能够适应业务系统的频繁调整，同时在性能上应至少能够满足未来

5〜10年的业务发展。对于设备的选择和协议的部署，应遵循业界标准，

保证良好的互通性和互操作性，支持业务的快速部署。

♦易管理--数据中心是IT技术最为密集的地方，数据中心的设备繁多，

各种协议和应用部署越来越复杂，对运维人员的要求也越来越高，单独

依赖运维人员个人的技术能力和业务能力是无法保证业务运行的持续性

的。因此数据中心需要提供完善的运维管理平台，对数据中心IT资源进

行全局掌控，减少日常的运维的人为故障。同时一旦出现故障，能够借

助工具直观、快速定位。

第2章方案设计原则

2.1.设计原则

根据“先进、实用、稳定、可靠”的总原则，对云数据中心软硬件系统进行

科学合理的设计，保证中心建设的胜利完成。

数据中心工程是智能弱电工程的重要组成部分。其基本要求可归纳为：保证

系统运行的可靠性、保证系统的设计寿命、保证信息安全的要求、保证操作人员

的工作环境。

设计一个好的数据中心，要以兼顾人机并重之原则，一个合格的现代化计算

机数据中心，应该是一个安全可靠、舒适实用、节能高效和具有可扩充性的数据

中心，设计应以运行条件、安全可靠作为首要的考虑因素。因此对数据中心建设

要求遵循以下设计原则：

（一）统筹规划，科学设计。

从XXX发展的大局和长远角度出发，遵循国家有关信息化标准和规范，用

科学的理论和系统的方法统一规划，建设国内一流、功能完备的综合XXX公共

服务平台。

（二）突出重点，分步实施。

统一科学规划实施，既要统一考虑整体目标的实现，又要围绕XXX主要职

能和重点工作，优先开发建设最急需，最主要的平台，最终实现项目预期收益

目标。

（三）整合资源，集约建设。

xxx网站升级改造项目的建设过程中，要充分考虑现有政务信息网络资

源，统筹利用现有各类资源，完善已有功能，降低系统建设成本，开发建设新

的应用系统。

（四）加快推进，务求实效。

集中骨干力量、明确时间节点，力求早建成、早应用、早见效。

（五）立足当前，着眼长远。

在充分满足当前需求的基础上，为今后纵向和横向功能拓展预留空间。

（六）安全性和可靠性

平台应遵循客户最小授权原则、全面确认原则和安全跟踪原则，并采用严

密的安全体系，保证数据的安全性，应能保证7*24小时持续、稳定、安全地运

行。首先，重要数据应能及时备份和恢复；其次，关键操作可以进行回退；第

三，对紧急情况应该有相应的应急处理措施；第四，应该满足峰值业务量处理

的需要。

（七）先进性和标准性

平台应遵循行业标准，参照国际、国家相关行业标准，形成统一的编码规

则和接口规范。在软、硬件系统选择上，要符合国际、国内标准的硬件和软件

技术规范，并拥有优良性价比的设备。

（八）易用性和可维护性

平台应具有友好的人机界面、便捷的输入方式、智能的数据输入提示、及

时的数据合法性检查、详细的常见错误修改说明、可配置不同数据参数的报表

及可支持多种语言。同时，系统设计应遵循软件工程思想，采用层次化、模块

化、组件化的设计，做到层次清晰，可以方便地对系统进行升级。

（九）实用性

设计上充分考虑当前各业务层次、各环节管理中数据处理的便利和可行，

把满足用户业务管理作为第一要素进行考虑；采取总体设计、分步实施的技术

方案，在总体设计的前提下，系统实施时先进行业务处理层及低层管理，稳步

向中高层管理及全面自动化过渡，使系统始终与业务实际需求紧密连在一起，

不但增加了系统的实用性，而且可使系统建设保持很好的连贯性；全部人机操

作设计均充分考虑不同使用者的实际需要；用户接口及界面设计充分考虑人体

结构特征及视觉特征进行优化设计，界面尽可能美观大方，操作简便实用；所

有子系统的建设都要符合XXX的实际业务需求，必选做到上线每一个功能都是

有用的。

（十）增强决策支持能力

系统应能够满足今后业务战略决策支持的需求，增强速递战略决策和管理

能力。并通过统一的操作流程、统一的监管标准和统一的管理规范，来提高业

务管理与监管水平，实现业务资源全面统一的管理。

（十一）优先采用国产软件产品和服务

《鼓励软件产业和集成电路产业发展的若干政策》中规定：国家投资的重大

工程和重点应用系统，优先由国内企业承担，在同等性能价格比条件下优先采用

国产软件系统。

2.2.设计依据

《电子计算机数据中心设计规范》GB50174-93

《计算机场地技术条件》GB2287-89

《计算机场地安全要求》GB9361-88

《计算机机房活动地板技术条件》GB6650-86

《建筑物防雷设计规范》GB50057-94

《高层民用建筑设计防火规范》GBJ45

《电子计算机机房施工及验收规范》SJ/T30003-93

《建筑防火设计规范》GB5004-95

《空调与通风工程施工及验收规范》GB50243-97

《建筑与建筑群综合布线系统工程设计规范》GB/T50311-2000

《建筑与建筑群综合布线系统工程验收规范》GB/T50312-2000

《中华人民共和国通信行业标准》YD-T9261、2、3

《国际综合布线标准》TIA/EIA568-B

《供配电系统设计规范》GB50052-92

《火灾自动报警系统设计规范》GBJ116-98

《工业企业通信接地设计规范》GBJ79-85

《高性能屏蔽室屏蔽效能的测量方法》GB12190

第3章数据中心方案架构

3.1数据中心架构设计

XXX大数据中心项目要完成以下建设任务：

（一）一个机房：在XXX建设一个标准化B类机房，实现机房供电、空调、

消防、管理的标准化和智能化。该机房需要承载XXX公共服务平台和现有信息化

系统的运行。

（二）五个部分：XXX大数据中心项目要完成五个部分的建设任务，包括数据

中心、公共服务系统、电子XXX系统、电子政务系统、XXX局域网改造。

（三）四大功能：xxx大数据中心项目XXX公共服务平台要实现海关、内贸、

电子XXX、区域经济等XXX数据中心功能；包含信息展示服务、在线办事、企业

服务、投诉咨询、海外劳务等部分的公共服务功能；包含展览展示、企业企业产

品（服务）视频搜索、电子XXX信息报送等部分的电子XXX功能；包含远程办公、

移动办公、公文传递等电子政务功能。

（四）局域网改造：对XXX局域网进行改造升级，提升电子政务工作效率。

云计算数据中心通过运行在单独的服务器上的云操作系统对服务器、存储、

网络等资源进行虚拟化管理，提供可以自定义的虚拟机，在虚拟机上安装Hadoop、

hbase等Nosql分布式数据库集群，对现有的数据ETL采集、清洗、转换、汇总

进来，使用海量数据分布存储技术，用spark、storm等大数据处理软件对hbase

中的数据进行分析处理，挖掘数据价值。还可以在虚拟机上运行业务应用系统，

提供负载均衡和冗余备份，达到系统的稳定、高可用和方便的扩展性。

通过安装SSR等安全软件和安全服务器，可以保证提升操作系统的安全级别，

从而达到国家等级保护的三级要求，为客户构建真正的安全长城。

云计算数据中心可以自动管理和动态分配、部署、配置、重新配置以及回收

资源，也可以自动安装软件和应用，具有良好的弹性和灵活性，管理、使用方便。

云中心可以向用户提供虚拟基础架构。用户可以自己定义虚拟基础架构的构成，

如服务器配置、数量，存储类型和大小等等。用户通过自服务界面提交请求，每

个请求的生命周期由平台维护。

服务器虚拟化系统基于服务器，存储和网络设备构建资源池，在资源池上通

过资源的管理、调度和镜像管理实现系统的各种高级功能，例如计算层面的系统

负载均衡和虚拟机高可用，存储层面的镜像复制和冗余。系统支持以主机或者虚

拟群集为单位管理资源，虚拟群集为一组共享存储资源的物理主机。

云中心既是一个企业云，也可以对外提供服务，扩展成公有云。学校还可以

使用别的公有云如阿里云，形成混合云。

云业务

____________________云计算服务平台_____________________

云计算麻身生4rli期低,HVffS|iJHPIW

基础服务

龄拄&岩警部*£8扁份&恢双安全&审计

虚拟化奥源池|

物理

基础架构毋不崇国手

离W机架即伤胃刀片系极存储系搂网珞系统安仝系段

云中心包括iaas、paas^saas三层服务：

1）.SaaS：提供给客户的服务是运营商运行在云计算基础设施上的应用程序,

用户可以在各种设备上通过客户端界面访问，如浏览器。消费者不需要管理或控

制任何云计算基础设施，包括网络、服务器、操作系统、存储等等；

2）.PaaS：提供给消费者的服务是把客户采用提供的开发语言和工具（例如

Java,python,.Net等）开发的或收购的应用程序部署到供应商的云计算基础

设施上去。客户不需要管理或控制底层的云基础设施，包括网络、服务器、操作

系统、存储等，但客户能控制部署的应用程序，也可能控制运行应用程序的托管

环境配置；可以使用docker容器完成应用系统的部署和管理。

3）.IaaS：提供给消费者的服务是对所有计算基础设施的利用，包括处理CPU、

内存、存储、网络和其它基本的计算资源，用户能够部署和运行任意软件，包括

操作系统和应用程序。消费者不管理或控制任何云计算基础设施，但能控制操作

系统的选择、存储空间、部署的应用，也有可能获得有限制的网络组件（例如路

由器、，防火墙，、负载均衡器等）的控制。

云中心采用xen、kvm、VMware进行虚拟化，LXC提供Linux容器，支持docker

应用容器。

安全保，体系戚务保，体系

一.服务器采用浪潮整机柜服务器SmartRack,面向海量数据的存储和处理，

适合云资源池如虚拟化、分布式存储，大数据处理如Hadoop集群等应用，目前

在国内服务器中占主导地位，特点如下：

定位多种应用，支持各类服务器节点。

针对不同业务对存储、计算、10吞吐量、功耗的不同要求，设计开发出不同

种类的服务器节点，包括：1U全宽双路12盘位综合型节点、1U全宽单路18盘

位冷存储节点、1U半宽双路计算型节点，满足不同需求。

整机柜集中供电、集中散热，相比其他架构服务器，运行功耗降低10%以上。

整机柜由一组电源模块集中供电，最大输出功率高达22.5kw,直接支持交

流或高压直流供电，各节点通过铜排从电源模块取电，结合电源负载动态调整技

术，电源转换效率高达94%以上。

机柜背部风扇墙集中散热，根据节点数量灵活调节风扇墙高度，采用140mm

大尺寸风扇，相同功耗下可提供更大散热量。

领先的架构设计，保障系统高可靠运行。

服务器节点中无独立的电源和风扇，有效降低单点故障。

根据整机柜实际负载情况，电源可实现N+N/N+2/N+1多种冗余方式。

风扇可根据温度状况自动调节转速，支持2+1冗余。

对整机柜节点、电源、风扇进行集中监控管理。

实现管理中心RMC对整个机柜各模块的统一监控和管理，节点、电源、风扇

的健康状况、温度、配置信息一目了然，还可进行批量开关机、重启，功耗控制，

风扇转速自动/手动调节等功能，搭配专为SmartRack设计的可视化管理软件,

轻松实现简易化智能管理。

简易维护，无需繁琐拆装。

独有节点前维护设计、各模组免工具热插拔设计、优化的线缆走线设计，使

得系统运维难度大大降低。风扇等易损部件全部裸露在外，更加方便更换维护。

二.云操作系统建议采用浪潮云海•云数据中心操作系统V3.0,此系统秉承

开放化、模块化、标准化的设计理念，基于虚拟化技术，实现了数据中心资源融

合、资源管理及服务交付，简化了云数据中心运维，提高了云数据中心服务水平。

云海•云数据中心操作系统有以下特点：

自主可控、安全可靠的云数据中心操作系统：

浪潮自主研发的国产云数据中心操作系统，加强了WEB安全、虚拟化安全、

数据安全、访问控制、安全审计等方面的安全控制，可帮助用户构建安全可控的

云数据中心。

异构资源管理：

云海OS支持对数据中心各类异构硬件设备及软件资源的统一管理；支持对

VMWarevSphere、InspuriVirtual等异构虚拟化资源池的集中管理，已部署的

虚拟化环境可被云海OS无缝接管；

精细的软硬件资源监控：

云海OS支持对数据中心主流厂商的服务器、网络设备、存储设备等物理资

源，操作系统、数据库、WEB应用等软件资源，VMWarevSphere,InspuriVirtual

等虚拟化环境的精细监控，提供界面、邮件、短信等多种告警方式，通过详尽清

晰的报表分析数据，帮助数据中心的运维人员随时掌握数据中心的各类资源的运

行状况，降低运维管理复杂度，提高运维效率。

快速的服务交付：

云海OS支持通过虚拟机模板、应用服务模板的方式，实现业务的快速交付,

业务上线时间由原来的几周、几天，缩短为几分钟，大大提高数据中心的服务水

平。

资源使用按量计费:

实时的资源使用情况统计，让用户精确掌控自身资源和费用使用情况，帮

助IT部门实现由成本中心向价值中心的角色转变。

资源按需服务：

云海OS可实现将基础架构作为服务交付，用户可通过自助服务门户在线申

请及访问自己的虚拟数据中心、应用服务、虚拟机等资源，实现资源的按需申请、

便捷获取、自助使用。

可定制的业务流程：

云海OS支持用户创建与原工作流程吻合的资源申请的审批流程，实现业务

流程的个性化、可定制化。

灵活的服务交付方式：

云海OS既支持从下到上的资源申请与审批，也支持从上到下的资源创建与

分配的服务交付方式，可满足不同客户对资源获取方式的不同需要。

多租户私有云：

云海OS可创建多个组织，一个组织可代表某业务部门、分部或子公司。每

个组织都有各自独立的虚拟数据中心、用户及独有的目录，可将组织资源分配给

本组织的用户，每个组织如同拥有自己的数据中心。利用基于权限的用户控制机

制和基于虚拟交换机的网络隔离技术，实现多租户环境下的安全性和可靠性，以

此构建安全的多租户私有云。

灵活可控的权限管理：

云海OS支持用户自定义角色类型，不同的权限可自由组合，实现灵活可控

的系统权限管理。

服务全生命周期管理：

云海OS涵盖服务提供所需的各个环节，包括服务的申请审批；服务的交付

和回收；服务的使用统计和计费；服务的运行监控

服务移动性：

通过vApp封装多个虚拟机服务和相关的网络连接策略，遵循OVF等开放式

标准，实现同一个云环境的终端用户彼此之间可以轻松共享服务，而不同的云环

境的用户可以轻松的在云之间迁移服务。

3.2大数据处理设计

通过在虚拟机上安装Hadoop2.6、hbasel.0等Nosql数据库集群，用

sqoopl.3把现有的数据汇总进来，要对现有数据做个总的分析，对字段统一定

义规划，制定转换策略，做到正确性、唯一性、可用性，去除重复字段，通过ETL

抽取、清洗数据，把数据导入hbase,这样就可以消除信息孤岛，用spark、storm

等大数据处理软件对hbase中的数据进行分析处理，挖掘数据价值。

云中心通过调度系统自动采集、加工、存储数据，为应用系统提供支持：

应用模式

执行

存《过程

用I

“豁吸)।[(MapRe"

设计

作蚓

—.hadoop2架构体系

下图是hadoop2的架构图

Fo

AoNr-PIGHive

mAnahScriptQuery

beme

alr

roae

tHwYHCatalog

Zt5-B

oAenooAMetadataServices

ovaarR

ker-sk

DN

eCPaesMapReduce

eart

psaDistributedProcessing

wsob

aja

enes

9_dce

arstYARN

o-ResourceSchedulingandNegotiation

zo

9-

HDFS

DistnbutedStorage

1.HDFS文件系统，Hadoop实现了一个分布式文件系统(HadoopDistributed

FileSystem),简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉

的(low-cost)硬件上；而且它提供高吞吐量(highthroughput)来访问应用

程序的数据，适合那些有着超大数据集(largedataset)的应用程序。HDFS放

宽了(relax)P0SIX的要求，可以以流的形式访问(streamingaccess)文件系

统中的数据。

2、YARN是一套资源统一管理和调度平台，可管理各种计算框架，包括

MapReduce,Spark,MPI等。包括以下内容：ResourceManager(RM)：整个系

统只有一个RM,它就只管调度方面的事情，并且为集群应用而优化，因而具有很

好的性能。RM的一个核心是它的Scheduler。调度包含两个过程，一要搜集各节

点的情况；二要根据某种调度策略，分配合适的节点。搜集节点情况是基于一个

资源容器(resourcecontainer)的概念，该容器包括cpu,disk,network等(目

前只用到cpu)

NodeManager(NM):NM是每个节点一个实例，管理每个节点，它触发应用容

器(applicationcontainer),监控节点的资源(cpu/disk等)，并向RM报告

资源的情况。

ApplicationMaster(AM)：AM是每个应用一个实例，它是一个特定的框架接

口库，一方面与RM中的Scheduler协商得到resourcecontainer,另一方面与

NM一起执行和监控各子任务部件，从系统的角度，AM本身也一种container(下

图中将它与container画得一样）。

Container：从逻辑上，container可认为是资源的分配容器，它包括hostname,

cpu,memory等属性。AM发送ResourceRequest给RM,然后RM分配合适的

Container给AM,AM再将此Container提交给它所在节点的NM,NM采用此资源

容器运行任务。实际上，Container是一种使用资源的“授权”，AM得到此授权

后，在NM的管理下，可以运行任何进程（包括非Java应用，这一点与1.0不

同）。

二、Hive是基于Hadoop的一个数据仓库工具，处理能力强而且成本低廉。

主要特点：

存储方式是将结构化的数据文件映射为一张数据库表。提供类SQL语言，实

现完整的SQL查询功能。可以将SQL语句转换为MapReduce任务运行，十分适合

数据仓库的统计分析。

三、HBase

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，

是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而

不是基于行的模式。HBase使用和BigTable非常相同的数据模型。用户存储数

据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列，一个或多个

列组成一个ColumnFamily,一个Fmaily下的列位于一个HFile中，易于缓存数

据。表是疏松的存储的，因此用户可以给行定义各种不同的列。在HBase中数

据按主键排序，同时表按主键划分为多个HRegion,如下图所示（HBase数据表

结构图）：

ColumnFamily«1ColumnFamilytn

key"kcyA-vo11,t1

key1-vfil2.t2k”A：val2.t2

k”2：YahJ2k”B：va〃J2

key2：Ysl2.MkeyB-va12,t4

sorted

keyn-valn.tnkeym：valn.tn

Columnfamily

rowkeycontents：anchor：language*

co/n.www<html>M<html>(H)*»nchor：cnn$I.COfn.CNN〃〃•

■・・・•・・・・•••,・’.

<html>bb<html>(t2)fnnch0r：my.lock.c^.CNN.com(H)

aMhor：J”aco.H.jaa.MH)

ColumnFamlly：ColumnKey.ColumnValue(Tlmestamp)

四.Sqoop是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库

(mysqhoracle...)间进行数据的传递，可以将一个关系型数据库(例如：

MySQL.Oracle,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将

HDFS的数据导进到关系型数据库中。

五.spark架构体系

Spark与Hadoop的对比

♦Spark的中间数据放到内存中，对于迭代运算效率更高。

Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面,

有RDD的抽象概念。

♦Spark比Hadoop更通用。

Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和

Reduce两种操作。比如map,filter,flatMap,sample,groupByKey,

reduceByKey,union,join,cogroup,mapValues,sort,partionBy等多种操

作类型,Spark把这些操作称为Transformationso同时还提供Count,collect,

reduce,lookup,save等多种actions操作。Spark的mllib支持机器学习。

这些多种多样的数据集操作类型，给给开发上层应用的用户提供了方便。

各个处理节点之间的通信模型不再像Hadoop那样就是唯一的DataShuffle—

种模式。用户可以命名，物化，控制中间结果的存储、分区等。可以说编程模型

比Hadoop更灵活。

不过由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，

例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应

用模型不适合。

♦容错性。

在分布式数据集计算时通过checkpoint来实现容错，而checkpoint有

两种方式，一个是checkpointdata,一个是loggingtheupdateso用户可以

控制采用哪种方式来实现容错。

♦可用性。

Spark通过提供丰富的Scala,Java,PythonAPI及交互式Shell来提

高可用性。

Spark与Hadoop的结合

♦Spark可以直接对HDFS进行数据的读写，同样支持SparkonYARNO

Spark可以与MapReduce运行于同集群中，共享存储资源与计算，数据仓库Shark

实现上借用Hive,几乎与Hive完全兼容。

Spark的适用场景

♦Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集

的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数

据量小但是计算密集度较大的场合，受益就相对较小

♦由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例

如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用

模型不适合。

♦总的来说Spark的适用面比较广泛且比较通用。

3.3大数据存储设计

采用浪潮AS13000存储大数据，支持容量、性能的在线无限扩展，提供软

硬件故障情况下的数据重建、远程容灾功能，是适用于云计算、大数据业务并

兼具高性能、高可靠、高可扩展、大容量特征的新一代存储系统平台，具有以

下特点：。

海量存储，在线横向扩展：

1.控制器集群体系架构，所有控制器并行承担数据10、保障系统整体负载

均衡，数据分散存储，避免单控制器故障带来的风险和性能的瓶颈，支持控制

器在线横向扩展，满足持续增长的容量和性能需求。

2.支持NAS/Object/IP-SAN/IB-SAN存储接口，并且支持SAN、NAS、

Object同时运行，满足客户在不同时间、不同地点、不同业务对存储的不同需

求，支持Windows、Linux、Unix等多种操作系统并存的复杂网络环境中，轻松

实现跨操作系统的数据存储与共享，另外支持NFS/CIFS/FTP等多种文件共享协

议。

3.支持丰富的主机连接接口，支持1Gb/10GbiSCSI、40Gb/56Gb

InfiniBand主机连接，无缝接入用户现有环境，满足客户对高带宽及高性能的

差异化需求。

4.全面支持Flash/SSD/SAS/SATA各类常见存储介质，模块化的容量扩展

模式，支持数据分级存储，满足各类型应用。

数据持续保护，业务运行无忧：

L支持数据卷隔离映射功能、数据快照功能、快照回滚、远程卷复制(同

步/异步)、远程数据复制及恢复、逻辑分区动态扩容。

2.支持数据副本、数据纠删码、自动分层等多种数据冗余保护和性能加速

功能，为用户提供高级别的数据保护及容灾功能。

3.支持全集群Active-Active、Active-Standby,全局热备等控制器工作

模式，保障整体系统的高可用，确保数据存取及业务运行万无一失。

4.支持软硬件故障时的数据自动修复，系统可用性达到99.999%o

模块化设计，人性化管理

LAS13000各主要部件均采用模块化设计，客户按需选择，维护、升级、

管理简单方便：

2.支持数据副本、全局热备，以及自动构建RAID、各RAID级别间执行在

线迂移不影响正常数据应用

3.完备监控管理方式，当系统出现异常时，除了通过机器指示灯报警外，

可通过邮件等方式将异常状况及时通知管理员

4.集中部署，统一管理

绿色节能：

1).全系统选取节能降耗的处理器、芯片组、风扇和散热片等部件，提高

系统的能效利用率。

2).支持在线扩容/缩减时数据自动迁移，确保系统按需配置，同时支持

Maid磁盘节能技术，降低磁盘能耗，节约开支。

3).支持自动精简技术，大大提高存储资源利用率。

3.4安全设计

一.采用浪潮SSR主机安全增强系统，这是一款基于操作系统内核层开发的安

全加固软件。与传统的防火墙、IDS/IPS不同，SSR工作在最贴近用户数据的操

作系统层面，不仅可以避免外部的黑客攻击，同样可以预防来自内网攻击的风

险。该产品弥补了传统信息安全解决方案在主机层安全的“短板”，与传统信

息安全产品形成了良好的互补，提升操作系统的安全级别，从而达到国家等级

保护的三级要求。为客户构建真正的安全长城。

功能特性：

1、强制访问控制

在操作系统内核层实现文件、注册表、进程、服务、网络等对象的强制访

问控制，可配置针对以上对象不同的访问策略来保护系统和应用资源，即使是

系统管理员也不能破坏被保护的资源。

2、完整性检测

对文件和服务进行完整性检测，并可设置定期检测项目，当发现文件或者

服务篡改时进行报警并发现哪些文件发生改变。

3、防格式化

保护功能开启时，可防止病毒和入侵者恶意格式化磁盘，同时降低管理员

意外格式化磁盘的风险。

系统资源监控与报警：

对系统的CPU、内存、磁盘、网络资源进行监控，当这些资源的使用状况

超过设置的阀值时将进行报警，以提前发现资源不足、滥用等问题。

4、双因子认证和组合式密码认证

不仅提供SSR安全管理员和SSR审计官员的USBKEY+密码的双因子认证功

能，还可对系统用户配发USBKEY实现双因子认证。对于远程登陆和虚拟化系

统而无法识别USBKEY的服务器，SSR提供可配置两个密码组合的登陆认证方

式，只有掌握密码的两个人同时存在才能登陆系统，以此确保自然人的可信。

5、自我保护

SSR采用内核密封技术和完整性保护技术来保证SSR的文件不被恶意篡

改，进程不被恶意注入。

6、统一管理

在一个SSR控制台可以同时对多个平台的SSR进行管理和维护，且SSR可

开放接口给第三方管理平台集成，实现与不同产品间管理的融合。

7、灵活多样的策略模板

提供经过验证的分等级的安全策略模板，全面保护系统，方便易用，降低

用户的使用难度。

8、维护模式

当用户担心自己配置的策略是否会影响系统和应用时，可开启此功能，此

时SSR将只记录违规的日志而不进行阻止，便于管理员在不造成业务中断的情

况下调整策略。

功能亮点：

1、免疫病毒木马，抵御黑客攻击

SSR采用的ROST技术对系统中的文件、注册表、进程、网络、服务、帐户

等多方面进行防护构建立体防护体系，从文件创建、执行、访问资源到结束层

层把关，从根本上免疫各种已知未知病毒、后门等恶意代码，抵御黑客的攻

击，确保系统和应用安全稳定运行。

2、降低“零日漏洞”风险，延迟漏洞修复

SSR采用强制访问控制和白名单机制，只允许可信的帐户和进程访问被保

护资源，并对操作系统中重要二进制文件进行完整性保护。即使恶意代码利用

漏洞获取了系统的权限，也不能破坏系统文件和植入木马，降低了从“零日漏

洞”发现到用户打上补丁之间这段“真空期”的安全风险，同时允许用户延迟

补丁部署，推迟到定期修补周期进行修补。

3、分权管理，有效规避“一权独大”

SSR采用了分权管理的机制，规避了原操作系统管理员“一权独大”的风

险，将原系统管理员权限分散为系统操作员、安全管理员和审计管理员，三个

权限各司其职，相互制约，实现了最小权限，不仅保证了系统安全性，同时贴

合了国家相关信息安全标准规范。

4、提升系统安全级别，增强用户合规体验

SSR在操作系统内核层实现了安全标记和强制访问控制机制，与用户系统

自身的自主访问控制相融合，为系统和用户重要应用提供更强的约束和更高的

安全控制级别，同时提供三权分立、完整性校验、双因素认证、剩余信息保护

等紧贴信息安全标准的功能，帮助用户在系统安全建设时的合规要求。

5、统一管理机制，化繁为简

管理员可以从任何地方通过双因子身份认证后，对所有被保护的服务器进行安

全策略制定和维护，实现集中管理，减少日常维护工作量。

二.采用浪潮SSA安全应用交付硬件系统，特点是：

1.丰富的应用负载均衡功能，保障数据中心应用可用性。

支持丰富的四到七层应用负载均衡功能；

支持针对多种算法的全局负载均衡;

支持针对不同运营商多链路的负载均衡；

支持丰富的健康检查功能，保障后台服务实时可用；

可以实现N+1台设备的集群、双机热备、双机互备等多种高可用性部署模

式；

支持冗余电源，最大化网络运行时间，降低了系统宕机或网络故障对业务

的影响。

2.多项应用加速技术，降低服务器负载，提升访问速度，改善用户体验。

采用内存缓存技术，有效降低服务器负载，并提升访问响应速度。

采用业界标准Gzip、Deflate压缩算法，对文本类型资源可实现80%以上

的压缩率，能降低服务器的压力，提高带宽的利用率。

可对多个客户端的TCP连接进行合并，通过少量的长连接与后台服务器通

信。

SSL卸载功能，将加解密负荷卸载到应用交付设备上，有效降低服务器压

力，并保证用户安全。

3.强大的应用攻击检测和防御能力，应用与安全并重。

内置多种DD0S监测算法，可有效防御4-7层DD0S、配合防止各类SQL注

入、XSS、缓冲区溢出黑客攻击，为客户提供最佳的应用漏洞和未知威胁的防御

能力。

三.对管理员密码进行严格管理，半年定期更换。

四.网络设备可以采用华为的产品，性价比高，行销世界，可以抵御DD0S攻

击。

五.对数据进行冗余存储，以防不测，有问题可以及时恢复。

3.5平台搭建实施步骤

1.搭建机房、供电、冷却设备，购买服务器10台（可以提供1000个4G内存

的虚拟机）、存储设备（2P）、云操作系统、安全软件、路由器、交换机、防

火墙等网络设备，搭建云计算平台，建立虚拟资源池，设置虚拟机。

2.制定迁移计划，通过docker容器，打包把学校原有的应用系统迁移到虚拟

机上，在另外的虚拟机上搭建hadoop、spark集群，安装hive、hbase,根据

需要建立hbase数据库表和列，一张表可以有几千列，几十亿条数据，把原有

的所有数据库合为一张表，便于大数据处理，原有数据库的数据通过sqoop导

入hbase。再把学校原有的服务器、存储、网络设备接入云平台，进行虚拟

化。

3.根据需要，用spark对hbase数据进行准实时分析，用机器学习处理大数据

进行预测，用storm对hbase数据进行实时分析、处理，还可对数据进行可视

化。还可以基于云平台开发应用系统。

3.6物理架构设计

模块化数据中心采用一系列模块化设计的动力设备，如一体化集成机柜系

统、供配电系统、制冷系统、监控系统和综合布线系统，高集成设计，通过简

单的接口将相关模块进行组合，从而形成一个完整的数据中心。具有高密模块

化，高可靠性与安全性，快速灵活部署，简单低耗，完善监控等特点。

模块化数据中心充分考虑组件设计、功能和相关性，按照在标准化级别与

用户灵活性之间取得最佳平衡的方式进行模块化。例如，模块化电源系统在电

源、冗余模块和运行时间方面均实现了可扩展性，可以根据当前的IT需求进行

部署，并且考虑后续业务的扩展，这种系统规模优化能力显著降低了总拥有成

本。而且提供热插拔，从而在不需要停止运行系统的条件下进行维护设备。

单排密封通道的模块化数据中心如下图所示。

模块化数据中心整体架构，如下图所示。

模块化设计为满足不断变化的IT需求提供了极大的灵活性。在安装、升级、重

新配置或移动模块化系统时，独立组件、标准接口既节省了时间又节约了费

用。同时也方便设备的选型、采购、安装、维护和扩容，降低整体运营成本，

越来越具有吸引力。

•模块化数据中心特点

模块化数据中心集成方案具有高密模块化，高可靠性和安全性，快速灵活

部署，低成本和低能耗，完善的监控等特点，是新一代集成模块化数据中心产

品。

1.高密模块化

•集成机柜系统、供配电系统、制冷系统、监控系统和综合布线系统，高

集成设计，提供完整的解决方案。

•与云主机、桌面云业务无缝集成，提供端到端数据中心解决方案。

2.快速灵活部署

•工厂预制部件，现场快速组装，部署灵活。

•建设周期缩短50%以上，场地限制少。

3.按需定制

•采用模块化的部件和统一的接口标准，可实现以机架为单位或以模块。

•为单位按需扩容，实现按需调度和动态调整网络资源，节省投资。

4.智能管理

•弹性IT平台，全面的虚拟化能力，极大提升管理效率。

•可通过多种传感器，实现对数据中心内各功能模块的不间断监控。

•应用智能化的运营管理平台，可实现对数据中心基础设施动力、环境、

视频、门禁全领域的远程监控，统一管理、统一部署、统一监控和统一

备份。

5.低成本和低能耗

•可以直接安装在楼宇水泥地面上，无需专用数据中心，可减少外配套工

程。

•空调靠近设备提高送风效率；水平送风空调靠近热源，送风距离大大缩

短，从而减少了距离导致的气流压力损失，冷空气的泄漏损失，提高了

冷量的利用效率。

•供应周期短，快速交付，快速安装，有效降低成本。

第4章整体架构设计

4.1网络总体架构

运营商线路

光纤一

RJ45线

图例

终

端

3接

数据中心汇聚交换机

入

区

数

据

存

储■■,AAA,AAA

区

主数据存储备数据存储

其他终端区运营终端区

图4Txxx总体网络拓扑图

刀片服务器通过机架上的2个交换机连接到核心交换机，核心交换机通过

防火墙连接路由器，路由器连接internet。2台云管理服务器运行云操作系

统，采用Haproxy形成冗余，对云中心进行管理，oracle、sqlserver数据库

通过交换机接入网络，安全服务器、存储也接入交换机。Mysql数据库可以安

装在虚拟机上，oracle、sqlserver数据库不能装在虚拟机上，否则性能降低

60%o

通过在防火墙上制定策略，对云中心服务器进行过滤，保护云中心的服务

器。

4.2XXX公共服务平台功能设计

4.2.1数据中心功能示意图

图4-6数据中心功能示意图

4.2.2公共服务系统功能示意图

公共慰

务系统

1s9MS9

交互门在线办企业版涔南投

户横决・横快鸟嗜埃诉雁决若平台

B^>3