XX智慧城市大数据中心建设项目概要设计-数据管理平台m

XX智慧城市大数据中心建设项目

-数据管理平台概要设计文档

V1.0

版本修订历史

日期作者/修订人章节修改内容版本

2018.05.20XXV1.0

目录

1引言..............................................4

1.1文档概述....................................................4

1.2引用文档...................................错误!未定义书签。

1.3标识........................................错误!未定义书签。

2项目概述...........................................4

2.1项目背景.....................................................4

2.2建设目标.....................................................5

3概要设计...........................................5

3.1系统功能架构.................................................5

3.1.1统一安全子系统..............................................6

3.1.2元数据管理子系统............................................6

3.1.3数据集成子系统..............................................7

3.1.4运维监控子系统..............................................8

3.2系统技术架构.................................................8

3.2.1总体技术架构................................................8

322前端开发框架................................................10

3.2.3服务端开发框架.............................................10

3.2.4微服务架构.................................................10

3.2.1大数据技术.................................................11

3.2.2数据集成技术...............................................11

3.3项目部署设计................................................12

3.3.1系统硬件环境...............................................12

3.3.2系统软件环境...............................................12

3.3.3系统部署说明...............................................13

3.4性能设计....................................................14

4安全设计..........................................15

2

4.1数据安全................................................15

4.2应用安全................................................15

4.3物理安全................................................17

4.4网络安全................................................18

4.5平台安全................................................19

4.6终端安全................................................19

4.7管理安全................................................20

3

1引言

1.1文档概述

本概要设计说明书编写的目的是为设计系统提供技术理论以及框架设计支

持。本说明书的预期读者为系统设计人员、软件开发人员、软件测试人员和项目

评审人员。

2项目概述

2.1项目背景

2013年，XX市政府就已明确“智慧城市”发展方向和信息化需求，通过完

善城市规划，为''智慧城市”的基础建设预留空间；协调各信息化主体关系，化

解信息化推进过程的管理障碍；通过进一步加强“智慧城市”信息化基础建设,

为智慧城市建设奠定了坚实的基础。

2015年10月，XX市政府委托国内知名专家规划制定了《XX市智慧城市建

设顶层设计》，以国家智慧城市试点建设为契机，综合运用物联网、云计算、大

数据等现代科学技术手段，发挥XX市资源、港口、交通、特色文化及产业经济

优势，通过3-5年努力，完善城乡基础设施，促进资源共享，实现基础设施智能

化；建立完善的现代城市管理、产业融合发展体系，创新城市管理与发展，提升

城市管理水平；以人为本，提升公共服务水平，促进社会事业进步与发展，城乡

人民物质文化生活水平显著提高；遵循“优一强二增三”的产业发展思路，做强

支柱产业，培育发展战略性新兴产业和现代服务业，促进产业结构调整，提升提

高经济发展水平；形成智慧城市运营和服务体系，保障城市人口、经济、资源、

环境和社会全面协调可持续发展。

2017年9月，XX市委、市政府成立了XX市统筹推进信息化建设领导小组，

统筹推进全市信息化建设工作，促进数据资源整合、共享、开放，提高社会治理

能力和公共服务水平，同时推进我市实体经济数字化、网格化、智能化，推动网

4

络信息技术产业健康快速发展。

2017年，XX市委市政府先后出台一系列政策文件，推动全市信息化建设和

信息产业发展，加快XX市城市大数据中心建设正是进一步推进新型智慧城市建

设，落实市委市政府决策的有力抓手。

2.2建设目标

数据管理平台提供数据梳理、数据管理、服务监控、政务数据协同、数据服

务集成、运行支撑、IT运维功能。

3概要设计

3.1系统功能架构

数据管理平台从总体架构设计上保证了平台在系统规模与业务场景上的先

进性和可扩展性。全平台采用基于X86硬件的全分布式架构，可按需方便地进行

水平扩展(ScaleOut)和弹性伸缩。平台由多个可插拔的独立系统组成，系统间

松耦合，采用标准服务化接口进行互通。除必选系统外，其它系统可根据需要灵

活选择和独立安装部署。

数据交换系统数据资源・界羯设■数据服务框架系统统一监控统一数据

目颔统,酬通1in醯jA弼目录I翔龙同

租

元数据数据分析、计算、存储集

户

群

管理系统数据任务两度系统'组

用

管

织

数

故任务调度|

机

据数据仓库系统

户

咽

关

管

授

系.

俱

数据计算引擎理

督

管

理

色

理

数据分析IDE环境业

一■

管

版数1神直询1目录曾理

据

本

MySQLHiveHBaseHDFSES理

一

管任务与词度分析s

簿

理m&

m

■作

x

权

数据采集、清洗、转换全

限

元

云化数据集成系统管

日

定

数据转换引擎理

钱换列表I作业列表ISpark?IW志

数据前告网关系统

前置机I流式蚊据I崛故据I犍接口

功能架构图

5

3.1.1统一安全子系统

统一安全子系统主要由数据管理、身份认证和访问控制、数据保护、网络安

全、平台基础安全五大功能模块组成。

基武安全

数据管理，通过与元数据管理系统结合，实现数据的读写、元数据编辑等权

限的访问控制。

身份认证和访问控制，通过SSO和用户权限模型，实现多个子系统间的单点

登录，和系统界面菜单访问控制。

数据保护，通过加密计数和kerberos安全套件，实现操作系统和物理存储安

全。

网络安全，通过加密技术实现数据传输安全。

基础安全，提供安全审计方面的功能功能支持。

3.1.2元数据管理子系统

元数据管理子系统，主要包括元数据管理、元数据展现和数据资源三大子模

块。

元数据管理包括数据系统注册、元数据管理、数据关系管理、版本管理。

6

元数据展现包括数据地图和元数据查询。

数据资源包括元数据资源目录和资源权限管理。

Web端HTTP+JSON对外服务接口

HWE设置

系数据源注册A资源权限管理

统

数显示

安HBASE设置

元

元

据

组

权

全

数据地图存

数

数

限

标

织

规

元数据管理储关系型数据库设置

据

据存储资源目录查看

管

准

结

设

则

管

展

理

管

构

置

配HDFS目录设置

理

数据关系管理现元数据查询

理

设

置传输—▼-

置ES词库SB资源搜索

版本管理

FTP目录设置

DA。层

DB层

元数据功能架构图

3.1.3数据集成子系统

整个数据集成系统主要包括云化数据集成系统（CloudETL）和前置机系统。

云化数据集成系统承担数据集成的任务调度、流程配置、任务分发和执行、过程

监控、异常处理等工作；前置机系统主要承担用户侧和数据源侧的数据缓存、接

口对接、采集控制等工作，前置机系统主要用在推模式的数据集成时。

7

CloudETL

客户谕儿数则

数据源

g流程设计层

g

o采集工具(Kettle/Sqoop/Flume/Kafka/Nutch)

分布式执行层

前置机集群

■e襁

RDBMSFSSFTP

其他系统非分布式存储

3.1.4运维监控子系统

运维监控子系统主要包括运维管理平台和服务器Agent,实现集群管理、软

件安装、配置管理、服务监控等功能模块。

3.2系统技术架构

3.2.1总体技术架构

大数据处理系统设计遵照高可用、高可扩展性、高安全性的设计思想，共分

8

为数据源层、采集层、处理层、接口层、应用层五层。

安

运

全

维

体

保

系

障

抠源

RDBMSlnt«rn«tV»dk>Lot

技术架构图

1、数据源层

数据源主要包括来自网格化数据、部门数据、市政务服务热线数据、市政府

舆情数据、新区一号通数据、人民网地方领导留言板数据、政府信箱数据、人民

来信等数据。

2、采集层

采集层主要通过网络获取、接口采集、日志采集等方式进行数据的采集。

3、处理层

处理层主要负责数据仓库的构建和数据的整合。由于不同数据源，存在不同

的结构和模式，表现为数据的异构性。对多个异构的数据集，需要ETL做进一步

集成和整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，加载入

Hadoop和MPP平台。

4、接口层

接口层主要基于接口进行远程服务调用。

5、应用层

应用层主要对结果分析进行应用和展示。

9

3.2.2前端开发框架

前端框架采用ReactJS,界面元素采用组件化方式开发，兼容chrome和

Firefoxo

3.2.3服务端开发框架

服务端采用SpringMVC+iBatis框架，通过SpringMVC的Controller发布rest

api,与前端reactjs框架交互。

表现层

控制层

springTransoction

业务逻辑层IOCApplication

Contexte

ORMapptng

持久层

3.2.4微服务架构

平台各子系统独立开发部署，采用dubbo微服务架构实现消息和数据的传

递。

10

3.2.1大数据技术

大数据技术采用Hadoop产品集，版本上选择拥有ApacheLicense的社区版

和ambari版本。

3.2.2数据集成技术

数据集成采用Kettle和Spark技术，依据Kettle插件开发要求，开发数据管

理平台所需数据采集和数据转换组件。

11

r¥PiiL

RESTAPRJSPPReact.js*

3.3项目部署设计

3.3.1系统硬件环境

名称推荐硬件指标数量

Web服务器32G内存，8核CPU,1T存储空间2

应用服务器32G内存，8核CPU,IT存储空间3

数据库服务器64G内存，8核CPU,2T存储空间2

Hadoop服务器64G内存，16核CPU,4T存储空间5

数据集成服务器32G内存，16核CPU,4T存储空间3

3.3.2系统软件环境

名称版本

12

Mysql5.6.x以上

DM数据库7.0以上

操作系统器CentOS6.5,64位

JDKOracleJDK8,64位

数据管理平台1.0.0

3.3.3系统部署说明

1、部署人员要求

安装人员应具备以下技能：

•熟练使用Linux常用命令，了解shell脚本；

•懂得使用SSH工具连接到Linux环境进行应用程序的部署；

•对网络知识有一定了解。

2、部署网络拓扑

为保证在不连接互联网的情况下，所有软件能正常安装，服务器集群需要一

台服务器做软件中心仓库（Yum私服）。需要一台服务器做安装运维监控系统

在集群其他服务器上安装代理服务

UniOMServeroUniOMAgento

3、部署流程

采用可视化方式，通过系统向导功能实现一键式安装部署。

13

安装验收

3.4性能设计

系统平均响应时间能够满足系统并发压力负载性能需要。在中等负载及网络

环境许可下，各种操作的响应时间要求如下：

（1）平台要求提供标准的API接口规范和消息接口规范，支撑外部业务应

用系统的统一接入；

（2）查询基础数据库（精确匹配）的响应时间不大于5秒；

（3）查询单个数据主题（百万级）的响应时间不大于5秒；

（4）目录数据的本地查询响应时间不大于3秒；

（5）查询统计报表（非实时统计）的响应时间不大于5秒；

（6）数据服务系统的本地响应时间不应超过4s,应用服务系统的响应时间

不应超过10so

14

4安全设计

4.1数据安全

1、数据完整性

能够检测到系统管理数据、鉴别信息和重要业务数据在传输过程中完整性受

到破坏，并在检测到完整性错误时采取必要的恢复措施。

能够检测到系统管理数据、鉴别信息和重要业务数据在存储过程中完整性受

到破坏，并在检测到完整性错误时采取必要的恢复措施。

2、数据保密性

采用加密或其他有效措施实现系统管理数据、鉴别信息和重要业务数据传输

保密性。

采用加密或其他保护措施实现系统管理数据、鉴别信息和重要业务数据存储

保密性。

3、数据备份与恢复

1）提供本地数据备份与恢复功能，完全数据备份至少每天一次，备份介

质场外存放。

2）提供异地数据备份功能，利用通信网络将关键数据定时批量传送至备

用场地。

3）采用冗余技术设计网络拓扑结构，避免关键节点存在单点故障。

4）提供主要网络设备、通信线路和数据处理系统的硬件冗余，保证系统

的高可用性。

4.2应用安全

1、身份鉴别

1）提供专用的登录控制模块对登录用户进行身份标识和鉴别。

2）对同一用户采用两种或两种以上组合的鉴别技术实现用户身份鉴别。

3）提供用户身份标识唯一和鉴别信息复杂度检查功能，保证应用系统中

不存在重复用户身份标识，身份鉴别信息不易被冒用。

15

4）提供登录失败处理功能，可采取结束会话、限制非法登录次数和自动

退出等措施。

5）启用身份鉴别、用户身份标识唯一性检查、用户身份鉴别信息复杂度

检查以及登录失败处理功能，并根据安全策略配置相关参数。

2、访问控制

1）提供访问控制功能，依据安全策略控制用户对文件、数据库表等客体

的访问。

2）访问控制的覆盖范围应包括与资源访问相关的主体、客体及它们之间

的操作。

3）由授权主体配置访问控制策略，并严格限制默认帐户的访问权限。

4）授予不同帐户为完成各自承担任务所需的最小权限，并在它们之间形

成相互制约的关系。

5）具有对重要信息资源设置敏感标记的功能。

6）依据安全策略严格控制用户对有敏感标记重要信息资源的操作。

3、安全审计

1）提供覆盖到每个用户的安全审计功能，对应用系统重要安全事件进行

审计。

2）保证无法单独中断审计进程，无法删除、修改或覆盖审计记录。

3）审计记录的内容至少应包括事件的日期、时间、发起者信息、类型、

描述和结果等。

4）提供对审计记录数据进行统计、查询、分析及生成审计报表的功能。

4、剩余信息保护

1）保证用户鉴别信息所在的存储空间被释放或再分配给其他用户前得到

完全清除，无论这些信息是存放在硬盘上还是在内存中。

2）保证系统内的文件、目录和数据库记录等资源所在的存储空间被释放

或重新分配给其他用户前得到完全清除。

5、通信完整性

采用密码技术保证通信过程中数据的完整性。

6、通信保密性

16

1）在通信双方建立连接之前，应用系统应利用密码技术进行会话初始化

验证。

2）对通信过程中的整个报文或会话过程进行加密。

7、抗抵赖

1）具有在请求的情况下为数据原发者或接收者提供数据原发证据的功

能。

2）具有在请求的情况下为数据原发者或接收者提供数据接收证据的功

能。

8、软件容错

提供数据有效性检验功能，保证通过人机接口输入或通过通信接口输入的

数据格式或长度符合系统设定要求。

提供自动保护功能，当故障发生时自动保护当前所有状态，保证系统能够

进行恢复。

当应用系统的通信双方中的一方在一段时间内未作任何响应，另一方应能

够自动结束会话。

能够对系统的最大并发会话连接数进行限制。

能够对单个帐户的多重并发会话进行限制。

能够对一个时间段内可能的并发会话连接数进行限制。

能够对一个访问帐户或一个请求进程占用的资源分配最大限额和最小限

额。

能够对系统服务水平降低到预先规定的最小值进行检测和报警。

提供服务优先级设定功能，并在安装后根据安全策略设定访问帐户或请求

进程的优先级，根据优先级分配系统资源。

4.3物理安全

1、环境安全：场地、机房的温度、湿度、照明应满足一定条件，供电系统

24小时运转，并有防盗系统、防静电、防辐射的相关保护。

2、设备安全：设备防火、防水、物理损害措施；设备防火灭火正常检查；

设备定期检查火灾隐患；供暖系统、空调等保障；设备电源保障；数据传输线

17

路维护与保障；主机等设备保障；可移动数据保障；存储介质维护；磁盘磁带

库访问的介质的维护等。

3、媒体安全：信息消除技术、介质的消毁技术需达到国家相关标准。

4、容灾备份：计算机系统分布在不同的地理位置，当灾难发生时，不会使

整个系统失效。

4.4网络安全

1、内网和外网间的边界防护

在条件允许的情况下，实现保密内网与外网的物理隔离，从而将攻击者、

攻击途径彻底隔断。即使在部分单位，内网、外网有交换数据的需求，也必须

部署安全隔离和信息交换系统，从而实现单向信息交换，即只允许外网数据传

输到内网，禁止内网信息流出到外网。

2、对核心内部服务器的边界防护

内网中常包括核心服务器群、内网终端两大部分，核心服务器保存着大部

分保密信息。为避免内网终端非法外联