数据可视化系统实施方案

XXXXX科技有限公司

密级:

数据可视化系统实施方案

(V1.0)

项目编号：项目名称：

编写人：XXXX编写日期：2020.05.10

审核人：XXXX审核日期；2020.05.15

批准人：批准日期：

文档修订记录

日期版本说明作者审批人

2020.05.101.0第一稿XXXXXXXX

2

目录

第1章.编写说明......................................................................................5

1.1编写目的.......................................................................................5

1.2术语定义.......................................................................................5

第2章.项目实施总述.................................................................................6

2.1项目建设目标与任务............................................................................6

2.1.1.项目建设总体目标.......................................................................6

2.1.2.项目分阶段目标.........................................................................6

2.2项目建设内容...................................................................................7

2.2.1.项目总体架构...........................................................................7

221.1.总体架构7

.技术架构9

.数据架构.........................................................错误！未定义书签。

.集成架构.........................................................错误！未定义书签。

.关键技术介绍.....................................................错误！未定义书签。

2.2.2.项目软硬件系统建设内容..............................................................10

.态势分析............................................................错误！未定义书签。

222.2.经济走势...........................................................错误！未定义书签。

.产业结构............................................................错误！未定义书签。

2.2.24农业情况............................................................错误！未定义书签。

.工业情况............................................................错误！未定义书签。

.三产情况............................................................错误！未定义书签。

2.2.27.产业投资...........................................................错误！未定义书签。

.房地产投资情况......................................................错误！未定义书签。

,产业投资分析........................................................错误！未定义书签。

0.施工项目情况......................................................错误！未定义书签。

1.行业发展..........................................................错误！未定义书签。

2.区域发展..........................................................错误！未定义书签。

3.企业分析..........................................................错误！未定义书签。

2.2.3.项目实施工作内容.....................................................................15

2.2.4.项目实施进度规划.....................................................................15

2.2.5.实施风险与关键点.....................................................................17

第3章.里程碑计划..................................................................................19

第4章.2020年详细工作计划.......................................................................21

3

文档格式约定：:

一级标题：左对齐黑体字二号字加粗

二级标题：左对齐黑体字小二号字加粗

三级标题：左对齐黑体字三号字加粗

四级标题：左对齐黑体字四号字加粗

正文：正文首行缩进2字符1.5倍行距宋体小四号字

图片：居中

表格：居中表格文字左对齐宋字五号字

4

第1章.编写说明

1.1编写目的

本方案不仅从实施目标、任务、执行计划和组织分工等方面对沧州大数据中心

项目数据中心项目（以下简称'‘本项目"）的实施工作进行了宏观定义，并对具体

的基础设施建设、系统设计方案、标准规范及培训实施方案、系统实施、实施与保

障等专项工作也做较为详细的定义，以指导后续的实施工作。

1.2术语定义

1.共建单位：配合沧州大数据中心工程建设的政府机构、公共事业部门和企

业。

2.承建单位：XXXX（北京）科技有限公司。

5

第2章.项目实施总述

2.1项目建设目标与任务

2.1.1.项目建设总体目标

使用可视化界面进行可视化和挖掘建模的开发设计，避免运营调整时底层代码

编写的影响。平台基于Spark分布式内存计算引擎，内置表格、图形、交互控制等

功能组件，以及常用的挖掘模型算法，包括经典聚类、分类、回归、关联规则等算

法，基于R语言的统计算法，文本等非结构化数据建模的算法等。支持在数据分析的

深层次应用中的各种复杂需求。

2.1.2.项目分阶段目标

1.第一阶段目标

2020年5月15日工作目标

(1)完成平台基础功能建设及测试与运行。

2.第二阶段目标

2020年7月底工作目标

(1)完成态势分析部署、测试与运行。

(2)完成经济走势部署、测试功能建设。

(3)完成财政收支部署、测试功能建设。

(4)完成产业结构部署、测试功能建设。

3.第三阶段目标

2020年10月工作目标完

成初验、试运行和终验。

6

2.2项目建设内容

2.2.1.项目总体架构

.总体架构

总体架构图如下，逻辑上共分5层，与传统商务智能架构差别大的是在存储层。

0

展示层

应用层

存储层

抽取层

数据源

1、存储层

a）按分布式多层架构存放数据，按数据粒度分为三级存储:

当前细节级：包括企业所有明细业务数据，是各业务需要在数据中心进行应用

的数据；

轻度综合级：经过整理后符合数据中心标准，有明确定义的数据；

高度综合级：来源于轻度综合，针对综合性主题分析的数据。

b）数据管理

制定数据中心的指标体系，保证数据中心数据的统一和易用；

制定数据中心开发和维护时需要遵守的规范;

7

制定各部门在数据中心运作中的职责。

C）数据应用

为用户提供各类数据应用的工具和平台；

为专业管理人员提供各类智能化分析模型为各级领导和管理人员提供个性化

数据浏览；

为各级统计人员提供高效、灵活的报表，实现报表制作、报送。

2、Spark

Spark是UCBerkeleyAMPIab所开源的类HadoopMapReduc的通用并行框架，

Spark,拥有HadoopMapReduc所具有的优点；但不同于MapReduce的是Job中间

输出结果可以保存在内存中，从而不再需要读写HDFS因此Spark能更好地适用

于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不

同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换

句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优

化迭代工作负载。

Spark是在Scala语言中实现的，它将Scala用作其应用程序框架。与Hadoop

不同，Spark利Scala能够紧密集成，其中的Scala可以像操作本地集合对象一样轻

松地操作分布式数据集。

3、Dataframe

Dataframe是Spark框架提供执行SQL命令接口，为了最大程度的保持和Hive

的兼容性，Dataframe使用了Hive的API来实现queryParsing和

LogicPIangeneration,最后的PhysicalPlanexecution阶段用Spark代替

HadoopMapReduce通过参数配置，可以自动在内存中缓存特定的RDD实现数据重

用，进而加快特定数据集的检索。同时，Dataframe通过用户自定义函数实现特定

的数据分析学习算法，使得SQL数据查询和运算分析能结合在一起，最大化RDD的

重复使用。

4、SparkStreaming

构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小

8

9

的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。

SparkStreaming构建在Spark上，一方面是因为Spark的低延迟执行引擎（100ms。,

虽然比不上专门的流式数据处理软件，也可以用于实时计算，另一方面相比基于Record

的其它处理框架（如Storm）,一部分窄依赖的RD或据集可以从源数据重

新计算达到容错处理目的。此外小批量处理的方式使得它可以同时兼容批量和实时

数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用

场合。

5、应用层

为用户提供各类数据应用的工具和平台。

为专业管理人员提供各类智能化分析模型为各级领导和管理人员提供个性化

数据浏览。

为各级统计人员提供高效、灵活的报表，实现报表制作、报送。

2.2.1.2.技术架构

基于分布式内存迭代计算框架Spark,全面支持七大应用平台。目前国内涵盖

数据存储、数据可视化、数据挖掘最完整产品方案。

系

统

可视化数据可视化自助多维报表

开发平台移动管

照平台设计平台分析平台分析平台BI开发平台

8理

SQL接口Spark服务

joec/ooBcScala/Java/Python

SporK内存加速计苴引掌

ROLAPServer

Gaphx/Mllib

SparkStreamSparkSQL模型算法库

0O

关系里数据库Hbase/Hive/Hdfs诜三五血雷谓

度

管

理

10

2.2.2.项目软硬件系统建设内容

.数据连接

大数据分析与可视化平台针对各类大数据乃至关系数据，都内嵌了访问连接器，

通过很简单的步骤，就可以将结构化和非结构化数据、存在于各类关系数据库、各

类大数据存储方式中，的数据就可以加载到分析平台。

支持多种数据源：

传统的关系型数据、列式数据库、非结构化数据、大数据。

多种接入方式：

JDBCWebServices,HTTPW求、手工导入。

效免集成

,存储

大数据分析与可视化平台提供一站式数据存储平台和一站式管理平台，支持各

种大数据存储平台的连接和访问。帮助客户从容面对数据的迅速增长和业务系统对

存储的不确定性需求风险，从而降低客户TCO满足业务增长和变化的需要。

11

2.2.2.3.大数据可视化

大数据分析与可视化平台通过简单的拖拽即可完成美观符合业务需求的页面。

拥有广泛的组件库，包括表格，图形，图表，地图，仪表盘等200多种组件，

还可以自定义自己的业务组件，使用户能够创建简单的数据可视化仪表板或惊艳的业

务信息图表和可视化。

2.2.24报表设计平台

全面满足复杂中国式报表的要求，采用结果拼接的方式，即使表格非常复杂，

只要单表容易展示，就能拼接出复杂的报表，复杂性不受子报表组合影响，可以全

面满足日常业务报表分析与应用需求。

12

2.2.2.5.探索式关联分析

建立报表链接将多个报表关联起来，实现从一个报表跳转到另一个报表。通过

报表间的分析跳转，不仅能够方便地实现概要数据到明细数据的透视分析，而且可

以在关联的报表之间传递参数实现分析流。

2.2.2.6,自助交互分析

大数据分析与可视化平台对数据进行聚合和计算，做互动性的分析，只要几下点

击，便可以生成和发布出直观和互动的自助式商务智能解决方案

13

2.2.2.7.内存数据立方体

大数据分析与可视化平台采用动态的内存数据立方体技术，并行计算的数据处

理方式，使用列式数据库存储模式，同时采用高效的智能位图索引，以及智能避免

重复计算的缓存机制，保证数据查询的准确，高效的展示出来。

2.2.2.8,计算公式引擎

大数据分析与可视化平台内置计算引擎支持数据类型转化，常用函数、数学和

三角函数、文本函数、日期和时间函数、逻辑函数、数组函数、以及其他自定义函

数。可以像使用EXCEL公式一样简单进行数据的运算。

内置了同比，环比，占比，排名，累计，平均，方差，中位数，标准差，8020、

TopN、四分位分析等80个涵盖了使用人员80%的计算。

基于查询出来的结果进行排序，根据维度自身进行排序，根据汇总指标的大小

对维度进行排序展示，根据公式值进行排序。

14

2.2.2.9.异常预警

对某个数据区间的数据可以进行红绿灯预警或者数据前景预警；通过数字颜色

的变化、标记的变化，以直观的方式标记了当前数据的特征，并可以结合业务逻辑提

示决策人员尽早调整决策。

2.2.2.10.灵活的钻取分析

无限制探索数据涵义。无需等待固定报告可以对维度直接通过设置进行多层钻取

可以进行多层钻取设置，通过现有数据一层层钻取得到底层数据，查找到影响事

物发展结果的根本因素。

2.2.2.11.基于HTML5展现

基于HTML5的展现，能够跨平台、跨系统，完美支持Android/iPhone等主流

的智能终端。支持所有流行的操作系统和常用的浏览器。用户就可以随时随地的通

15

过各种设备来查看数据分析的结果。

2.2.3.项目实施工作内容

一、实施方案制定

根据总体目标与要求进行系统设计，制定实施方案。

二、需求调研工作

1、参与展委办局需求调研

2、完成数据对接

三、平台系统开发、安装部署和联调工作

完成平台软件系统的设计开发，并进行安装部署和联调测试，在经过试用期限

后正式对外发布。

2.2.4.项目实施进度规划

一、实施阶段划分

根据项目实施的特点，项目阶段总体上划分为以下七个阶段：

?启动阶段

?需求分析阶段

?设计开发阶段

?实验室测试阶段

?用户测试阶段

?上线试运行阶段

?系统初验阶段

?系统终验阶段

启动阶段：主要工作是完成项目的组织机构建设，形成甲乙方沟通机制。宣布

项目启动，并发布甲乙方认可的项目工作计划。

需求分析阶段：主要完成数据中心项目的需求分析和标准规范制定工作。

设计开发阶段：包括概要设计阶段、详细设计和编码阶段两个部分。主要完成

16

17

数据中心的设计、开发和内部测试工作。

实验室测试阶段：主要是承建单位在实验室环境完成数据中心的系统测试工作。

用户测试阶段：主要是由建设单位用户主导，在用户现场进行数据中心的系统

测试。系统通过测试才能进行上线试运行工作。

上线试运行阶段：主要完成数据中心的系统部署上线。

系统初验阶段：系统初验的基本条件一是系统的设计、开发、测试和集成工作，

达到功能、性能、使用等方面的要求；二是用户对系统的使用方式满意，确实方便

了用户，提高了用户的效率，达到了系统的设计目标；三是系统基本稳定，确保试

运行后能够正常工作。

系统验收阶段：系统在达到了全部规定要求，试运行期间无重大技术故障，承

建单位在提交全部相关文档、报告、代码等交付物的前提下，可以向业主提出系统

竣工验收的申请。业主按照验收标准组织验收。终验合格后，工程建设完工，进入

质量保证期。

二、前置条件

项目实施的各个阶段，需要响应的前置条件保证其具备基本的实施推进基础，

具体包括：

项目实施阶段前置条件

启动阶段签署项目合同或取得开工证明

需求分析阶段确定项目总体计划，确定各共建单位责任人员，提

供有效配合

设计开发阶段签署需求规格说明书

实验室测试阶段确定项目详细设计

用户测试阶段完成实验室测试，取得实验室测试报告

上线试运行阶段确定上线试运行方案

系统初验阶段确定系统初验方案

系统终验阶段确定系统终验方案

18

2.2.5.实施风险与关键点

项目建设中会遇到各类的困难，存在各种各样的风险，需要得到高度的关注和

重视，采取多种措施加以预防，以保证工程成功实施。

针对沧州大数据中心工程数据中心项目的实施特点，主要风险包括组织风险、

实施风险、技术风险、资源风险、运维风险，针对不同的风险建议采取如下的风险

控制措施。

一、组织风险

本项目中组织风险主要表现：

1、各层人员在项目的意义和目标上没有达到完全的共识。

2、部分关键问题无法得不到及时决策和解决。

此类风险主要解决措施：

1、明确“一把手工程”，各层次的负责人要全力支持。另外可定期召开项目沟

通与协调会，让各层次人员认识并理解项目的意义和目标；

2、建立明确的沟通协调机制，关键问题建立直报流程，日常问题通过各方成

员定期召开的项目周例会解决；

3、将项目分阶段实施，以减少需求不确定性带来的风险。

二、实施风险

本项目实施风险主要表现：

1、需求有不确定性；

2、项目参与方较多，沟通不畅可能带来进度及质量等多方面的风险。

3、各子系统集成较复杂，集成时间可能会影响项目交付进度。

此类风险主要解决措施：

1、将建设目标分阶段实施，在减少需求不确定性带来的风险；

2、建立明确的各方沟通机制及分工界面，定期召开沟通协调会以控制进度和

质量风险。

17

3、在各子系统要遵循标准规范，在系统集成前要各自完成系统本地集成测试。

三、技术风险

标准产品上线运行，无明显的技术风险。

四、资源风险

本项目资源风险主要表现：

1、各单位经济数据提供的组织障碍是最大的风险。

五、运维风险

本项目运维风险主要表现：

1、系统较为庞大及复杂，对维护人员有较高要求，存在支持力度不够风险；

2、系统出现问题得不到及时解决；

3、系统后续持续优化风险。

此类风险主要解决措施：

1、高度重视运维问题，明确运维模式；

2、由IT基础设施专业人员、应用系统开发人员、业务专家共同组成，负责系

统运行的支持、维护和优化工作。

18

第3章.里程碑计划

针对沧州大数据中心工程决策系统项目的实施特点，本项目共设置以下几个里

程碑：

1、项目计划

2、需求分析

3、概要设计

4、详细设计和编码

5、内部测试

6、用户测试

7、上线试运行

8、系统初验

9、系统终验

项目里程碑计划如下表:

里程碑名称主要提交物里程碑评审方式

项目总体计划

项目计划项目组甲方评审

项目里程碑计划

需求规格说明书

需求分析项目组甲方评审

数据服务技术标准和规范

概要设计概要设计说明书项目组甲方评审

详细设计说明书

详细设计和编码数据库设计说明书项目组甲方评审

单元和单元集成测试报告

实验室测试方案

实验室功能测试报告

实验室测试项目组甲方评审

实验室性能测试报告

实验室安全测试报告

用户测试用户测试方案项目组甲方评审

19

里程碑名称主要提交物里程碑评审方式

用户功能测试报告用户性能

测试报告

用户安全测试报告

试运行工作总体实施方案

上线试运行项目组甲方评审

试运行报告

系统初验系统初验方案

项目组甲方评审

系统初验报告

系统终验系统终验方案

项目组甲方评审

系统终验报告

20

第4章.2020年详细工作计划

按照数据中心项目2020年9月底工作目标安排，针对2020年的实施工作制定

详细工作计划如下:

建设承建

阶段工作任务开始时间完成时间主要交付物

单位单位

启动阶段

确定项目组项目组织及职责分

4月15日4月15日配合负责

织架构工

制定项目工

4月16日4月16日项目工作说明书配合负责

作说明书

项目启制定项目总项目总体计划配合负责

4月17日4月18日

动体计划项目里程碑计划

搭建工作环

4月19日4月20日开发工具与环境配合负责

境

召开项目启

4月20日4月20日项目管理规范负责配合

动会

需求分析阶段

需求分数据字段梳配合负责

4月23日4月26日

析理需求调研记录单

需求调研4月27日5月11日配合负责

需求规格说配合负责

5月11日5月15日需求规格说明书

明书

需求评审5月16日5月18日评审报告配合负责

概要设计阶段

概要设概要设计5月21日5月22日概要设计配合负责

计概要设计评概要设计评审报告负责配合

5月23日5月23日

审

详细设计和编码阶段

21

建设承建

阶段工作任务开始时间完成时间主要交付物

单位单位

详细设详细设计5月24日5月25日各应用系统详细设配合负责

计和编详细设计评计负贡配合

5月28日5月28日

码审各应用系统详细设

编码和单元计评审报告配合负责

测试原代码

5月29日7月13日

目标代码

部署安装手册

实验室测试阶段

测试方案制负责

5月21日5月22日测试方案

定

测试环境部负责

7月10日7月13日环境配置表

署

第一轮缺陷记录及状态跟负责

功能测试7月16日7月20日

测试踪表

缺陷记录及状态跟负责

性能测试7月18日7月20日

踪表

阶段测试总负责

7月20日7月20日测试报告

结

前一轮问题负责

7月23日7月24日

回归

各应用系统负责

第二轮缺陷记录及状态跟

功能回归测7月25日7月26日

测试踪表

试

阶段测试总缺陷记录及状态跟负责

7月27日7月27日

结踪表，系统调优

测试报整体测试报

7月27日7月27日实验室测试报告负责

告告及评估

22

建设承建

阶段工作任务开始时间完成时间主要交付物

单位单位

用户测试阶段

测试方案制负责

7月16日7月20日测试方案配合

准备阶定

段测试环境部负责

7月23日7月31日环境配置表配合

署

缺陷记录及状态跟负责

第一轮测试8月1日8月10日配合

踪表

功能测

阶段测试总负责

试8月13日8月14日测试报告配合

结

第二轮

前一轮问题缺陷记录及状态跟

功能测8月14日8月20日负责配合

回归测试踪表

试

总体测总体测试报

8月21日8月21日用户使用报告配合

试报告告及评估负责

项目初验

初验文档准备8月22日8月27日初验文档负责配合

各子项目验收8月28日8月30日初验报告负责配合

上线试运行阶段

编写试运行

试运行试运行工作总体实

工作总体实9月1日9月1日配合负责

工作施方案

施方案

试运行上线试运行9月2日9月30日试运行报告配合负责

系统培人员系统培系统方案及培训记

9月1日9月30日配合负责

训训录

系统终验

系统终验方案

系统终验10月8日10月19H负责配合

家统"验报告

23

建设承建

阶段工作任务开始时间完成时间主要交付物

单位单位

系统运维

项目运维报告

项目运维终验后三年负责配合

项目运维记录

24

第5章.系统安全设计

5.1参考依据

本项目牵涉到多部门跨领域应用，信息安全体系是保障系统正常运行的关键

一环。为保障沧州城市大数据中心的安全可靠性，满足安全审查和数据保密的要求，

本项目的安全体系建设主要参照以下标准和文件：

1、中共中央办公厅于2002年发布的中办［2002J17号文件（关于转发《国家

信息化领导小组关于我国电子政务建设指导意见》的通知）；

2、中共中央办公厅于2003年颁布的中办［2003］27号文件（《国家信息化领

导小组关于加强信息安全保障工作的意见》）

3、OCTAVE一可操作的严重威胁、资产和脆弱性的评估，一个广泛的系统

的和内部驱动的信息安全风险评估方法；

4、《电子政务信息安全保障技术框架》；

5、《信息安全管理实用规则ISO/IEC2700O

6、4ATF信息保障技术框架》

7、《信息系统安全等级保护基本要求》

5.2设计原则

根据统一规划，在本项目实现公共服务信息和各项委办局信息的共享和交换，

所本项目的安全保障体系必须具备可靠、安全、开放、可扩展、易于管理、全方位

等特点，遵循以下设计原则：

可靠性：安全系统自身必须能够确保正常运行，不能因为安全系统出现故障

而导致应用系统出现问题。

安全性：安全系统既要保证网络和应用的安全，又要保证自身的安全。

开放性：必须保证安全系统的开放性以保证不同厂家的不同产品能够集成到

系统中来，并保证安全系统以及各种应用的安全可靠运行。

可扩展性：安全系统必须是可扩展的，以适应网络规模的变化。

易于管理：包括两方面的含义，一方面，安全系统本身是易于管理的；另一

25

26

方面，安全系统对其管理对象的管理是方便的、简单的。

分级保护：应根据各业务系统的重要程度以及面临的风险大小等因素确定各

类信息的安全保护级别，分级保护，合理投资。

适度安全：没有绝对的安全，安全和易用性是矛盾的，需要做到适度安全，

找到安全和易用性的平衡点。

5.3建设目标

信息安全工作是针对各信息系统中存在的信息安全风险而开展的。本项目的

信息安全体系建设是从沧州市智慧城市建设办公室城市大数据中心的业务需求出

发，遵从风险管理的理念，并实现以下的建设目标：

1、保障业务持续，促进业务发展；

2、保证信息的机密性、完整性和可用性。

5.4设计方法

基于本项目的实际安全需求，在这里我们引入信息安全总体架构的规划模型

来说明。

安全需求

该模型是一种从信息安全的需求（保密性、完整性、可用性）为出发点，以

27

应用安全、数据安全、主机安全、网络安全、终端安全、物理安全为关注重点，层

层剖析全面深入地挖掘市民卡项目的信息安全需求，构建以管理、技术和人员三者

有机结合的立体的市民卡信息安全体系。该模型主要特点是：

1、均衡考虑市民卡系统在保密性（。、完整性（I）和可用性（A）三方面

的安全需求。

2、从应用安全、数据安全、主机安全、网络安全、终端桌面安全和物理安

全等六大安全领域全面系统地实现信息安全需求。

3、强调从安全技术、管理和人员三个方面综合构建信息安全保障体系。

5.5总体架构

信息系统的安全体系是划分为若干层次的一种多层次、多方面、立体的安全

构架。针对“全网安全”的要求，网络安全体系涉及的各个环节包括：安全管理体

系、安全技术、安全策略以及法律法规。

我们设计的安全体系总体架构如下:

金份愤哀

・作金次安受1I蛆t**安荃~I

,L力度重]

单境安仝

皿淞E1与份认证1

安

5全