江苏省软件工程技术研究开发中心云计算平台方案建议书

1.1(-)专家评价与修改意见表.........................错误!未定义书签。

1.2(二)科研机构基本信息.............................错误!未定义书签。

2系统总体概述................................................................4

2.1系统基本功能........................................................5

2.2系统建设的主要设计思想和设计目标、设计原则........................6

2.3系统的主颗术特点..................................................8

2.4系统总体构架........................................................9

2.5eProc云处理平台简介...............................................11

2.6cStor云存储系统简介...............................................14

2.7OpenStack简介....................................................17

2.8系统削性能.......................................................18

2.8.1数据流量处理能力..............................................18

2.8.2数据存储读取能力..............................................19

2.9系统功能...........................................................22

3系统设计实施与关键技术方法................................................24

3.1eProc云处理平台...................................................24

3.1.1数据立方(DataCube)............................................................................................24

3.1.2任务监控器(JobKeeper).................................................................................28

3.1.3eProc数据处理.................................................31

3.1.4数据压缩.......................................................33

3.1.5适应应用需求的混合存储策略....................................34

3.1.6HBase数据存储................................................35

3.1.7数据库存储.....................................................38

3.2eProc云处理平台可靠性设计........................................41

3.2.1可靠性概述.....................................................41

3.2.2HDFS可靠性设计...............................................43

3.2.3HBase可靠性蚓..............................................46

3.2.4MapReduce可靠性设计........................................49

3.2.5Zookeeper可靠性设计.........................................52

3.2.6数据存储的可靠性设计..........................................55

3.2.7处理与存储集群Master单点失效容错处理........................57

3.2.8处理与存储集群的负载均衡处理..................................65

3.3cStor云存储系统...................................................69

3.3.1技术架构.......................................................69

3.3.2工作原理.......................................................72

3.3.3管理机制.......................................................74

3.3.4关键技术.......................................................75

3.4OpenStack介绍....................................................78

3.4.1OpenStack是什么.............................................78

3.4.2云服务提供商的概念架构.......................................80

3.4.3OpenStackCompute架构......................................82

3.4.4OpenStackImageService.................................................................................92

3.4.5OpenStackObjectStorage...............................................................................93

3.4.6OpenStack界面图............................................102

3.5平台安全.........................................................102

3.5.1云处理平台信任保护...........................................102

3.5.2基于多级信任保护的访问控制...................................109

3.5.3云处理平台安全审计...........................................113

3.5.4云处理平台安全网关..........................................117

3.6软硬件设施清单....................................................122

4项目WS和实施...........................................................132

4.1项目开发周期......................................................132

4.2项目计划进度......................................................132

4.3项目实施..........................................................134

4.4客户受益..........................................................134

1系统总体概述

1.1系统需求分析

系统需要广泛应用于移动互联网、金融证券、电子政务、教育科研等需要海

量数据存储和处理的领域。同时，能为中小企业提供基于SaaS的低成本的信息

化服务、虚拟化服务，降低企业信息化的门槛。云计算平台的建设能增强苏州市

云计算与智能信息处理领域的自主开发能力，从而有力的推动该产业长期稳定的

发展，进一步提升苏州市信息技术产业的竞争力和影响力；能为苏州市中小企业

提供信息化、虚拟化服务平台，对目前企业信息集成中存在的主要问题，如基础

数据缺失、计划和安排生产的盲目性、流程不规范、现场采集数据困难等提供解

决方案，推动苏州信息基础设施建设和中小企业信息化进程。

1.2系统基本功能

本项目在充分研究云计算现有成果的基础上，面向中小企业智能信息服务、

新一代智能信息处理、移动互联网等重点领域的云计算需求，开展云计算关键技

术研究。首先研究绿色环保节能云计算中心构建方案，基于先进的海量数据云存

储技术构建一个高度可靠、可在线弹性伸缩、能够支持高并发大吞吐量的快速存

取访问的云存储系统平台，用于海量的教学信息资源的存储和共享，并为上层云

计算数据处理和应用服务提供基础的数据存储平台;然后研究建立适合于中小企

业智能信息服务、移动互联网应用服务等的云计算应用模式；最后针对云服务中

的用户数据安全与隐私保护等核心问题开展研究，形成支撑具体云服务应用的关

键技术体系。最终为后续具体应用服务构建一个安全、稳定、可靠的基础云平台。

系统基本功能和组成如下：

海量信息智能搜索与数据挖掘技术

能够支撑DeepWeb深度挖掘、自然语言处理、图形图像处理与理解和大

规模知识库自动构建等需要复杂信息处理

基于云计算的新型移动服务

基于云计算的移动图像搜索与挖掘系统和基于云计算的移动位置地理信息

服务系统,为移动互联网用户提供新颖的拍照购物搜索服务和基于位置的地理信

息服务

基于智能生成模型的云计算信息技术支撑服务

建立动态工作流的智能生成模型，该模型能依据业务类型智能生成动态工作

流，并能依据过程信息反馈调整生成类型

基于云计算的海量数据存储平台

搭建高度可靠、可在线弹性伸缩、能够支持高并发大吞吐量的快速存取访问，

用于海量的教学信息资源的存储和共享，并为上层云计算数据处理和应用服务提

供基础的数据存储平台

企业虚拟化服、网站托管

为企业提供资源虚拟化、资源共享等服务，最大利用硬件资源，节约成本的

同时，降低企业对资源的管理难度

1.3系统建设的主要设计思想和设计目标、设计原则

设计思想：在充分研究移动互联网、云计算理论的基础上，研究基于云计算

的移动互联网应用服务，通过云计算提供的高性能计算和海量数据存储能力，突

破移动终端在计算能力和存储空间上的限制、扩展移动应用软件的类型、提高移

动软件的服务质量和降低服务成本。

设计目标：采用云计算、物联网和信息网格技术，构建一个绿色环保、安全、

稳定、可靠的云基础平台；基于云计算技术实现DeepWeb、自然语言处理、

图形图像处理与理解和大规模知识库自动构建等海量信息的高效处理;建立基于

云计算的企业信息化应用软件模式，开发出涵盖企业产品全生命周期的集成应用

支撑软件系统和中小企业智能信息服务平台;建立基于云计算的移动互联网软件

服务的应用模式，实现基于云计算的移动图像搜索与挖掘系统和基于云计算的移

动位置地理信息服务系统。

设计原则：

(1)技术领先，性能优异

系统将采用国际先进的云存储和云计算技术，并在此基础上提供高效的查询

和分析处理、资源虚拟化服务、网站托管等功能。

(2)数据安全可靠

系统将采用多种容错技术保证存储的数据安全和故障的自动恢复。

1.4系统的主要技术特点

海量数据存储及处理：基于先进的海量数据云存储技术构建一个高度可靠、

可在线弹性伸缩、能够支持高并发大吞吐量的快速存取访问的云存储系统平台，

用于海量的教学信息资源的存储和共享，并为上层云计算数据处理和应用服务提

供基础的数据存储平台

高效处理能力和实时性：平台在高效率并行分布式软件的支撑下，可以实时

完成数据入库、分析和管理工作。海量数据入库不会出现数据堆积现象，各类分

析和查询工作基本都在秒级完成，具有前所未有的高效性。

高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计

算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且

不会出现丢失数据的现象。

可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少

节点，平台的处理能力自动缩减。这样，可以做到与云计算平台的无缝对接，根

据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。

高性价比：采用X86架构廉价计算机构建云计算平台，用软件容错替代硬

件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用

数据库方案节省10倍左右的成本。

全业务支持：采用分布式数据库模式，绝大部分海量数据存放于分布式平台

并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各

种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业

智能分析业务。

1.5系统总体构架

构建一个绿色环保、安全、稳定、可靠的云基础平台；基于云计算技术实现

DeepWeb、自然语言处理、图形图像处理与理解和大规模知识库自动构建等海

量信息的高效处理；建立基于云计算的企业信息化应用软件模式，开发出涵盖企

业产品全生命周期的集成应用支撑软件系统和中小企业智能信息服务平台；建立

基于云计算的移动互联网软件服务的应用模式，实现基于云计算的移动图像搜索

与挖掘系统和基于云计算的移动位置地理信息服务系统;

应

构建

自动

识库

模知

大规

解

与理

处理

图像

图形

处理

语言

自然

挖掘

深度

Web

用Deep

层

统

掘系

与挖

搜索

图像

移动

务

息服

理信

的地

位置

基于

务

化服

虚拟

资源

服务

搜索

购物

拍照

虚

拟

化

ce

Glan

Swift

Nova

管KVM

□

stack

理open

术

理技

行处

式并

分布

技术

处理

定性

不确

技术

挖掘

数据

技术

搜索

云智能

处

理

平

台

再胤

励杨

立方

数据

云

存

储

储系统

r云存

系cSto

统

图

示息

系统

图表1

海量

，提供

系统

存储

的云

价比

高性

搭建

器上

服务

通x86

：在普

统层

储系

云存

量的

吞吐

发大

高并

支持

能够

缩、

性伸

线弹

可在

靠、

度可

有高

力，具