分布式核心DevOps平台建设服务方案

目录

第一部分项目建议书1

1.项目介绍1

1.1项目背景.1

1.2项目目标.2

2.系统需求分析3

2.1系统目标.3

2.2系统特点.4

2.3功能需求5

2.5技术指标.11

2.6建设任务.11

3.系统总体设计12

3.11年帛台功能模块13

3.2.2应用发布平台功能模块14

3.2.3一体化监控平台功能模块14

3.3.1I'm15

3.3.2/|J*।—।15

3.3.3llil.J1_116

3.4技术要求.16

4.DEVOPS平台设计17

A1基仙设施平A/7

•1•1才^^^^^^・・・・・・・・・・・・・♦・・・・・・・・・・・・・・・・・・・・・・・・♦・・・・・・・・・•・・・♦・・・・・・•・・・・・・・・・・・・・・・・・・・・・・・・・♦・・・・・♦・・・・・・・・・・・・・・・・・・・・•・・・・・・•・・・・・・•・・・♦・・・・・・♦・・・・・・・・・・・・・・・・・・・・・・・・・・・•・・・•・1

•1・2［玄］♦・・・・・・・・・・・・・・・・・・・•・・・・・・•・・・・・・•♦・・・・・•・・・・・・・・・・・・・・・・・•・・・・・・•・・・・・・•♦・・・・・・♦・・・・・•・・・・・・・♦・・・・・・・・・・・・・・・・・・・・・・・・♦•・・♦・•・・・•・・・・・・•・・・・・・•・・・・・・•・・・・・・•・•・・・・・・・・・・1

4.1.3名且万戈木口坡J肓8........18

4.1.4基础软件的安装25

416主金软硬4谆台支持27

Flj彳V/-I—］♦・♦・・・・・・・・♦・・•・・♦♦♦・・・・・・・♦♦♦♦・・・・・♦♦♦・・・・・・・♦♦・・・・・・♦♦♦・・・・・・♦♦♦♦・・・・・・♦♦♦♦・・・・・♦♦♦♦・・・・・♦♦♦♦・・・・・♦♦♦・・・・・・♦♦♦♦・・・・・♦♦・・・・・・・♦♦♦・・・•・・・♦♦♦•••

4.2.1概述28

422架构29

423技术调研29

牛为7^•・・•・・・・・・・・・・・・・・・・・・・・••・・•・・・・・・•・・・・・・•・・・・・・•・•・・・・・・•・・・・・・・・・・・・・・・・•・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・•・・・・・・・・・・・・・•・・・・・・・・・・・・・・・・•・・36

425镜像管理39

^^・2・6(a^牛:矛II^2**娄攵百

427发布管理40

4.2.8统计报表42

429运堆操作43

4210权限管理44

A?—，依什照妗

43［概述48

432型构SO

4.3.4技术调研57

435容器监控62

436容器内组件监控63

437中间件监栉64

‘^・3・81巾1)I%!1f匚i匚j・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・•・・・•・・・・・•・・・・・・・・・・•・・・•・・••・・•・・•・・・•・・

4.3.9统计报表66

)I)J口/5，彳^•・・•・•・・・・・・・・・♦♦・・・・・・•♦♦・・・・・・♦♦•・・・・・•♦♦♦・・・・・•・♦♦・・・・・•・・♦・・・・・•・・♦♦・・・・•・・・♦・・・・・・♦♦♦・・・・・•・♦・・・・・・・・•♦・・・・・・•・♦・•・・・・•・・••・•・・••7

1

51编码规范67

.・・・♦♦・・・・・・・♦♦♦・・・・・・・♦♦・・・・・・・♦•・・・・・・♦♦•・・・・・♦♦♦♦♦・・・・・・♦♦♦・・・・・・♦♦・・・・・・・♦♦♦・・・・・・♦♦♦・・・・・・♦♦♦・・・・・・♦♦♦♦・・・・・♦♦♦♦・・・・・・♦♦♦・・・・・・♦・•・・・・・♦・・♦•・・

521文档验收与交付67

5■2■2车夕、彳一1・3^^U夕I'j彳寸*68

5・彳~^*I-][・・・♦・♦・・・・・・・・・♦・・・・・・・♦♦・・・・・・♦♦♦・・♦・・♦♦♦♦♦・・・・・・♦♦・・・・・・・・♦・・・・・・・♦♦・♦・・・・・・♦♦・・・・・・・・♦・・・・・・・・♦♦・・・・・♦・♦♦・・・・・♦♦♦♦・・・・・・♦♦♦・・・・・・・♦・・・・・・・・♦・・・・

5・3・1为《―卜'^^8

532监控管理平台70

54旬讴芹和70

l-I力11T1

1彳:•・・・•・•••••・•・・••••••・•••••••••••••••••・•••••••••••••••••・・・••••••・•・•••••・・•・・•••••••・・••••••・・・・・・••・・・・・・•••・••・・••••••・•・•••••••••••••・•・・・・・•••・・1

7*I

f口口^^!^・・・・・・♦♦♦♦♦・・・・・♦♦♦・・・・・・♦♦♦•♦・・・♦♦♦♦♦•・・・♦♦♦♦♦•・・・・・♦♦♦•・・・・・♦♦♦♦・・・・•♦♦♦♦••・・・・♦♦♦•・・・・・♦♦♦・・・・•♦♦♦♦•・・・・・♦♦♦•・・・・・♦♦♦•・・・・・♦♦♦♦・・・・♦♦♦♦♦・・・・・♦♦♦♦♦・・^7]

64集中测试交付72

11ii于Jm-

7»i9・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・•・・・・・・・・・・・

711管理职责73

7i2项目的‘实现73

7•1・3、夕》由‘〒；^口己攵76

17•2・2：1：・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・8^)

7.2.3人员构成和任务划分80

7.3保障措施80

7售后服务8]

8.1技术支持及售后服务体系81

8.2技术支持及售后服务方式82

.03万刃：・・・・・・・・・・••・・・・・・・••・・・・・・・•・・・・・・・・•・・・・・・・・•••・・・・・・・•••・・・・・••••・・・・・・•••・・・・・・••・・・・・・・••・・・・・・・・・•・・・・・・・••・・・・・•・•・•・•・••••・・・・・・・•••・・^^3

bf寸U11(j3d・・・••・・・••••••・••••••・•・・•・•••・•••••••••・•••••••••・•••・•••・•・•・・••••••••・•••••・•••••••・・・•••••••・・・•••••・・・・・・・・••・・・•・•・•••・・・・・・••・・・・1

'I*【二1|Trf・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

ONCE平台关键技术7

ONCE平台历中27

2

第一部分项目建议书

1.项目介绍

1.1项目背景

互联网的商业化应用对传统金融机构的业务产生了巨大影响，促使了互联网思维向金

融市场发展，它体现出商业银行的三大转型趋势：（1）高度重视互联网“长尾效应”，提升

客户活期存款价值；（2）挖掘互联网渠道的潜力，提高基金代销和理财产品的服务效益；

（3）制定大数据经营战略，打造联盟电商平台。

银行作为金融的重要组成部分之一，是我国经济运筹的协调中枢，也是我国战略的核

心。传统银行业务系统具有封闭性，用户访问峰值可预测，应用版本迭代慢，创新性不足,

通常采用IOE架构和人工运维手段满足用户需求。随着银行互联化化发展趋势，业务系统

呈现出开放性，用户量不可预测，应用新功能更新频繁的新特点。为进一步完善金融互联

化基础平台的产品体系，分布式系统DevOps平台主要解决应用自动化部署、运行和维护

管理的问题，用以弥补基础资源与应用系统间的技术鸿沟，提升具备大并发、高可用特性

的应用的研制效率与质量。DevOps平台核心用途是金融互联网创新应用提供创建、部署、

运行、监控管理等运行时环境，提供协议接入与解析、负载均衡、生命周期管理、错误容

忍与失效恢复等基础服务，使之具备高可靠性、高伸缩性、高可用性、易定制性等特点，

主要分为基础设施、应用发布和监控管理三部分，分别为银行业务系统互联网化提供技术

基础、自动和可视化管理、可靠性保障

在基础设施方面，越来越多的公司正在采用轻量级虚拟化技术，通过复用底层OS实

例而非实例化OS实例的手段（轻量级），使得银行业务系统具有秒级启动的能力，可较

好满足银行业务系统的部署时效性需求。当前，轻量级虚拟化方案主要包括LXC和Docker

两类。其中，后者具有隔离和应用环境固化的新特性，能很好满足银行业务系统部署的安

全和自动化需求，是技术发展的主流。

在应用发布方面，为了满足基于Docker的应用部署、运行和维护的易操作需求，应用

发右平台具有可视化应用部署、负载均衡等能力，可一键化构建出应用及其运行环境与

Docker基础设施的映射关系；并具有与监控平台协同工作的能力，及时发现基础设施、应

用的失效，并采用补偿等机制进行修复，保障银行业务系统的高可靠运行。

在监控管理方面，为了应对数据延时和IT资源分散状况，越来越多的公司正将服务和

1

应用程序从远程分支机构迁移到数据中心集中管理，这就使得数据中心的IT资源越来越多，

数据中心越来越趋于大型化，管理对象包括小型机、服务器、虚拟机、数据库和各种应用，

传统的网络管理和监控面临巨大挑战。在这种情形下，监控管理和可靠性保障是保证服务

质量的关键。

1.2项目目标

针对网络计算环境开放、动态、多变的特性，面向大型网络应用高效运行的服务质量

需求，研发DevOps平台。该平台为应用提供创建、部署、运行、监控等全生命周期管理，

并提供协议接入与解析、负载均衡、失效恢复，以及异构数据库透明访问等服务，使其具

备高可靠性、高伸缩性、高可用性、易定制性等特点。可以根据用户实际需求和特点，提

供灵活配置，真正实现按需服务。应用发布平台既遵循国际规范，更注重技术上的不断创

新，不仅在功能上与国际主流产品保持同步，而且在系统的可伸缩性、可靠性、安全性以

及稳定性等方面也具有较强的优势。其中，DevOps平台主要包含三个方面：

在基础设施平台方面，采用轻量级虚拟化实现技术——Docker,用于物理资源分时复

用、应用实例隔离和应用环境固化。重点实现私有局域网环境下Docker集群管理、Docker

可用性和可靠性评估、Docker镜像存储方案等关键技术，对不满足中国民生银行需求的

Docker实现进行改造和完善。

在应用发布平台方面，基于自主研发、可视化交付、向导式操作原则，以应用部署、

运行和维护为核心，采用补偿机制同步应用发布平台和基础设施平台的状态一致性，采用

事件机制实现应用发布平台和监控平台的互操作。使得应用的异常可在监控平台中及时的

发现，应用的管理可在发布平台中容易执行。

监控管理工具从性能监控和故障监控两个方面实现对大并发服务引擎的全面监控。性

能监控模块利用监控代理程序获取性能数据，服务器端收集性能数据，并利用持久化存储

工具将数据存入数据库，利用这些数据实现物理机和虚拟机性能的监控。故障监控模块配

置监控主机与服务，并利用监控插件实现检测，将结果信息上传给服务器，服务器端实时

监控并产生告警信息。性能监控、故障监控、告警和统计报表共同构成DevOps平台的监

控体系，使系统管理人员可以实时了解大并发服务引擎的运行状况，及时处理异常状况，

提高DevOps平台的服务质量。

2

2.系统需求分析

2.1系统目标

中国大陆第一家由民间资本设立的全国性商业银行，是我国金融行业的重要组成部分,

也是我国银行界金融互联化化的先驱，其直销银行业务突破了传统实体网点经营模式，主

要通过互联网渠道拓展客户，具有客群清晰、产品简单、渠道便捷等特点，其充分尊重互

联网用户习惯，提供操作便捷的网站、手机银行和微信银行等多渠道互联网金融服务。

为了进一步适应直销银行互联化需求，（1）用户访问难以预计，应用需要根据访问量

调整自身的规模，比如类似淘宝“双十一”凌晨瞬时并发量超过1000万。未来，随着直销银

行业务的不断推进，系统应能承担大规模批量开户、促销活动等高并发交易量的场景。（2）

版本迭代频率高。直销银行通过互联网直接为客户提供服务，应参考业界的互联网公司产

品的推出速度，预计最少1-2周更新一次。

为满足以直销银行为代表的银行业务互联网化需求，分布式核心系统主要包含两个部

分，一是将直销银行等应用由传统的IOE架构改造成分布式系统架构，解决应用本身的容

量瓶颈；而是优化直销银行等应用的基础架构，使得这些应用具有更好的扩展性，更便捷

的交付能力，为按需可靠资源提供奠定基础，整体需求如图1所示。

直销银行等应用

可视化?口可监测

百的部署可预警

分布式系统软件

基础设施，资源易管理

图1分布式核心系统总览

本项目主要关注基础设施（资源易管理）、可视化和自动部署、可监测可预警，以应

用为核心，关注其部署、配置、运行和运维，简化应用开发和运维的交付复杂度，即DevOps

平台应，其具备以下功能：

•开发者进行新版本的应用开发后，应具有应用模板自动制作和发版，按需生成可运

行的应用集群的功能。

•运维人员通过可视化界面，选择合适的部署策略，即可完成应用新版本的发布、审

计和维护；

•在新版本发布后，系统具有应用监测的能力，并可根据预先设置的策略，完成应用

3

的伸缩管理和容错管理。

为解决以上问题，云平台的构建引入业界先进的DevOps（英文Development和

Operations的组合）思想。DevOps是一组过程、方法与系统的统称，用于促进开发（应用

程序/软件工程）、技术运营和质量保障（QA）部门之间的沟通、协作与整合。云平台能

够解决应用部署繁琐，开发和运维部门沟通耗时，人工部署复杂易错的问题，有效提升应

用部署管理效率。具体而言，研发基于Docker的云平台实现应用的快速发布、部署，运行

与维护管理平台（简称DevOps平台）。分布式核心系统的应用程序将运行在Docker云平

台上。该平台包含Docker集群管理、应用发布管理和一体化监控。项目将使用最新的DevOps

思想实现应用的快速开发投产，提升版本发布、维护的自动化水平，降低生产维护人员的

工作成本和投产风险。

如图2所示，DevOps平台主要由三大子平台组成：

•基础设施平台：采用Docker集群复用底层物理资源，其目的是实现物理资源的可

编程，提高资源利用率；利用Docker可固化应用运行环境的特点，简化应用部署

的复杂度。

•应用发布平台：应用发布平台用户构建应用和物理资源的映射关系，它采用可视化

手段，在帮助运维人员在维护直销银行等应用时，屏蔽底层物理资源分配的复杂性。

•一体化监控：一体化监控的作用是监测应用（运行在Docker容器上）的可用性，

并采用预警机制，预先对可能出现问题的应用进行报警，帮助运维人员快速发现、

定位问题，并将应用从失效状态进行恢复。

一

体

化

监

控

图2DevOps平台组成

2.2系统特点

a.基础运行平台

为应用提供运行基础环境，具有分时复用物理资源，提高资源利用率能力；具有固化

4

应用及其运行环境，简化应用部署的能力；具备高可靠性、高伸缩性、高可用性特点，并

提供Restful管理接口。

b.应用发布平台

提供协议接入与解析、负载均衡、生命周期管理、失效恢复与容错等基础服务，可视

化整个应用部署流程、部署策略和维护管理。

c.监控管理平台

能够以分布式的方式对数据中心主机、操作系统、数据库、应用服务器和应用的性能

数据进行自定义监控和展示。通过定义复杂的报警逻辑，并采用基于邮件、SMS的报警机

制来通知管理员，能够第一时间对问题采取应对措施。

2.3功能需求

a.基础运行平台

(1)运行环境

组件版本备注

操作系统CentOS/Redhat7.1对比7.0和7.1版本

Docker1.9.1对比1.3.2,1.6.1和1.8.3版本

Swarm1.0.0对比0.3、0.4和1.0.0版本

Docker-registry0.9.1对比0.9.1和2.x版本

(2)兼容性

Swarm集群支持所有Docker指令。

b.应用发布平台

图3列出了应用发布平台的6个子模块和17个功能模块:

5

应用发布平台

系统资源管理应用发布管理统计报表管理运维操作管理权限管理Ui

仓

主

集

监

报

预

服

异

库

机

群■I

冽

表

警

务

常

管

管

管

管

管

管

管

管

理

理

理

理

理

理

控

控

参

造

容

负

应■

日

角

权

用

数

像

器

我

用

志

色

限

户

管

管

管

管

管

管

管

管

管

理

理

理

理

理

理

理

控

控

图3应用发布平台功能需求

主机管理：主机管理提供对物理服务器的管理，包括查看主机列表，连