CNBR云原生业务韧性系统用户操作手册

CNBR云原生业务韧性系统

用户操作手册

北京同创永益科技发展有限公司

2022年2月

受控

该文件仅项目相关人员使用。未经北京同创永益科技发展有限公司的书面许可，其它任何机构或

个人不可擅自传阅、引用或复制本文件内容。

修订历史记录

编号版本号修改日期修改人修改内容

1V1.02021-03-16何雷创建V1.0版操作手册

新增资源中心、系统管理、活

2VI.12021-04-29何雷.

动监控等内容

增加仿真演练下的演练概

3VI.12021-07-08李文清

览、、故障演练功能模块内容

集群管理新增集群概览、集群

卡片事件计数、集群详情-增

4V1.2.12021-08-23刘璐

加所属集群列等，以及仿真演

练增加、演练记录页等

增加了跨集群调度模块下的

5V1.3.02021-09-14李文清调度组、调度策略、伸缩工单、

指标库功能内容

跨集群调度模块优化：调度策

略配置新增智能预测和实时

监控配置、伸缩工单新增查询

6V1.3.I2021-10-22刘璐

条件以及自动刷新功能、tab

页显示；指标新增检测功能；

伸缩履历添加多个入口

7V1.3.22021-12-8刘璐优化故障演练以及故障库

云原生业务韧性-混沌工程功

能优化

8VI.4.02022-2-18李栋栋

资源中心优化

目录

1.概述..................................................................5

1.1.背景.............................................................5

1.2.编写目的.........................................................5

1.3.术语和缩略语.....................................................5

1.4.参考资料.........................................................5

2.系统综述..............................................................6

2.1.系统架构图.......................................................6

2.2.系统功能简介.....................................................6

3.功能模块操作说明......................................................7

3.1.登录.............................................................7

3.1.1.登录........................................................7

3.2.首页.............................................................8

3.2.1.首页........................................................8

3.3.集群管理........................................................16

3.3.1.集群概览...................................................16

3.3.2,应用管理...................................................20

3.3.3.备份管理...................................................26

3.3.4.策略管理...................................................29

3.3.5.活动监控...................................................38

3.4.多中心主备复制..................................................39

3.4.1.复制计划/复制列表..........................................39

3.5.资源中心........................................................44

3.5.1,平台管理..................................................44

3.52组件库.....................................................50

3.6.跨集群调度.....................................................102

3.6.1.调度组....................................................102

3.6.2.调度策略..................................................106

3.6.3.伸缩工单..................................................110

3.6.4,指标库.....................................................90

3.7.仿真演练.......................................................112

3.7.1.演练概览..................................................112

3.7.2.故障演练..................................................114

3.8.系统管理.......................................................158

3.8.1,用户管理..................................................158

3.8.2.角色管理..................................................170

3.8.3.系统日志..................................................178

1.概述

1.1.背景

云原生的开发和部署模式已经成为业界趋势，根据CNCF2019年的第三次中国云

原生调查，49%的受访者在生产中使用容器，另有32%计划这样做。而72%的受访者在

生产中使用Kubernetes,高于2018年的40%。

容器在带来惊人优势的同时也带来了挑战。在中国调查中，53%的受访者将复杂

性列为最大挑战。安全性排名第二，受访者占比39%。这是安全首次被列为首要挑战。

培训不足和网络并列第三，占比36%,而35%的调查受访者将可靠性和监控性作为部

署挑战。

1.2.编写目的

本文档用于向产品线管理人员、服务人员、交付人员等产品相关人员对产品使用，

确保使用人员可以根据此文档对系统进行相应功能的操作，方便使用人员熟悉系统与使

用系统。

1.3.术语和缩略语

术语全称说明

CNBRCloudNativeBusinessResilience云原生业务韧性

CNCFCloudNativeComputingFoundation云原生计算基金会

1.4.参考资料

•《CNBR云原生业务韧性》需求规格说明书

•《CNBR云原生业务韧性》原型图

•《CNBR云原生业务韧性》测试计划

•《CNBR云原生业务韧性》测试用例

•《CNBR云原生业务韧性》测试记录

•GBT15532-2008计算机软件测试规范

•GBT9386-2008计算机软件测试文档编制规范

2.系统综述

2.1.系统架构图

开发运维

anisble

22系统功能简介

系统主要由首页、集群概览、应用管理、备份管理、策略管理、活动监控、多中心

复制、资源中心、仿真演练、跨集群调度、系统管理等模块组成，模块下页面功能如下

表所示：

功能模块功能内容

首页展示目前所有可供管理的k8s集群及其信息

集群概览展示集群的健康度、节点明细、资源统计等信息

应用管理展示并管理当前集群所有应用

备份管理展示并管理当前集群所有备份

策略管理展示并管理当前集群所有活动策略

活动监控模块提供当前集群中所有备份/还原应用的统计功能。包括

活动监控

对还原/备份的搜索查看功能

多中心复制提供对源中心、源中心集群、应用进行复制到目标中心、

多中心复制

目标集群里进行备份

资源中心提供对平台管理/组件库数据中心脚本管理的功能，提供对

资源中心

资源模型、资源、资源标签及故障介质管理的功能

主要用于新增、编辑、删除、查看、复制、实施、查看演练方案实

仿真演练

施、查看流程细节信息。

主要提供指标库管理、调度组管理、调度策略管理、伸缩工单管理

跨集群调度

功能。

系统管理系统管理提供对用户、角色权限管理功能

3.功能模块操作说明

3.1.登录

3.1.1.登录

3.1.1.1.概述

通过输入拥有本系统权限的账号输入对应的用户名和密码可成功登录CNBR云原

生业务韧性。

3.1.1.2.详细操作

在浏览器输入“11曲:/你:端口/#/108亩”，进入CNBR云原生业务韧性系统登录页面。

输入正确的用户名/密码点击“”按钮，可成功登录

CNBR云原生业务韧性系统登录页面。

3.2.首页

3.2.1.首页

3.2.1.1.概述

首页由该用户所能管理并接入的集群的卡片组成。联合点击集群跳转后的集群概

览，主要是针对CNBR的集群可观测性，通过观测数据、满足不同人群、对于系统状态

的理解需求。主要监控指标和日志以及分布式跟踪和数据仪表化。卡片包括本集群基本

信息，如集群名称、集群版本、集群连接状态，并展示集群容量仪表盘以及集群所包含

的节点（Node）、卷（PersistentVolume）、资源（Workload工作负载、Service服务、Config

andStorage配置及存储）、事件数量及其状态。用户还可在该页面进行集群的添加、编

辑和删除操作。

3.2.1.2,详细操作

集群列表展示:

以143集群为例，页面各参数解释如下：

143集群：集群名称，取自添加集群时填写的集群名称；

数据中心175：集群所在数据中心，取自添加集群时选择的数据中心。

K8SVERSION:vl.16.15：k8s版本信息。

益正常：集群状态，有正常和异常两种，异常时集群会置灰显示。

数据来源说明：页面pod使用率、CPU使用率、内存使用率、硬盘使用率等数据

主要来源于从Prometheus获取的指标数据，节点、卷、资源、事件等则是保存在Influxdb

中的系统event日志。绑定相应Prometheus会自动获取。详情可参见下表：

页面参数参数说明关联指标

Pod使用率集群上running的pod数/集群可分kube_pod_container_status_running

配的pod总数

kube_node_status_allocatable

CPU使用率计算平均两分钟的cpu使用率node_cpu_seconds_total

内存使用率1-内存可用的字节表/内存全部字节node_memory_MemAvailable_bytes

表

node_memory_MemTotal_bytes

硬盘使用率（文件系统全部字节表-文件系统可node_filesystem_size_bytes

用字节表）/文件系统全部字节表

node_filesystem_free_bytes

节点正常：集群所有ready状态节点数无

异常:集群所有非ready状态节点数

卷正常：集群所有正常状态PV数无

异常：集群所有异常状态PV数

资源正常：集群所有正常状态资源无

异常：集群所有异常状态资源

事件正常：无

异常：Error和warning状态的k8s

事件数

数据中心查询：下拉选择数据中心，如下截图:

选择数据中心后，点击查询，可查询出数据中心下的集群。

点击清空按钮，清空选择的数据中心。

添加一集群：在首页页面右上角点击“新增”按钮，如下截图:

openshift3

143SB

在添加集群窗口中，填写/上传或者粘贴集群信息，点击【确定】按钮提交,

或者点击“取消”取消新增返回集群界面。

添加集群X

.数据中心请选择数据中心

，存储位置

▼集群名称请辄g^s称o/ioo

监控产品请迦军监控产品

上传文件粘贴文本token

将文件拖到此处，或点击上传

添加集群X

,数据中心消范择数据中心

,存储位置总花存存....:皆

'钱群名称清峋入庚群名称0/100

监控产品心巡圣监拄严品

添加方式上传文件粘贴文本token

请给入IP地址,格式ipport0/100

,Token请编入ToKen

CA证书请MCA证书比ise64

./I

在弹出的新增框中填入相关信息后点击确定按钮，即可添加成功。

注意事项：

集群名称：集群名称1()()字，必填，唯一。

上传文件或粘贴文本：从目标机器集群导出kubernetes的admin权限的config

文件，默认地址在~/.kube/config里面的内容。两种方式：第一种：将内容存放到yaml

文件，通过上传方式添加，第二种：直接将内容复制到粘贴文件对应的文本框。

token:填写集群ip地址与token值，token值需要用base64解密。

选择数据中心会带出相关的数据中心下的存储位置。

选择监控产品后会要求填写相应的服务地址、命名空间、配置文件名。监控产

品由系统部署安装的产品来定，一般是Prometheus或者kube-Prometheus,可自行选择,

并填写相对应的服务地址即可。

编辑-集群：编辑集群相关信息，选择需要编辑的集群，点击编辑按钮，如下

图所示：

集群异常除证

@icim22.70%78.55%42.19%

回.

在编辑窗口中，修改集群名称，点击【确定】按钮提交，或者点击“取消”取

消编辑返回集群界面。

编辑集群X

,整嚏中心

将文件拖到此处，或点击上传

在弹出的编辑框中填入相关信息后点击保存按钮，即可编辑成功。

注意事项：

集群名称：集群名称100字，必填，唯一。

上传文件或粘贴文本：从目标机器集群导出kubernetes的admin权限的config

文件，默认地址在~/.kube/config里面的内容。两种方式：第一种：将内容存放到yaml

文件，通过上传方式添加，第二种：直接将内容复制到粘贴文件对应的文本框。

token:填写集群ip地址与token值，token值需要用base64解密。

选择数据中心会带出相关的数据中心下的存储位置。

选择监控产品后会要求填写相应的服务地址、命名空间、配置文件名。监控产

品由系统部署安装的产品来定，一般是Prometheus或者kube-Prometheus,可自行选择,

并填写相对应的服务地址即可。

页面参数参数说明备注

数据中心来源于平台管理中的数据中心点击下拉选择即可

存储位置来源于平台管理中的存储位置点击下拉选择即可

集群名称可自行输入集群名称添加集群后该名称会显示在首页上

监控产品可选择Prometheus或者根据系统环境来选择即可

kube-Prometheus

服务地址填写Prometheus的相应地址可在k8s中查看相应端口

命名空间可填写命名空间目前可以自行填写

配置文件名可填写配置文件名目前可以自行填写

上传文件可直接上传kubeConfig文件来自k8s服务器文件

粘贴文件可直接kubeConfig文件中的内容内容来自服务器上kubeConfig文件

token需要填写集群ip地址与token值token值需要用base64解密

编辑-下载文件：编辑集群相关信息，选择需要编辑的集群，点击编辑按钮,

右侧弹出集群窗口，点击下载按钮，如图所示：

点击下载按钮，左下角会弹出下载集群的文件。

删除-集群：选择需要删除的集群，点击删除按钮，弹出是否删除窗口，如图

所示:

点击确定按钮，可将集群删除；

点击取消按钮，可取消删除操作；

注意事项：

集群删除为逻辑删除。

每条集群只能删除一次。

删除集群时需要取消或删除部分业务，如多中心复制、定时备份等。

3.3.集群管理

3.3.1.集群概览

.概述

集群概览主要是为集群做可观测性展示，主要从以下几个维度来进行，数据来源

包括从Prometheus获取的指标数据，及保存在influxdb中的系统event日志。方便用户

查看集群的集群健康度以及资源使用率、告警、事件明细、节点明细等数据，以图表的

方式进行显示，方便进行分析评估数据。

3.3.1.2.详细操作

集群概览页展示：

9：eTtt»J8

集群健康度：主要是查看集群健康度评分以及各项指标分数显示。集群监控度的

数据主要由prometheus查询集群id及相关语句得到相应指标数据，详细计算方式参见

如下图所示：

页面参数评测指标项权重计算方式

集群健康度核心组件健康度45%

基础资源健康度15%

节点主机健康度15%各评测项加权合计

工作负载健康度15%

安全事件健康度10%

核心组件健康度集群组件Apiserver状态20%

集群组件ControllerManager状20%

态

集群组件Scheduler状态20%各评测项加权合计

集群组件Etcd状态20%

集群组件CoreDNS状态20%

基础资源健康度集群维度cpu利用率25%

集群维度mem利用率25%各评测项加权合计

集群维度fs利用率25%

集群维度network带宽利用率25%

节点主机健康度检查节点在线状态20%各评测项加权合计

检查kube-proxy状态20%

节点主机cpu利用率15%

节点主机mem利用率15%

节点主机fs利用率15%

节点主机Inode利用率15%

工作负载健康度检查在线Pod状态20%各评测项加权合计

检查Deployment资源状态15%

检查StatefulSet资源状态15%

检查DaemonSets资源状态15%

检查Service资源状态15%

检查Pod的剩余容量百分比10%

检查节点的Pod分布均匀度10%

安全事件集群系统平台日志信息60%各评测项加权合计

集群业务应用日志信息30%

其他安全事件10%

资源使用率：可选择近10分钟、近30分钟、近1小时、近3小时、近12小时、

近24小时时间范围来查看CPU、内存、存储情况，鼠标放置于图表节点上可查看相关

使用率以及请求率的详细数据信息。

KII-U-W14E17:M

种"1。14M»»p>ob«Mad

-U-10144VS1bnr.

E点明・

告警：可选择近10分钟、近30分钟、近1小时、近3小时、近12小时、近24

小时时间范围来查看告警事件展示，鼠标放置于图表节点上可查看事件的详细数据信

息。

事件明细：可查看事明细的命名空间、时间类型、对象以及事件的展示。

节点明细：可查看个节点的各项指标展示，如pod、cpu、内存总量、内存使用等。

页面参数参数说明关联指标

CPU使用率计算平均两分钟的使用率node_cpu_seconds_total

内存使用率1-内存可用的字节表/内存全node_memory_MemAvailable_bytes

部字节表

node_memory_MemTotaLbytes

存储率(文件系统全部字节表-文件系node_filesystem_size_bytes

统可用字节表)/文件系统全部

node_filesystem_free_bytes

字节表

告警显示集群下所有告警事件对应显alerts

示

事件明细集群下所有pod事件明细event

(errorSWarning)

节点数相应节点上的节点数kube_node_info

Pod数相应节点上的pod数Kube_pod_info

Pod上限相应节点的pod上限kube_node_status_capacity_pods

状态相应节点的状态显示kube_node_status_condition

CPU总量相应节点下的CPU总量显示kube_node_status_capacity_cpu_cores

CPU使用率相应节点下的CPU使用率显node_cpu_seconds_total

示

内存总量相应节点下内存总量显示kube_node_status_capacity_memory_bytes

内存使用率相应节点下内存使用显示node_memory_MemAvailable_bytes

node_memory_MemTotal_bytes

磁盘总量相应节点下内存总量显示node_filesystem_size_bytes

磁盘使用率相应节点下内存使用显示node_filesystem_size_bytes

node_filesystem_free_bytes

3.3.2.应用管理

3.3.2.1.概述

应用管理模块提供当前集群中所有应用的管理功能。包括对应用搜索、新增等操

作以及列表展示当前集群所有应用的功能。

3.3.22详细操作

页面展示如下：

查询：可通过查询条件筛选需求，同时提供筛选条件清空功能。

新增应用：点击新增应用按钮，可新增应用信息，如图所示：

备注

0/500

脱肖

输入正确数据，点击确定按钮，可新增一条应用。

点击取消按钮，可取消新增应用操作。

注意事项：

应用名称：应用名称100字，必填，唯一。

命名空间/标签：必须，任意选择一项，两者互斥，只能选择其中一种。

命名空间和标签数据是从k8s中带入过来的。

编辑应用：点击编辑应用按钮，可编辑应用信息，如图所示:

SV

int-tnt

编辑应用X

输入正确数据，点击确定按钮，可新增一条应用。

点击取消按钮，可取消新增应用操作。

注意事项：

应用名称：应用名称1()0字，必填，唯一。

命名空间/标签：必须，任意选择一项，两者互斥，只能选择其中一种。

命名空间和标签数据是从k8s中带入过来的。

删除应用：点击删除按钮，弹出二次删除页面框

1tntteu-ttu

2cfwot-nginx

点击确定按钮，可将应用数据删除。

点击取消按钮，可取消删除操作。

删除为逻辑删除。

详情：点击详情按钮，右侧会弹出查看详情窗。可查看名称、时间、标签、备注、

资源等。如图所示：

应用详情X

应用名称：test

创建时间：2021-08-2018:39:32

命名空间:test-test

标金：末命名

备注：无

资源：资源名称资源数虽

>国Workload1

>BNetworking3

>◎Config1

>©Volume0

上图workload指工作负载，networking指网络通信资源，Config指配置文件，Volume

指存储数据。

点击“X”，关闭详情页面。

备份：点击备份，弹出新增备份策略，如图所示:

输入/选择正确数据，点击确定按钮，可新增备份策略。

点击取消按钮，可取消新增备份策略操作。

注意事项：

策略名称：策略名称100字，必填，唯一。

存储位置：必选，默认为：minio平台。

执行频率：立即执行/按计划执行，两者互斥，只能选择一种。

备份保留时间：备份保留时时间输入卜999的整数值。

点击应用名称：进入应用详情页，可查看应用信息概览以及编辑资源拓扑。

应用评情

应用名趴twflffl网附2021-08-2018:39:32备含空啾

»*■

务注：

3W5班

Woruoad

N«twofUng

CPU使用■内存使用・

2/228

应用详情信息中的资源与服务主要取自k8s中命名空间下的的资源，节点与pod主

要是显示有k8s几个节点以及有多少pod,以及命名空间的节点与pod的占比。CPU使

用量和内存使用量数据来自prometheus查询。

拓扑：点击拓扑资源拓扑按进入拓扑页面。

痛用详情

目pil*Mrv«M

rMn-nutur

r^jrM*t**l*v«

将需要的资源，拖动到画布中，点击保存按钮，可将资源画布保存。

点击返回按钮，可返回至应用管理列表页面。

注意事项：

组合：需要按住Shift按键，鼠标右键选择需要组合的资源后，点击组合按钮,

可将资源进行组合。

删除：需要按住Shift按键，鼠标右键选择需要删除的资源后，点击删除按钮,

可将资源删除。

新增备份策略：点击新增备份策略，右侧弹出新增备份策略框，如图所示:

新增备份策略X

策略名称0/100

“靖test云原生系统

*执行频率O立即执行按计划执行

丫备份保留时间30

备注

0/500

3

输入/选择正确数据，点击确定按钮，可新增备份策略。

点击取消按钮，可取消新增备份策略操作。

注意事项：

策略名称：策略名称100字，必填，唯一。

存储位置：必选，默认为：minio平台。

执行频率：立即执行/按计划执行，两者互斥，只能选择一种。

备份保留时间：备份保留时时间输入1~999的整数值。

3.3.3.备份管理

3.3.3.1.概述

备份管理模块提供当前集群中所有备份的管理功能。包括根据应用、状态、策略以

及时间对备份进行搜索。列表按照时间倒序排列当前集群所有备份，操作栏可还原或删

除该备份，并可查看该备份详情.

3.3.3.2,详细操作

查询：可通过查询条件筛选需求，同时提供筛选条件清空功能。

“18K®««OH8WtKK1山

：：

amamMtMM«£MOWM*ft

)»?«>«M2I-CN-2O»S373$S»3

*«­£*£*«iMMms2021-08-20MMcMi»H.

回

isoamm2021-06-201»7X»£E9net

ifr?WWW2021-08-2011:1633Ma«

£*S*M♦«•云20292011血7SUwia

"上Mt*«iao«w«92021320ttO6^M口!*■

详情：点击详情按钮，右侧弹出详情页面框，查看备份详情信息。如图所示:

em«vV«te・《•u”-’MBKMc«F

K

MMOMKXMBMH«ft

£SU«■V-xMM'fWBMTWX01-OTM1WMSt9|g<|M»

M2*LM<90-«202220MUM3B.

£*&*a<w«»u3的60"0W工y.

BBJix<se«inr«S21-0rJB1t:Mc»0

£****fnaa，«>・>)««询血7a1*«­

£»SM•e-£nsaiK«tnrw2D2t-«-aitM>«asvm>■

点击“X”关闭备份详情窗口，返回到备份列表。

删除：点击删除按钮，弹出二次删除确认框。

IMImMKUVKCCWHM■n

isownraWt-OB-JO1⑷箓防UI