基于Patroni的Citus高可用方案

1、目录/Contents01020304Patroni简单回顾Citus高可用需求分析高可用功能设计其他注意点01Patroni简单回顾基于Python的开源软件(MIT协议)使用Dcs管理支持虚拟化技术集中式文件配置支持复制槽、pg_rewind可自定义外部callback脚本/zalando/ patroni可使用Etcd、Zookeeper或 consul作为Dcs支持k8s、docker等容器化搭建 及管理单节点部署只需配置一个ymal文件，无需另外配置数据库文件可按照实际情况配置配置是否 使用pg _rewind快速恢复可配置on_role_change、on_start、on_sto

2、p、on_restart及on_reload等情况的callback scriptpatroni一般由2n+1个节点组成,正常节点 数不少于n+1可提供服务Zk1Zk2Zk3node Anode BDcs node CDcs :etcdConsulZookeeperpat ro ni模式 初始化栠群pat ron i模式lea de r正常pat ro ni模式： le ad e 南皂竞选f - ，_ )L,，pat ro ni模式：完成选主 并继续新的莹制关系- - 一- w的 心 a 蜊02Citus高可用 需求分析非 MX 节点类型数据库动作元数据更新cn(主)(备)work(主)(备)

3、元数据cn(主)MX节点类型数据库动作元数据更新cn(主)(备)work(主)(备)元数据所有MXwork(主)CN(主)节点故障，无需元数据更新，Patroni可达要求。2.work节点故障，Patroni只能切换数据库实际角色，无法更新元数据。1.主cn节点的元数据更新a.可考虑利用Patroni的callback功能。 b.编写其他进程。2.MX架构中的所有MX work节点元数据更新。a.可使用Citus9.0版本(master_node_update加入了异步更新元数据功能)。 b.修改源码(如我司加入了fdd_failover函数)。Patroni原生功能，可在on_role_ch

4、ange、on_start、on_stop、on_restart及on_reload等情况下执行指定脚本。优点：Patroni原生功能触发，开发成本较低。缺点：所有节点都需要部署callback脚本，不易管理。patroniZookeeperpromotescriptcallbackwork1 备主cn元数据可在Patroni的上层编写一个程序，用于实时检查元数据信息和集群内部主从真实 角色是否对应，从而触发子进程处理。优点：部署和配置方式灵活可调。缺点：1.相对开发成本较高。2.需要保证该程序的可靠性。patroni主cnZookeeperfddsw元数据获取集群状态1.当work节点主备变

5、化后，及时更新主cn节点上元数据信息。2.监控并跟进故障节点，发出告警。3.记录failover及switchover时更新节点的步骤，可重入执行。4.需考虑进程本身高可用问题。03高可用功能设计1.只在主cn节点上运行。2.复用Patroni的yml文件。3.灵活扩展，增加可靠性。1.MX与非MX架构在更新元数据时步骤一致。2.整理switchover与failover流程逻辑，封装函数。1.通过Citus中的元数据表与Dcs中的真实角色做比对。（不可取）2.Zookeeper中watch每个scope中的leader键。（有缺陷）3.采用新旧leader比对的方式。1. 为 什 么 要 做

6、 区 分 ？ switchover是计划内的，failover突发的。switchover需要一些前置步骤来保障数据不丢失，降低切换风险。2. 怎么区分？可在switchover时对Dcs中某个特定的键设置标志值区分。1.某个步骤偶然性执行失败，告警 且再次执行。2.fddsw执行中崩溃，新激活的 fddsw可从中断处继续执行。12234崩溃激活等待激活1.节点故障、恢复的决策依据。2.判断节点类型依据。cn_nodes: cn_scope:- node_192_168_120_130- node_192_168_120_131 wk_nodes:wk_scope:- node_192_168

7、_120_133- node_192_168_120_134 wk2_scope:- node_192_168_120_135- node_192_168_120_1361.具有原生patronictl功能。2.区分cn与work，只在为work节点时执行前置步骤。 3.进度及结果回馈。1.保留patronictl管理工具。2.以patronictl为蓝本，在post请求前后加入逻辑。3.设置告警及超时时间。WK2masterpatroniWK1CN1fddswreplicapatroniWK2secondaryWK2replicapatroniWK1CN1fddswmasterpatroni

8、WK1unavailablesecondaryZookeeperleader = old_leaderZookeeperleader != old_leader执行元 数据修 改流程WK2secondary primaryWK2replicapatroniWK1CN1fddswmasterpatroniWK1secondaryZookeeperWK2primary更改old_leaderWK2replicapatroniWK1CN1fddswmasterpatroniWK1secondaryZookeeperWK2primary执行switchover1fddswctl1设置切换标志执行前置步骤WK1primary unavailabledemotepromotefddswctl清除切换标志leader = old_leaderleader = ol