冷菠：传统行业PG实践探索

2目录•02传统行业PG实践探索345“这年头，但凡少了一个证书都没法在江湖混了!!!”6开源PG如何杀出重围:紧跟卷王脚步一起“卷”71.PG能力画像2.卷“DFX”稳定性可靠性弹性韧性扩展性易用性可维护性生态能力82.1PG探索实践：从传统走向开源以传统架构为底座，融合开源生态，以传统架构为底座，融合开源生态，打造端到端能力：数据迁移离线日志插件扩展透明切换全链路维护数据迁移离线日志插件扩展透明切换全链路维护传统底座：流程+服务+人员+资源端到端能力：自动化->自动驾驶开源生态：工具集->工具链智能风险识别智能风险识别智能SQL建议智能SQL建议智能SQL调优智能SQL调优智能容量管理智能容量管理智能流量控制智能流量控制“裸奔”“裸奔”2.2PG在传统行业实践利用开源工具探索可靠性、可观测以及最佳性能实践：巡检&优化工具利用pg_巡检&优化工具利用pg_profile工具，实现类AWR可观测性。性能调优工具利用pg_gather工具，实现类ADDM性能诊断利器功能。PAF（pgautofailover）作为高可用架构，解决业务单点故障，确保业务连续性。PAF高可用架构保障PostgreSQL业务连续性：PrimaryApplicationMointor国SecondaryApplicationMointor国Secondary数据读写分离数据读写分离故障健康检测故障健康检测故障平滑切换故障平滑切换故障快速转移故障快速转移故障快速修复故障快速修复pg_profile：基于快照统计的AWRpg_gather：基于实时统计的AWR+ADDMDBSummary某医药行业客户SCM供应链库数据10TB+（总共20TB+影响数据库性能，需进行业务分库：高可用主从数据迁移：PAF集群脑裂重组方案对比迁移方案对比痛点&优劣势数据迁移╳迁移数据量较大╳数据需要导出导入╳传统迁移工具慢╳较长的业务中断时长集群脑裂不需要进行大量数据导出导入在主备接近完全数据同步前提下，数据0丢失业务中断时间较短运维操作简化，效率提升方案亮点8A在线重组业务连续操作简化切换平滑效率提升开源工具链/工具集助力PG可观测行实践：//32C128G//优化建议值checkpoint_completion-->64GBautovacuum_max_workers=6temp_buffers=4MB--128MB某业务模块，补齐业务性能短板：Hint+参数调优+查询转换》》╳数据量大，百万/千万╳单月数据分布不均衡╳每月统计数量集中在月初/月末几天╳跨月数据分布不均衡╳╳数据量大，百万/千万╳单月数据分布不均衡╳每月统计数量集中在月初/月末几天╳跨月数据分布不均衡╳某些月几百万，某些月上千万╳查询跨度月大╳跨多月甚至年╳索引selectivity低╳全表扫描》╳硬解析》慢查询SQL2》╳不排序需要23秒╳只查ID其他条件不变60秒╳只查ID过滤条件为索引字段，主键排序22秒╳只查ID过滤条件为索引字段，索引字段排序34秒╳只查ID过滤条件为索引字段，非索引字段排序43秒╳查询全表总数23秒性能优化结果：SQL执行时间降低到1s左右。zdataazdataaSP_SET_PARA_VALUE(1,'BUFFER',16000);SP_SET_PARA_VALUE(1,'BUFFER',19);SP_SET_PARA_VALUE(1,'SESS_POOL_SIZE',128);SP_SET_PARA_VALUE(1,'VM_POOL_SIZE',128);SP_SET_PARA_VALUE(1,'SORT_BUF_SIZE',2048);SP_SET_PARA_VALUE(1,'DICT_BUF_SIZE',1024);SP_SET_PARA_VALUE(1,'RECYCLE',2048);SP_SET_PARA_VALUE(1,'PARALLEL_POLICY',2);SP_SET_PARA_VALUE(1,'MAX_PARALLEL_DEGREE',64);SP_SET_PARA_VALUE(1,'PARALLEL_THRD_NUM',16);慢SQL优化对比慢SQL优化对比优化结果：性能大幅度提升，满足测试预期：SQL1（150s->1.6s），提升近100倍SQL2（20s->0.1s），提升近200倍0优化前