PG 日常运维中的七个常见问题

PG日常运维中的七个常见问题相对于Oracle来说，PG数据库的运维还是要简单不少的。不知道大量数据库从Oracle迁移到开源或者国产数据库之后，DBA会不会贬值。不过这个过程刚刚开始的时候，DBA不但不会贬值，反而会升值，如果你既能干OracleDBA,还能干点PG/MYSQL之类的数据库，那么企业肯定会更倚重你。与Oracle泛若烟海的知识相比，PG的运维确实要简单的多。再加上我们从Oracle将系统迁移到PG的时候会做大量的SQL优化，甚至拆分数据库，因此大多数PG数据库的体量也会比Oracle小不少，这也减轻了数据库运维的难度。最近要给一个客户做一个PG数据库日常运维优化中的常见问题的培训，所以我这两天也在梳理这方面的问题。今天我们就来聊聊PG运维中常见的问题吧。首先是PG数据库起不来了，这个问题可能出现在刚刚部署PG数据库的时候，也可能某个库被人瞎搞了一下，就突然起不来了。PG数据库的核心是$PGDATA目录下的文件结构，如果数据库的文件都是正常的，没有被破坏，那么大概率是因为环境变量设置，pg_ctl启动参数或者文件目录的属性错误导致的。如果启动数据库的时候遇到7home/pg/data〃hasinvalidpermissions这个错误的时候，那么只要纠正这个目录的访问权限就可以了。如果PG数据库因为某些文件损坏而无法启动，那么幸运的是大部分情况处理起来并不麻烦，使用reset_wal工具去做修复。其次，数据库如果能正常启动，客户端无法访问数据库服务，这种也是很常见的情况。一般情况下遇到此类问题有几种情景。一种是网络问题，防火墙等导致客户端无法访问数据库服务的端口，或者客户端访问服务的端口或者IP地址错误。如果本地的psql也无法通过SOCKET连接PG服务，而且端口也没错误。那么首先我们要检查一下unixsocket的目录：postgres=#showunix_socket_d1rector1es;unix_socket_directories/tmp(1row)postgres=#这个目录默认是/tmp,查看一下这个目录下的socket文件是否正常。同时确保PGDATA环境变量设置是与PG数据库服务的PGDATA一致的。第三，数据库用的好好的，突然PG服务就莫名其妙被杀掉了。这时候如果你查看一下messages日志，一般会发现是SWAP满了或者系统干脆就没设置SWAPo不知道哪位大侠提出的，既然SWAP会影响性能，而且我们也不知道LINUX啥时候回用SWAP,那么我们既然有那么大的物理内存，那还用啥SWAP,关闭SWAP性能更好。因此现在有不少关闭SWAP的拥冤。实际上,在没有弄明白LINUX内存管理原理的情况下关闭SWAP,是会引发更大的风险的，我们一般不太建议完全关闭SWAP,因为有些特殊情况下，SWAP是可以救命的。遇到这种情况，我们还是建议调整VM的overcommit_nieniory参数，swappiness等参数，以及NUMA的相关配置。同时加大SWAP,以确保此类现象不再发生。有些老司机建议大家调整oom_score_adj参数，让00M发生的日寸候不挑postmaster等核心PG服务进程去下手，这种方式也是有效的，但是还是那句话，你没弄明白这些机理的时候去盲目用这些偏方，还是有风险的。设置一个足够大的SWAP可能是更好的方法。第四，白名单配置不正确导致客户端无法访问PG数据库服务。对于PG数据库来说，HBA配置是默认的，这是确保数据库不被外部随意攻击的一道十分重要的屏障。作为PGDBA来说，做精细的管理是今后避免扯皮的一个十分重要的工作。因此建议你不要使用0.0.0.0这样的配置项，最好把能够访问PG数据库的IP地址作为粒度来配置，如果不能做到按照IP地址配置，也要配置到最小的限制单元。想要访问你的PG数据库，必须是让你知道的，做到这一点，你才能更好的把控数据库。pg_hba.conf文件修改后，pg_ctlreload一下就可以更新了，还是十分方便的。第五，表元组膨胀或者FREEZE问题，死元组过多导致的表膨胀是ASTORE存储的数据库的常见问题。表膨胀会影响全表扫码类SQL的性能。而FREEZE会引发写操作被阻塞。这些问题往往是因为PG数据库的一些配置问题引发的。我以前写过一篇文章《PGAUTOVACUUM的优化小技巧》，大家有兴趣的话可以去阅读，因为里面的参数调整还是挺复杂的，这里就不重复了。第六，WAL目录膨胀。WAL目录膨胀，导致PGDATA目录满了，也是常见问题。这种情况一般是由于数据库复制或者复制槽的设置存在问题导致的。有些备份工具为了确保能够备份到所有需要的WAL,也会通过设置一个复制槽来做这方面的控制。而备份工具往往不会主动确认复制状态，因此就容易组织WAL被自动清除了。PG13后针对复制槽的WALSIZE有了很好的控制，PG12后，对WALSIZE的控制参数也有了更精细化的设置。如果能够通过参数控制的，那么就把这些参数设置好。第七，误删数据。PG的DDL都是可以回滚的，因此防误删最重要的是关闭AUTOCOMMIT。如果你已经关闭了AUTOCOMMIT,那么误删数据后不要惊慌，直接rollback就可以了。如果真的已经COMMIT了，无法回滚了。那么如果你做的是DDL,那么只能期望你有备份