伏龙阁资源网

PostgreSQL pg_archivecleanup与清理archivelog的操作
站长资源 2024/12/27 佚名
2 0

pg_archivecleanup 和 pg_rewind 是PG 中两个重要的功能，一个是为了清理过期的 archive log 使用的命令，另一个是你可以理解为物理级别的 wal log的搬运工。

我们先说第一个 pg_archivecleanup 命令，这个命令主要是用于使用了archive log 功能的 postgresql 但在 archive log 堆积如山的情况下，你怎么来根据某些规则，清理这些日志呢？

这里面就要使用 pg_archivecleanup 这个命令了，可以定时的来运行它，将已经移动到archivecleanup 的目录的archivelog 根据要求开始清理。

当然我们先的说说如果不定期清理会出什么问题

1 如果不定期清理archive 如果存放archivelog 的位置无法在接受新的日志，则大量WAL日志会滞留在 wal_log 目录中，则整体数据库系统都会受到影响。

2 占用大量的存储空间，存储无效的数据

那一般来说如果没有第三方的备份工具的情况下，怎么来通过pg_archivecleanup 来进行archivelog 的清理。

需要关注几个点

1 清理的时，清理的WAL_LOG 是否已经是包含在最后一次的备份中，保证清理的WAL_LOG 也可以从备份文件中恢复数据库

2 清理的时候，对于保存在非主库的wal_log 怎么办

一般来说，设置自动清理archive_log 可以在配置文件中添加

archive_cleanup_command = 'pg_archivecleanup archivelocation %r'

来操作。

但一般来说这样做好处少，弊病多，我比较喜欢写相关的脚本，定时去运行的方式，并且可以记录相关的LOG 日志等等。

PostgreSQL pg_archivecleanup与清理archivelog的操作

可以写一个脚本，来辅助定时清理相关的archive_log

PostgreSQL pg_archivecleanup与清理archivelog的操作

当然这样的方法也是有弊端的，如果由于备份的原因的故障，而直接使用天数来清理会有因为没有备份而直接将 wal_log 给清理掉，所以更加靠谱的方法是通过某些命令来获得需要截止的清理的Wal_log 名称。

例如 备份后的

PostgreSQL pg_archivecleanup与清理archivelog的操作

会在wal_log 里面有backup 的标记，这说明这个WAL log 以前的数据已经备份了，如果清理这个WAL LOG 之前的log 是安全的。

000000010000000300000030.00000060.backup

使用下面的脚本可以来更安全的清理

#!/bin/bash 
ARCHIVEDIR='/pgdata/archive'
CHK_SAFE=$(find $ARCHIVEDIR -type f -mtime +3 -name '*backup' -printf '%f\n' | sort -r | head -1)
cd $ARCHIVEDIR
/usr/local/postgres/bin/pg_archivecleanup $ARCHIVEDIR $CHK_SAFE 
find $ARCHIVEDIR -type f -mtime +3 -a -name '*backup' -a ! -newer $CHKPOINT -delete

补充：postgresql流日志误删处理（xlog）

今天同事误删postgresql库数据文件下的pg_xlog文件夹，导致所有流日志丢失，数据库无法启动,观察警告日志：

2018-03-12 18:45:54 CST LOG: database system shutdown was interrupted; last known up at 2018-03-12 17:48:27 CST
2018-03-12 18:45:54 CST LOG: could not open file "pg_xlog/000000010000001400000060" (log file 20, segment 96): No such file or directory
2018-03-12 18:45:54 CST LOG: invalid primary checkpoint record
2018-03-12 18:45:54 CST LOG: could not open file "pg_xlog/000000010000001400000060" (log file 20, segment 96): No such file or directory
2018-03-12 18:45:54 CST LOG: invalid secondary checkpoint record
2018-03-12 18:45:54 CST PANIC: could not locate a valid checkpoint record
2018-03-12 18:45:54 CST LOG: startup process (PID 32680) was terminated by signal 6: Aborted
2018-03-12 18:45:54 CST LOG: aborting startup due to startup process failure

用postgresql自带的pg_resetxlog工具可以跳过对WAL log的恢复。不过会丢失一些事务。恢复命令也很简单如下：

pg_resetxlog -f /var/lib/pgsql/9.6/data

然后启动postgrsql ,数据库就可正常进入

参考：pg_resetxlog官方文档

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
www.wwsws.com 伏龙阁资源网
39,976影音资源
44,792技术资源
21,817软件资源
651,128站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接