PostgreSQL时间线(timeline)和History File的用法

站长资源 2024/11/23 佚名

2 0 1

说明：

在pg中，当我们进行了基于时间点的还原(PITR)后，数据库会启用新的时间线并继续进行操作。

但是，当我们进行基于时间点的还原后如果发现又出现错误，想要继续还原数据库该如何操作呢？如何还原到原先旧的时间线呢？

我们可以使用recovery_target_timeline参数来指定数据库还原到某一个时间线上。如果你还不清楚这个参数该如何使用，或者说压根不知道时间线是啥，那么请继续往下看。

PostgreSQL 时间线：

每当我们在数据库中完成一个事务时，所做的操作都会记录到$PGDATA/pg_wal目录下的wal日志文件中。

wal日志文件一般都是下面这种格式：

000000010000000000000001

当一个wal日志被写满后，便会创建新的wal日志000000010000000000000002，以此类推。

该文件中前8位，即：00000001表示的便是数据库的时间线。

从控制文件中也可以看到：

-bash-4.1$-> pg_controldata |grep TimeLineID
Latest checkpoint's TimeLineID: 1
Latest checkpoint's PrevTimeLineID: 1

每当我们进行基于时间点的还原后，时间线便会加1，并创建一个名为NewTimelineID.history的新文件。这个文件是干什么用的我们后面会介绍。

recovery_target_timeline是一个参数，它可以帮助我们将集群带入历史记录中的任何时间线，只要有效的基本备份和所有存档日志都到位。

我们来看看下面的例子：

首先，重新初始化一个新的数据库集群。

-bash-4.1$-> ls pg_wal
000000010000000000000001 archive_status

然后创建一张表并插入数据。

bill=# create table timeline(tid int, remarks varchar(1000));
CREATE TABLE
bill=# insert into timeline values('1','This is timeline id 1');
INSERT 0 1
bill=# checkpoint;
CHECKPOINT
bill=# select pg_switch_wal();
pg_switch_wal
---------------
0/15D4B70
(1 row)

刚刚插入的数据便记录在000000010000000000000001的wal日志中。

当wal日志写到000000010000000000000005时，进行一次完整的备份，接着再产生一些新的wal日志。

-bash-4.1$ ls -rlt
total 147460
-rw------- 1 postgres postgres 16777216 Nov 22 13:03 000000010000000000000001
-rw------- 1 postgres postgres 16777216 Nov 22 13:03 000000010000000000000002
-rw------- 1 postgres postgres 16777216 Nov 22 13:03 000000010000000000000003
-rw------- 1 postgres postgres 16777216 Nov 22 13:05 000000010000000000000004
-rw------- 1 postgres postgres 16777216 Nov 22 13:05 000000010000000000000005
-rw------- 1 postgres postgres 337 Nov 22 13:05 000000010000000000000005.00000028.backup
-rw------- 1 postgres postgres 16777216 Nov 22 13:06 000000010000000000000006
-rw------- 1 postgres postgres 16777216 Nov 22 13:06 000000010000000000000007

可以看到，现在最新的wal日志是000000010000000000000008

接着插入一条新的数据。

bill=# insert into timeline values('1','This is timeline id 1 after basebackup');
INSERT 0 1
bill=# checkpoint;
CHECKPOINT

-bash-4.1$ pg_waldump 000000010000000000000008 | grep INSERT
rmgr: Heap len (rec/tot): 54/ 214, tx:
487, lsn: 0/08000110, prev 0/080000D8, desc: INSERT off 2 flags 0x00,
blkref #0: rel 1663/13530/16384 blk 0 FPW

然后再产生几个wal日志，现在的情况如下：

-bash-4.1$ ls -rlt
total 311308
-rw------- 1 16777216 Nov 22 13:03 000000010000000000000001
-rw------- 1 16777216 Nov 22 13:03 000000010000000000000002
-rw------- 1 16777216 Nov 22 13:03 000000010000000000000003
-rw------- 1 16777216 Nov 22 13:05 000000010000000000000004
-rw------- 1 16777216 Nov 22 13:05 000000010000000000000005
-rw------- 1 337 Nov 22 13:05 000000010000000000000005.00000028.backup
-rw------- 1 16777216 Nov 22 13:06 000000010000000000000006
-rw------- 1 16777216 Nov 22 13:06 000000010000000000000007
-rw------- 1 16777216 Nov 22 13:07 000000010000000000000008
-rw------- 1 16777216 Nov 22 13:07 000000010000000000000009
-rw------- 1 16777216 Nov 22 13:09 00000001000000000000000A

如下图所示：

此时，在我插入第二条数据前，我想要把数据还原到000000010000000000000007这个点。

因此我在postgresql.conf文件中将恢复目标lsn设置为“ 0/07000060”。

接着进行还原，当我们还原之后，数据库切换到了新的时间线。

除此之外还有哪些改变呢？

恢复结束是指数据库打开进行写入的点。

创建了新的时间线的 history file文件，如00000002.history。

前一个时间线上的部分WAL文件已被新时间线的ID复制。

检查点记录写在新的时间线上。

日志中会记录下列信息：

LOG: starting point-in-time recovery to WAL location (LSN) "0/7000060"
LOG: restored log file "000000010000000000000005" from archive
LOG: redo starts at 0/5000028
LOG: consistent recovery state reached at 0/5000138
LOG: database system is ready to accept read only connections
LOG: restored log file "000000010000000000000006" from archive
LOG: restored log file "000000010000000000000007" from archive
LOG: recovery stopping after WAL location (LSN) "0/7000060"
LOG: pausing at the end of recovery
HINT: Execute pg_wal_replay_resume() to promote.

此时，PostgreSQL已在wal日志7处分支到新的时间线，并开始创建时间线ID为2的新wal日志。我们可以下wal日志目录下看到00000002.history文件。

该文件是可读文件，内容大致为：

1<parentTLI> 0/70000D8 <switchpoint> after LSN 0/7000060<reason>
parentTLI  ID of the parent timeline
switchpoint XLogRecPtr of the WAL location where the switch happened
reason  human-readable explanation of why the timeline was changed

接下来，我向wal日志00000002000000000000000A (0/A000060)中插入新的数据。

bill=# insert into timeline values('2','This is timeline id 2 correct');
INSERT 0 1

以及另一个wal日志00000002000000000000000D（0/D000000)中插入另一条数据。

bill=# insert into timeline values('2','This is timeline id 2 wrong at 0/D000000');
INSERT 0 1

这个时候，我在00000002000000000000000D的wal日志中执行了错误的操作，想要回退到时间线2的00000002000000000000000C处，那么我要如何操作呢，如果像前面一样只指定lsn那么怎么保证不会回退到时间线1中呢？

这个时候我们便可以通过指定recovery_target_timeline来实现。

在postgresql.conf文件中添加：

recovery_target_timeline = '2'
recovery_target_lsn = '0/0C000060'

接着，启动数据库，可以看到日志中：

LOG: database system was interrupted; last known up at 2020-11-22 13:05:01 IST
LOG: restored log file "<span style="color: rgb(255, 0, 0);" data-mce-style="color: #ff0000;">00000002.history</span>" from archive
cp: cannot stat `/u02/archivelogs/00000003.history': No such file or directory
LOG: starting point-in-time recovery to WAL location (LSN) "0/C000060"
LOG: restored log file "00000002.history" from archive
LOG: restored log file "<span style="color: rgb(255, 0, 0);" data-mce-style="color: #ff0000;">000000010000000000000005</span>" from archive
LOG: redo starts at 0/5000028
LOG: consistent recovery state reached at 0/5000138
LOG: database system is ready to accept read only connections
LOG: restored log file "000000010000000000000006" from archive
LOG: restored log file "000000020000000000000007" from archive
LOG: restored log file "000000020000000000000008" from archive
LOG: restored log file "000000020000000000000009" from archive
LOG: restored log file "00000002000000000000000A" from archive
LOG: restored log file "00000002000000000000000B" from archive
LOG: restored log file "<span style="color: rgb(255, 0, 0);" data-mce-style="color: #ff0000;">00000002000000000000000C</span>" from archive
LOG: recovery stopping after WAL location (LSN) "<span style="color: rgb(255, 0, 0);" data-mce-style="color: #ff0000;">0/C000060</span>"
LOG: pausing at the end of recovery
HINT: Execute pg_wal_replay_resume() to promote.
..
LOG: redo done at 0/C000060
LOG: last completed transaction was at log time 2020-11-22 13:15:29.696929+05:30

然后查询该表验证：

bill=# select * from timeline;
 tid | remarks
-----+-------------------------------
 1 | This is timeline id 1
 2 | This is timeline id 2 correct
(2 rows)

此时可以看到新建了00000003.history文件，该文件内容如下：

-bash-4.1$ cat 00000003.history
1 0/70000D8 after LSN 0/7000060
2 0/C0000D8 after LSN 0/C000060

我们不难发现：

history file这个文件中记录的就是这个时间线是从哪个WAL位置开始生成的。

补充：PostgreSQL promote过程和一主多备时间线无缝对接详解

PostgreSQL的physical standby数据库的promote过程，数据库会在pg_xlog目录产生3个文件。

例如将备库1 promote，它将在pg_xlog目录产生如下文件：

A.partial (xlog) 
NEWTL_A (xlog)
NEWTL.history (history file)

例如备库1当前已接收到的XLOG位置是 00000001000000000000002D 文件中的某个位置 0/2D15D7D0，现在promote它。

将会在pg_xlog目录中产生3个文件：

00000001000000000000002D.partial
00000002000000000000002D 
 (00000001000000000000002D.partial 的内容会拷贝到 00000002000000000000002D)
00000002.history
  1 0/2D15D7D0 no recovery target specified

假设还有一个备库叫备库2，备库2如何能顺利的对接到已激活的备库1呢？

有个前提条件

备库2在TL1这条时间线上，还没有接收到00000001000000000000002D 这个文件。

把00000002.history拷贝到备库2的pg_xlog。

备库2会在应用完00000001000000000000002C后请求下一个时间线的 00000002000000000000002D 文件。

这样就能完美对接。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。

PostgreSQL,时间线,timeline,History,File

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“PostgreSQL时间线(timeline)和History File的用法”

暂无评论...

www.wwsws.com 伏龙阁资源网

39,976影音资源

44,792技术资源

21,817软件资源

651,128站长资源

PostgreSQL时间线(timeline)和History File的用法

说明：

PostgreSQL 时间线：

postgreSql分组统计数据的实现代码

postgresql 实现数据的导入导出

评论“PostgreSQL时间线(timeline)和History File的用法”

RTX 5090要首发性能要翻倍！三星展示GDDR7显存

更新日志

友情链接

PostgreSQL时间线(timeline)和History File的用法

说明：

PostgreSQL 时间线：

postgreSql分组统计数据的实现代码

postgresql 实现数据的导入导出

评论“PostgreSQL时间线(timeline)和History File的用法”

RTX 5090要首发 性能要翻倍！三星展示GDDR7显存

更新日志

友情链接

RTX 5090要首发性能要翻倍！三星展示GDDR7显存