postgres预写式日志的内核实现详解heap2类型

2019独角兽企业重金招聘Python工程师标准>>>

导读&＃xff1a;

postgres预写式日志的内核实现详解-概述

heap2(RM_HEAP2_ID)是数据库对heap的修改产生的wal记录&＃xff08;heap除去&＃xff09;&＃xff0c;如下为heap2类型的wal子类型

#define XLOG_HEAP2_REWRITE 0x00 #define XLOG_HEAP2_CLEAN 0x10 #define XLOG_HEAP2_FREEZE_PAGE 0x20 #define XLOG_HEAP2_CLEANUP_INFO 0x30 #define XLOG_HEAP2_VISIBLE 0x40 #define XLOG_HEAP2_MULTI_INSERT 0x50 #define XLOG_HEAP2_LOCK_UPDATED 0x60 #define XLOG_HEAP2_NEW_CID 0x70

XLOG_HEAP2_MULTI_INSERT

这种wal子类型在copy命令向表中插入数据时产生。代码在heap_multi_insert()函数中。redo函数为heap_xlog_multi_insert()。

描述结构体

typedef struct xl_heap_multi_insert {uint8 flags;uint16 ntuples;OffsetNumber offsets[FLEXIBLE_ARRAY_MEMBER]; } xl_heap_multi_insert;

ntuples:这个mutinsert wal记录中&＃xff0c;包含的tuple的个数。

offsets&＃xff1a;每一个tuple的在其page的相对位置。

flags&＃xff1a;标志位

#define XLH_INSERT_ALL_VISIBLE_CLEARED (1<<0)// VM稳健性相关 #define XLH_INSERT_LAST_IN_MULTI (1<<1)//一次copy命令产生的最后一个muti insert记录会有此标记&＃xff0c;logicaldecoding使用 #define XLH_INSERT_IS_SPECULATIVE (1<<2)//预测插入 #define XLH_INSERT_CONTAINS_NEW_TUPLE (1<<3)//即使fpw也要写入元组数据

此wal类型中可能包含的数据

①xl_heap_multi_insert结构体&＃xff1a;一定存在&＃xff0c;通过XLogRegisterData()注册

②插入的元组所在的page数据&＃xff1a;可能存在&＃xff0c;使用XLogRegisterBuffer&＃xff08;&＃xff09;注册。

③插入的元组数据&＃xff1a;可能存在&＃xff0c;使用XLogRegisterBufData&＃xff08;&＃xff09;注册。

一个copy命令可能插入很多个page的数据。一个muti insert记录里的所有元组必须插入到同一个page里。因此一个copy命令可能会产生很多这个wal记录。

XLOG_HEAP2_REWRITE

开启logical wal日志模式时&＃xff0c;在系统表和一些特殊用户表在执行vacuum full的过程中。

会产生这个wal记录类型。这个wal日志类型主要是为了恢复pg_logical/mapping下的文件&＃xff0c;mapping目录下的文件用于在系统表发生vacuum full后来判断系统表元组的可见性。

描述结构体

typedef struct xl_heap_rewrite_mapping {TransactionId mapped_xid; /* xid that might need to see the row */Oid mapped_db; /* DbOid or InvalidOid for shared rels */Oid mapped_rel; /* Oid of the mapped relation */off_t offset; /* How far have we written so far */uint32 num_mappings; /* Number of in-memory mappings */XLogRecPtr start_lsn; /* Insert LSN at begin of rewrite */ } xl_heap_rewrite_mapping;

mapped_xid:每一个mapping都是用xid来标识的

mapped_db:数据库oid

mapped_rel&＃xff1a;表的oid

offset:pg_logical/mapping下这个map文件下一个写入的位置

num_mappings&＃xff1a;map的数量

start_lsn&＃xff1a;rewrite开始时的lsn

此wal类型中可能包含的数据

①xl_heap_rewrite_mapping结构体&＃xff1a;一定存在&＃xff0c;通过XLogRegisterData()注册

②此mapping的数据LogicalRewriteMappingData如下&＃xff1a;一定存在&＃xff0c;使用XLogRegisterData&＃xff08;&＃xff09;注册。

typedef struct LogicalRewriteMappingData {RelFileNode old_node;RelFileNode new_node;ItemPointerData old_tid;ItemPointerData new_tid; } LogicalRewriteMappingData;

XLOG_HEAP2_CLEAN

执行vacuum会产生此wal记录类型&＃xff0c;一个page被清理后&＃xff0c;会对这个page的item进行更新

typedef struct xl_heap_clean {TransactionId latestRemovedXid;uint16 nredirected;uint16 ndead;/* OFFSET NUMBERS are in the block reference 0 */ } xl_heap_clean;

latestReemovedXid&＃xff1a;最旧xid&＃xff0c;备机使用

nredirected&＃xff1a;重定向的item的个数

ndead&＃xff1a;死亡的item的个数

此wal类型中可能包含的数据

①xl_heap_clean结构体&＃xff1a;一定存在&＃xff0c;通过XLogRegisterData()注册

②清理的page的所有数据&＃xff1a;可能存在&＃xff0c;使用XLogRegisterBuffer&＃xff08;&＃xff09;注册。

③&＃39;重定向的item的位置&＃39;数组&＃xff0c;可能存在&＃xff0c;通过XLogRegisterBufData()注册

④&＃39;死亡的item的位置&＃39;数组&＃xff0c;可能存在&＃xff0c;通过XLogRegisterBufData()注册

⑤&＃39;未使用的item的位置&＃39;数组&＃xff0c;可能存在&＃xff0c;通过XLogRegisterBufData()注册

XLOG_HEAP2_FREEZE_PAGE

执行vacuum时&＃xff0c;如果有元组被freeze,产生此wal记录。

描述结构体

typedef struct xl_heap_freeze_page {TransactionId cutoff_xid;uint16 ntuples; } xl_heap_freeze_page;

cutoff_xid&＃xff1a;最旧xid&＃xff0c;备机使用

ntuples&＃xff1a;freeze的元组的个数

此wal类型中可能包含的数据

①xl_heap_freeze_page结构体&＃xff0c;一定存在&＃xff0c;通过XLogRegisterData()注册

②清理的page的所有数据&＃xff1a;可能存在&＃xff0c;使用XLogRegisterBuffer&＃xff08;&＃xff09;注册。

③每一个freeze元组的清理结果&＃xff0c;清理结果用xl_heap_freeze_tuple存储&＃xff0c;一定存在&＃xff0c;使用XLogRegisterBufData()注册。

typedef struct xl_heap_freeze_tuple {TransactionId xmax;OffsetNumber offset;uint16 t_infomask2;uint16 t_infomask;uint8 frzflags; } xl_heap_freeze_tuple;

XLOG_HEAP2_CLEANUP_INFO

备机使用的wal&＃xff0c;具体作用没有研究明白&＃xff0c;暂时留白。

XLOG_HEAP2_VISIBLE

更改某个数据page在VM文件中的映射位时&＃xff0c;产生这个wal记录。

描述结构体

typedef struct xl_heap_visible {TransactionId cutoff_xid;uint8 flags; } xl_heap_visible;

cutoff_xid&＃xff1a;最旧xid&＃xff0c;备机使用

flags&＃xff1a;设置的映射信息

#define VISIBILITYMAP_ALL_VISIBLE 0x01 //page内所有的tuple都可见 #define VISIBILITYMAP_ALL_FROZEN 0x02 //page内所有的tuple都frozen #define VISIBILITYMAP_VALID_BITS 0x03 //ALL_VISIBLE &＃43; ALL_FROZEN

此wal类型中可能包含的数据

①xl_heap_visible结构体&＃xff0c;一定存在&＃xff0c;通过XLogRegisterData()注册

②修改的位所在的vm buff ,可能存在&＃xff0c;通过XLogRegisterBuffer()注册

③修改的位所指定的heapbuff,可能存在&＃xff0c;通过XLogRegisterBuffer()注册