后寫日志

Write behind logging

基本思想

NVM的優(yōu)點(diǎn)是可字節(jié)尋址、接近內(nèi)存的高性能、順序訪問(wèn)和隨機(jī)訪問(wèn)差距不大。2016年VLDB會(huì)議上《write behind logging》論文專門針對(duì)NVM設(shè)計(jì)了一種新的日志記錄及恢復(fù)協(xié)議。主要思想是去掉了傳統(tǒng)的append only的redo和undo日志，但仍然需要保留undo信息用來(lái)回滾未提交事務(wù)。事務(wù)提交前需要將該事務(wù)的所有修改強(qiáng)制刷盤，之后在log中記錄commit標(biāo)記，即這里所說(shuō)的WBL�；謴�(fù)過(guò)程中，通過(guò)分析commit標(biāo)記將未提交的事務(wù)通過(guò)undo信息回滾掉。

而這篇論文在這個(gè)思想基礎(chǔ)上又進(jìn)行了一系列優(yōu)化，下面介紹其機(jī)制。首先吐槽一下，這篇論文寫得不是很清晰，理解起來(lái)比較困難。下面是深入理解后的機(jī)制，有不當(dāng)?shù)胤竭�望指正。

機(jī)制

1、幾個(gè)概念

DTT表中元組結(jié)構(gòu)：事務(wù)ID＋表ID＋更改位置

數(shù)據(jù)頁(yè)中的元組結(jié)構(gòu)：

tuple id＋trx id＋begin commit時(shí)間戳＋ end commit時(shí)間戳＋上個(gè)版本號(hào)的tuple ID ＋data

Cp：該時(shí)間戳之后的提交的事務(wù)其數(shù)據(jù)不保證已經(jīng)持久化到磁盤

2、一個(gè)事務(wù)操作過(guò)程

Begin；

執(zhí)行操作，修改DRAM中的數(shù)據(jù)頁(yè)

添加一個(gè)元祖到DTT表中，該元祖不包括插入后的值

Commit：

1）記錄下各個(gè)該事務(wù)的提交時(shí)間戳t1

2）掃描DTT表得到該事務(wù)相關(guān)元組

3）計(jì)算cp和cd值

4）將DTT表中元組持久化到磁盤，此時(shí)元組中加上了提交時(shí)間戳t1

5）將cp和cd構(gòu)成的WBL持久化到NVM

6）通知完成組提交，釋放DTT

Rollback：

   1）通過(guò)DTT中信息進(jìn)行回滾。

3、一個(gè)事務(wù)操作過(guò)程圖示

若在trx6 commit的時(shí)間點(diǎn)，系統(tǒng)故障，那么重啟時(shí)從WBL日志文件中遍歷得到最后一個(gè)WBL即｛4，（5，100）｝，得到活躍的事務(wù)為4，大于5的事務(wù)都未提交。分析到這里恢復(fù)就完成，即可接受新事務(wù)。

但是磁盤上的臟數(shù)據(jù)怎么處理？會(huì)啟用一個(gè)單獨(dú)的回收線程，掃描表中記錄，若記錄的時(shí)間戳大于5，比如事務(wù)6的記錄，他是不可見(jiàn)的，即將它回收掉；對(duì)于1，3，2，5都是可見(jiàn)的，不做處理，對(duì)于4，他在組提交未提交的事務(wù)鏈表里，也將它回收掉。

4、缺點(diǎn)及疑惑

1）文中沒(méi)有詳細(xì)說(shuō)明記錄是如何回收的，是后續(xù)事務(wù)訪問(wèn)到進(jìn)行判斷處理，還是說(shuō)只是另外回收線程全部掃描進(jìn)行判斷。數(shù)據(jù)量如果特別大的話，掃描的代價(jià)豈不是很大？全部掃描完后，才將不用的WBL回收掉？

2）如果在高可用場(chǎng)景下，無(wú)法滿足要求，仍然需要相應(yīng)的WAL進(jìn)行復(fù)制

3）后續(xù)的可見(jiàn)性判斷比較復(fù)雜，文中沒(méi)有詳細(xì)說(shuō)明