看圖了解RocksDB

摘要：?它是一個高性能的Key-Value數(shù)據(jù)庫。設(shè)計了完善的持久化機制，同時保證性能和安全性。能夠良好的支持范圍查詢，因為K-V記錄就是按照Key來排序的。 下圖為寫入的流程： 可以看到主要的三個組成部分，內(nèi)存結(jié)構(gòu)memtable，類似事務(wù)日志角色的WAL文件，持久化的SST文件。

它是一個高性能的Key-Value數(shù)據(jù)庫。設(shè)計了完善的持久化機制，同時保證性能和安全性。能夠良好的支持范圍查詢，因為K-V記錄就是按照Key來排序的。

下圖為寫入的流程：

可以看到主要的三個組成部分，內(nèi)存結(jié)構(gòu)memtable，類似事務(wù)日志角色的WAL文件，持久化的SST文件。

數(shù)據(jù)會放到內(nèi)存結(jié)構(gòu)memtable，一定條件下觸發(fā)寫到到SST文件。寫入WAL文件是可選的，用來恢復(fù)未寫入到磁盤的memtable。

下圖展示了讀取的層次：

memtable和SST文件組成數(shù)據(jù)的全集。之上是緩存層，緩存為提升查詢性能做了分片，底層都采用hash查詢，不同緩存結(jié)構(gòu)的區(qū)別在于熱點數(shù)據(jù)的替換邏輯。訪問數(shù)據(jù)庫時，都是訪問的打開時間點的view（我猜測一個key有不同時間戳的多條記錄）。除了直接查詢db，還提供了查詢快照的機制。直接訪問db時，會持有文件句柄，這樣多個SST文件合并時，已經(jīng)被合并但被訪問的文件就不能被刪除。而快照機制保證了訪問過程中文件能被刪除（我并未想明白如何做到的），不過打開期間被刪除的key的記錄還會在新合并的文件里存在。

memtable的結(jié)構(gòu)有幾種可選，本質(zhì)都是排序的結(jié)構(gòu)（為了支持范圍查詢）

其中之一是上圖的跳躍表，不了解跳躍表機制的讀者可以簡單理解為有序支持近似二分查找的時間復(fù)雜度為log2(N)的結(jié)構(gòu)

另外一種是hash結(jié)合跳躍表，是按照key的前綴做hash，單獨訪問一個key時性能更好，范圍查詢性能會差些

WAL文件結(jié)構(gòu)如下圖，按照寫入的順序來存儲變長的K-V，按照固定長度來分組存儲（可能一個K-V跨多個分組）的目的是便于讀取

支持幾種SST文件結(jié)構(gòu)

上圖為按照多塊來存儲的結(jié)構(gòu)。每塊的K-V都是有序的，而多塊也是有序的。文件中包含元數(shù)據(jù)相關(guān)的信息，包括數(shù)據(jù)壓縮字典、過濾器等。會按照數(shù)據(jù)塊所屬的K-V范圍來創(chuàng)建索引，為提升查詢性能會給索引分片。

另外一種結(jié)構(gòu)是每個K-V來存儲。它的索引比較特殊，由hash結(jié)構(gòu)和二進制查找緩存兩部分組成。依然按照key的前綴做hash，如果桶對應(yīng)的K-V記錄很少，則直接指向第一個key（有多個key屬于該桶）的記錄位置。如果屬于桶的K-V記錄多于16條，或者包含多于一個前綴的記錄，則先指向二進制查找緩存（先二分查找），而后指向第一個key的記錄位置。

隨著K-V的寫入，會生成很多的SST文件，這部分文件需要被合并到一起。從而降低打開文件數(shù)量，并且移除已經(jīng)不存在的記錄。通常可以配置兩種方式，通用合并（下圖左側(cè)）與level合并（右側(cè)）。

其中一個概念是level，可以簡單理解成越老的數(shù)據(jù)在越高的level（也就是數(shù)據(jù)最初寫入到最低的level，level0就是memtable）。

我將通用合并簡單理解為一種簡單粗暴的合并，可以盡量降低寫磁盤的壓力，會增大讀取的壓力，臨時空間占用大。

一般多采用level合并的方式。每個level都有max大小，超出后會觸發(fā)本level與下一level的文件合并到一起。不同level的合并是可以并發(fā)執(zhí)行的。

對rocksdb做個總結(jié)。所有記錄在業(yè)務(wù)上是有序的，對key的查詢其實會執(zhí)行類似二分查找。持久化是通過寫入有序文件來實現(xiàn)的。高性能的寫入是通過先寫入內(nèi)存結(jié)構(gòu)來保證的（寫滿的內(nèi)存結(jié)構(gòu)刷到持久化文件）。提供了level機制對數(shù)據(jù)做分層，優(yōu)先查詢最新寫入的level來優(yōu)化查詢性能。