基于玻璃的歸檔存儲(chǔ)新方法

根據(jù)一份16頁文件中做出的詳細(xì)解釋，微軟希望通過Silica項(xiàng)目探索在石英玻璃板內(nèi)存儲(chǔ)多層歸檔數(shù)據(jù)的可能性，而且目前距離成熟產(chǎn)品已越來越近。

微軟對(duì)其玻璃歸檔存儲(chǔ)項(xiàng)目的更新，已經(jīng)以學(xué)術(shù)論文的形式被提交至第29屆ACM操作系統(tǒng)原理大會(huì)（SOSP 2023）。

其目的是開發(fā)一套能夠讀取和寫入數(shù)據(jù)的云規(guī)模歸檔介質(zhì)系統(tǒng)。編碼技術(shù)是在方形玻璃板內(nèi)的點(diǎn)上生成具有偏振圖案的區(qū)域，可由3D坐標(biāo)進(jìn)行定義并分為幾百層。

這些偏振圖案點(diǎn)被稱為“立體像素”（簡(jiǎn)稱體素），由飛秒激光脈沖所產(chǎn)生。每個(gè)體素能夠編碼3到4位數(shù)據(jù)。體素首先被并排寫入由玻璃板XY平面的2D層內(nèi)，之后再被組織成矩形扇區(qū)，由此在XY平面上形成超10萬個(gè)體素二維組，對(duì)應(yīng)約100 KB數(shù)據(jù)容量。一組3D扇區(qū)則構(gòu)成一條存儲(chǔ)軌，意味著每塊玻璃板能夠容納幾個(gè)TB的數(shù)據(jù)。

整個(gè)設(shè)計(jì)與Cerebyte技術(shù)頗為相似，后者同樣使用飛秒激光脈沖在方形玻璃板上的陶瓷涂層中激發(fā)物理變化。這些變化就是納米級(jí)的孔，類似于高科技版本的打孔卡。但Cerabyte的孔是作為二維碼的一部分所生成，而Silica項(xiàng)目中的體素則被放置在存儲(chǔ)軌之上。整塊玻璃板將旋轉(zhuǎn)在平臺(tái)上，由平臺(tái)的讀寫頭設(shè)備（即激光與偏光顯微鏡）從左到右、自上而下地移動(dòng)操作。相比之下，Cerabyte的玻璃載體只能向前或向后移動(dòng)，且僅可容納單層介質(zhì)?？傊琒ilica項(xiàng)目的玻璃真正成為一種能夠隨機(jī)訪問的存儲(chǔ)介質(zhì)。

Cerabyte和微軟都設(shè)想用圖書庫機(jī)架的形式來容納這種數(shù)據(jù)存儲(chǔ)介質(zhì)——在Cerabyte的設(shè)計(jì)中，這些方形玻璃數(shù)據(jù)載體將被容納在一個(gè)個(gè)盒子當(dāng)中；而在微軟這邊，玻璃則可以獨(dú)立存在、不必額外借助容器。庫內(nèi)有一套機(jī)器人傳輸系統(tǒng)，包含多臺(tái)由獨(dú)立電池供電的機(jī)器人拾取器（穿梭機(jī)）。它們就如同一群蜜蜂，能夠穿越書庫機(jī)架間的多乏善可陳水平導(dǎo)軌并垂直上下翻轉(zhuǎn)，輕松完成讀取和寫入任務(wù)。微軟將其比作“受最先進(jìn)倉庫機(jī)器人系統(tǒng)啟發(fā)而來的一組用于數(shù)據(jù)操作的免費(fèi)漫游班車”。

微軟Silica項(xiàng)目的庫內(nèi)，兩臺(tái)獨(dú)立機(jī)器人拾取器正在運(yùn)行。

微軟表示，“讀取驅(qū)動(dòng)器會(huì)以單向快速Z軸模式掃描扇區(qū)，并對(duì)生成的圖像進(jìn)行解碼處理。不同的讀取驅(qū)動(dòng)器選項(xiàng)對(duì)應(yīng)不同的數(shù)據(jù)吞吐量以及較為均衡的成本和性能?！?/p>

也就是說，Silica項(xiàng)目的系統(tǒng)提供多種讀寫驅(qū)動(dòng)器選項(xiàng)。

寫入機(jī)架與庫機(jī)架之間還有一個(gè)意向系統(tǒng)，防止玻璃盤片被覆寫。與Cerabyte一樣，Silica項(xiàng)目技術(shù)本質(zhì)上也只能寫入一次，屬于物理WORM系統(tǒng)。微軟表示，“一旦玻璃介質(zhì)被寫入，機(jī)器人就無法將玻璃盤再次插入寫入設(shè)備?！币簿褪钦f在庫系統(tǒng)層級(jí)上保留實(shí)體氣隙，單個(gè)玻璃盤片會(huì)被一次性寫入并用盡全部容量。

寫入驅(qū)動(dòng)器為全機(jī)架大小，可同時(shí)對(duì)多張盤片進(jìn)行寫入；包含多個(gè)驅(qū)動(dòng)器的讀取驅(qū)動(dòng)器機(jī)架也采用相同設(shè)計(jì)。讀寫驅(qū)動(dòng)器機(jī)架都需要配備冷卻、電源和網(wǎng)絡(luò)連接。

寫入的盤片在放入庫中之前先要接受讀取驗(yàn)證。也就是說，新寫入的驅(qū)動(dòng)器將由穿梭機(jī)攜帶至讀取驅(qū)動(dòng)器。微軟在論文中指出，“為了實(shí)現(xiàn)更高的驅(qū)動(dòng)器執(zhí)行效率，可以在單一讀取驅(qū)動(dòng)器內(nèi)同時(shí)安裝兩塊盤片；其一接受驗(yàn)證，其二供客戶讀取，且客戶流量?jī)?yōu)先于驗(yàn)證流量?！?/p>

從Silica盤片中讀取（掃描）到的體素圖像將通過機(jī)器學(xué)習(xí)算法被轉(zhuǎn)換為二進(jìn)制數(shù)據(jù)。讀取驅(qū)動(dòng)器在XY平面上尋找相應(yīng)的存儲(chǔ)軌，之后在Z（深度）方向上通過單次掃描讀取整個(gè)存儲(chǔ)軌內(nèi)的扇區(qū)。讀取驅(qū)動(dòng)器的吞吐量以30 MBps為倍數(shù)進(jìn)行擴(kuò)展。

微軟研究人員還分析了Azure歸檔IO模式，發(fā)現(xiàn)小文件IO（即256 MiB到256 GiB）在實(shí)際應(yīng)用中占主導(dǎo)地位，而且不同規(guī)模IO在數(shù)據(jù)中心層面的性能差異極大。也就是說，“應(yīng)當(dāng)最大限度減少庫內(nèi)機(jī)械運(yùn)動(dòng)的延遲，從而實(shí)現(xiàn)最佳性能”，而Silica庫應(yīng)可針對(duì)不同的工作負(fù)載模式進(jìn)行定制。

Silica項(xiàng)目的庫系統(tǒng)使用兩種錯(cuò)誤編碼技術(shù)——LDPC（低密度奇偶校驗(yàn)）扇區(qū)間錯(cuò)誤編碼以及網(wǎng)絡(luò)擦除編碼（NC），包括軌內(nèi)、大規(guī)模組（多軌）及跨盤等多種NC變體。

Silica庫的讀取性能、接收讀取請(qǐng)求與庫讀取/發(fā)送的最后一個(gè)字節(jié)間的延遲，由第99.9百分位結(jié)果定義，即由尾部完成時(shí)間定義。微軟假設(shè)“到最后一個(gè)字節(jié)的服務(wù)質(zhì)量目標(biāo)（SLO）為15小時(shí)，即與現(xiàn)有歸檔服務(wù)保持一致。”

然而，這里的完成時(shí)間并不包括機(jī)器學(xué)習(xí)算法用于解碼的部分。

微軟在論文中總結(jié)道，“玻璃介質(zhì)的獨(dú)特屬性，以及軟件層面全新的云優(yōu)先協(xié)同設(shè)計(jì)，使Silica從根本上獲得了更好的可持續(xù)性，且相較于磁帶存儲(chǔ)顯著降低了數(shù)據(jù)歸檔成本。”

這種基于玻璃的歸檔方案，標(biāo)志著首個(gè)有望取代磁帶歸檔的可靠技術(shù)，而且比DNA存儲(chǔ)更具現(xiàn)實(shí)意義。微軟和Cerabyte正著力推進(jìn)這項(xiàng)磁帶歸檔替代成果，有望在未來五年內(nèi)推出可交付產(chǎn)品。磁帶廠商更應(yīng)該關(guān)注相關(guān)動(dòng)態(tài)，思考如何將其納入自家產(chǎn)品規(guī)劃路線圖。

審核編輯：黃飛

?