FITEE“新型存儲(chǔ)系統(tǒng)設(shè)計(jì)與應(yīng)用”專題導(dǎo)讀

存儲(chǔ)系統(tǒng)是計(jì)算機(jī)的核心，在人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)等新興戰(zhàn)略產(chǎn)業(yè)的可持續(xù)發(fā)展中起著重要作用。隨著處理器和網(wǎng)絡(luò)設(shè)備性能不斷提高，存儲(chǔ)軟件棧成為限制數(shù)據(jù)密集型系統(tǒng)性能的主要因素。近年來，新型存儲(chǔ)設(shè)備因其打破“內(nèi)存墻”的能力而受到廣泛關(guān)注。這些設(shè)備包括支持塊尋址的閃存設(shè)備、支持字節(jié)尋址的非易失性存儲(chǔ)器、存算一體化設(shè)備以及大容量光存儲(chǔ)。構(gòu)建高吞量、低延遲和高可靠性的大規(guī)模存儲(chǔ)系統(tǒng)，需要對(duì)算法、軟件設(shè)計(jì)和硬件的持續(xù)創(chuàng)新。這些創(chuàng)新可以應(yīng)對(duì)大規(guī)模、高性能復(fù)雜結(jié)構(gòu)系統(tǒng)構(gòu)建中存在的挑戰(zhàn)，還可以增加相關(guān)系統(tǒng)的構(gòu)建和應(yīng)用經(jīng)驗(yàn)，加快大數(shù)據(jù)處理系統(tǒng)的開發(fā)速度。

研究人員一直致力于解決“內(nèi)存墻”問題，并改進(jìn)相關(guān)軟硬件生態(tài)系統(tǒng)，從而在新型存儲(chǔ)系統(tǒng)設(shè)計(jì)和應(yīng)用方面取得很大進(jìn)展，包括但不限于以下方面：

1. 不斷推出和優(yōu)化新型存儲(chǔ)設(shè)備，例如開放通道固態(tài)盤、可字節(jié)尋址的非易失性存儲(chǔ)器以及存算一體化設(shè)備。此外，陸續(xù)推出模擬器、仿真器和軟件定義設(shè)備開發(fā)平臺(tái)，促進(jìn)了新型存儲(chǔ)設(shè)備的設(shè)計(jì)和優(yōu)化。

2. 現(xiàn)有存儲(chǔ)軟件系統(tǒng)最初為硬盤或傳統(tǒng)固態(tài)硬盤而設(shè)計(jì)，不能充分發(fā)揮新型存儲(chǔ)設(shè)備性能潛力。針對(duì)新型存儲(chǔ)設(shè)備，設(shè)計(jì)了許多新型文件系統(tǒng)、存儲(chǔ)管理軟件、非關(guān)系型數(shù)據(jù)庫以及關(guān)鍵組件。

3. 利用新型存儲(chǔ)設(shè)備加速應(yīng)用求解（如組合優(yōu)化問題）和提升傳統(tǒng)存儲(chǔ)系統(tǒng)（如基于機(jī)械硬盤的糾刪碼存儲(chǔ)）性能。

在此背景下，《信息與電子工程前沿（英文）》期刊組織了本期“新型存儲(chǔ)系統(tǒng)設(shè)計(jì)與應(yīng)用”專題。專題涵蓋針對(duì)新型存儲(chǔ)設(shè)備的輔助設(shè)計(jì)工具、各種存儲(chǔ)軟件、方法與相關(guān)應(yīng)用，以及對(duì)新型存儲(chǔ)系統(tǒng)前沿進(jìn)展和未來研究方向的綜述。經(jīng)嚴(yán)格評(píng)審，選入7篇論文，包括1篇綜述和6篇研究。

張廣艷等從5個(gè)關(guān)鍵指標(biāo)——吞吐量、延遲、壽命、性能隔離和資源利用率——對(duì)開放通道固態(tài)硬盤的設(shè)計(jì)和應(yīng)用進(jìn)行了全面綜述。首先從物理布局、閃存轉(zhuǎn)換層性質(zhì)以及接口設(shè)計(jì)等方面介紹了開放通道固態(tài)硬盤，指出其性能優(yōu)勢(shì)和進(jìn)一步提升性能的機(jī)會(huì)。然后，詳細(xì)討論了發(fā)掘開放通道固態(tài)硬盤性能的方法，包括設(shè)計(jì)接口、協(xié)同設(shè)計(jì)閃存轉(zhuǎn)換層、利用內(nèi)部并行性以及優(yōu)化I/O調(diào)度和垃圾回收等。同時(shí)，討論了將這一領(lǐng)域的理論研究成果應(yīng)用到實(shí)際部署時(shí)面臨的挑戰(zhàn)。此外，展望了開放通道固態(tài)硬盤的發(fā)展?jié)撃堋?/p>

盡管市場(chǎng)上固態(tài)硬盤的特性在迅速發(fā)展，但由于缺乏真實(shí)且可擴(kuò)展的固態(tài)硬盤開發(fā)平臺(tái)，目前對(duì)閃存固件的研究主要基于模擬仿真。邵子力等提出一種軟件定義的固態(tài)硬盤開發(fā)平臺(tái)SoftSSD，用于快速設(shè)計(jì)閃存固件原型。SoftSSD的核心是一個(gè)具有事件驅(qū)動(dòng)編程模型的新框架。可以通過編程模型來部署新的閃存轉(zhuǎn)換層算法，并將其直接集成到全功能閃存固件中。SoftSSD已在實(shí)際硬件上實(shí)現(xiàn)，并在真實(shí)應(yīng)用場(chǎng)景中進(jìn)行測(cè)量。實(shí)驗(yàn)表明，SoftSSD可以取得良好性能、可觀察性和可擴(kuò)展性。SoftSSD的開源代碼已發(fā)布。

持久化內(nèi)存和智能網(wǎng)卡這類新硬件的出現(xiàn)，給文件系統(tǒng)設(shè)計(jì)帶來新機(jī)遇。然而，如何利用持久化內(nèi)存和智能網(wǎng)卡的特性仍是一項(xiàng)挑戰(zhàn)。楊倚天和陸游游設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)名為NICFS的本地文件系統(tǒng)，該系統(tǒng)利用持久化內(nèi)存的高吞吐量和字節(jié)尋址能力以及智能網(wǎng)卡的處理能力來改善文件系統(tǒng)性能，并減少主機(jī)CPU的使用。作者通過一系列實(shí)驗(yàn)驗(yàn)證了系統(tǒng)的性能、可擴(kuò)展性和設(shè)計(jì)的每個(gè)部分的有效性。

持久化內(nèi)存文件系統(tǒng)通過利用持久化內(nèi)存的非易失性、字節(jié)可尋址性和與動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器相近的性能來實(shí)現(xiàn)高性能。然而，持久化內(nèi)存文件系統(tǒng)存在寫入持久性有限的問題。現(xiàn)有持久化內(nèi)存文件系統(tǒng)中的空間管理策略會(huì)導(dǎo)致嚴(yán)重的磨損不均衡問題，迅速損壞底層持久化內(nèi)存。張潤宇、劉鐸等提出一種高效的磨損均衡感知多粒度分配器WMAlloc。此外，提出一種基于位圖的多堆樹（BMT），通過避免遞歸分割和低效的堆搜索來優(yōu)化WMAlloc，稱作WMAlloc-BMT，為底層持久化內(nèi)存提升磨損均衡性的同時(shí)顯著降低空間管理開銷。文中通過大量實(shí)驗(yàn)驗(yàn)證了WMAlloc和WMAlloc-BMT的有效性。

可擴(kuò)展哈希是管理大規(guī)模數(shù)據(jù)和提高存儲(chǔ)系統(tǒng)效率的有效方法。蔡濤等設(shè)計(jì)了一種用于非易失性存儲(chǔ)器的高并發(fā)可擴(kuò)展哈希NEHASH，它使用具有懶惰擴(kuò)展的多層哈希目錄來提高哈希目錄管理的并發(fā)度和效率。該研究優(yōu)化了哈希目錄和哈希桶的管理策略，并將其分布在動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器和非易失性存儲(chǔ)器之間。相比現(xiàn)有可擴(kuò)展哈希方案，NEHASH在多線程環(huán)境中實(shí)現(xiàn)了更高讀寫吞吐率。

糾刪碼具有更高存儲(chǔ)效率，但與副本相比，其更新開銷和修復(fù)成本也更高。此外，并發(fā)更新會(huì)使糾刪碼應(yīng)用面臨一致性和可靠性挑戰(zhàn)。屠要峰、韓銀俊等提出一種數(shù)據(jù)更新與編碼解耦（DDUC）的糾刪碼存儲(chǔ)系統(tǒng)，該系統(tǒng)使用持久化內(nèi)存實(shí)現(xiàn)輕量級(jí)日志機(jī)制，并將數(shù)據(jù)更新和糾刪碼編碼過程解耦。此外，提出一種副本和校驗(yàn)塊相結(jié)合的數(shù)據(jù)放置策略，解決了由并發(fā)更新引起的數(shù)據(jù)可靠性降低問題，同時(shí)通過在校驗(yàn)和節(jié)點(diǎn)上保存臨時(shí)冗余數(shù)據(jù)塊來確保高并發(fā)性能。

組合優(yōu)化問題重要且常見，但許多組合優(yōu)化問題是NP完全的。混沌模擬退火算法有效解決了組合優(yōu)化問題。然而，一般計(jì)算平臺(tái)無法有效執(zhí)行該算法。孫廣宇等提出一種軟硬件協(xié)同優(yōu)化方案。首先，對(duì)算法實(shí)現(xiàn)作了修改，使其在保持高效率的同時(shí)對(duì)硬件更加友好。然后，設(shè)計(jì)了一種名為COPPER的硬件架構(gòu)，使用憶阻器進(jìn)行存內(nèi)計(jì)算。COPPER可有效運(yùn)行混沌模擬退火算法，并顯著提高計(jì)算速度和能效。

總體而言，本專題涵蓋了許多與新型存儲(chǔ)系統(tǒng)設(shè)計(jì)和應(yīng)用相關(guān)的最新研究課題，包括新型存儲(chǔ)設(shè)備和軟件定義的設(shè)備開發(fā)平臺(tái)、為新存儲(chǔ)設(shè)備設(shè)計(jì)的文件系統(tǒng)、文件系統(tǒng)中的存儲(chǔ)分配器、非易失存儲(chǔ)器的可擴(kuò)展散列以及新設(shè)備的應(yīng)用，相信對(duì)新型存儲(chǔ)系統(tǒng)及相關(guān)領(lǐng)域感興趣的人員能夠從中受益。

本文編譯自 Zhang GY， Feng D， Li KQ， et al.， 2023. Design and application of new storage systems. Front Inform Technol Electron Eng， 24（5）：633-636. https://doi.org/10.1631/FITEE.2310000