天翼云實現(xiàn)國內(nèi)SMR技術(shù) 或成存儲市場新突破口

1.SMR技術(shù)的前世今生當(dāng)下大數(shù)據(jù)的爆發(fā)式增長使得原有的存儲容量無法滿足用戶需求，SMR（疊瓦式磁記錄）技術(shù)由此誕生。由于垂直磁記錄技術(shù)（Perpendicular Magnetic Recording）已經(jīng)逐漸達到存儲密度極限，單位存儲密度受限，已經(jīng)嚴(yán)重制約云存儲的應(yīng)用范圍與應(yīng)用效果。同樣的磁記錄技術(shù)，通過疊加SMR技術(shù)，可以提升15%-25%的磁道密度，進一步降低單位GB成本，目前SMR盤單盤容量已經(jīng)達到14TB，預(yù)計2018年下半年硬盤廠商會發(fā)布18TB SMR盤，其容量是企業(yè)市場主流使用的8TB SATA/NL_SAS盤的2倍左右。

SMR盤利用磁盤讀數(shù)據(jù)時需要的磁道寬度比寫數(shù)據(jù)時需要的磁道寬度窄的特點，在寫數(shù)據(jù)時將磁道像疊瓦片一樣，一層一層的重疊起來。SMR技術(shù)通過重疊磁道，縮小了磁道間距離，提高了單位面積存儲密度，增加了磁盤容量（如圖1）。

2. 天翼云OOS KVDisker成功突破SMR技術(shù)瓶頸目前SMR技術(shù)已成功應(yīng)用在中國電信天翼云OOS（對象存儲）產(chǎn)品系列中，并在天翼云OOS第五代存儲產(chǎn)品中進行了規(guī)模商用，其成熟度得到了實踐證明。同時，天翼云計劃在OOS第六代（國家級存儲網(wǎng)絡(luò)）中更大規(guī)模的使用。據(jù)業(yè)內(nèi)磁盤廠商了解，天翼云或是國內(nèi)第一家商用SMR技術(shù)的公司，成為存儲領(lǐng)域創(chuàng)新應(yīng)用的標(biāo)桿案例。

1)SMR技術(shù)存在的局限與面臨的挑戰(zhàn)SMR技術(shù)增加了容量，降低了成本，但這種技術(shù)應(yīng)用也帶來了問題與挑戰(zhàn)。磁道重疊后必須順序?qū)懭?，否則會對相鄰磁道的數(shù)據(jù)造成損壞。正因為如此，目前業(yè)內(nèi)常用的磁盤文件系統(tǒng)，例如EXT/XFS等，由于需要隨機的修改數(shù)據(jù)從而無法運行在SMR磁盤上，這對SMR的應(yīng)用帶來了不小的困難。據(jù)業(yè)內(nèi)人士表示，目前僅有微軟Azure等極個別國際云計算巨頭有足夠的技術(shù)規(guī)模商用SMR磁盤。

應(yīng)用SMR磁盤主要存在以下幾個方面的問題：

1、若采用Drive Managed SMR模式，在磁盤內(nèi)部實現(xiàn)順序?qū)懭?，?yīng)用不需做任何修改。由于上層業(yè)務(wù)寫請求是隨機的，磁盤固件資源有限，性能無法保證，幾乎無法滿足業(yè)務(wù)需求，只適用于寫入后不再修改的歸檔數(shù)據(jù)，無法用于OOS標(biāo)準(zhǔn)存儲。據(jù)業(yè)內(nèi)人士透露，曾有公司為了降低成本但又不想投入研發(fā)使用此類磁盤，導(dǎo)致性能過低，最終放棄使用。

2、若采用Host Managed SMR模式，將磁盤分為若干個Zone，Zone之間可以隨機寫，Zone內(nèi)部必須順序?qū)?。Host Managed SMR將Zone管理接口提供給主機，由主機保證數(shù)據(jù)的順序?qū)懭?。由于引入了新的磁盤類型、新的管理命令，所以沒有現(xiàn)成的文件系統(tǒng)可以支持，需要對文件系統(tǒng)進行修改或重新開發(fā)新的文件系統(tǒng)。目前還沒有成熟的文件系統(tǒng)實現(xiàn)了對Host Managed SMR磁盤的兼容。

3、在操作系統(tǒng)內(nèi)核和HBA卡的兼容上需要進行嚴(yán)格的測試。不兼容的系統(tǒng)可能無法識別SMR磁盤，不兼容的HBA可能導(dǎo)致磁盤收到的SCSI命令亂序，進而導(dǎo)致寫入失敗。

4、垃圾回收（Garbage Collection，以下簡稱GC）：SMR磁盤要求順序?qū)懭霂淼膯栴}是刪除的空間不能直接重新利用，必須把有效數(shù)據(jù)移動到其他位置才能回收空間。GC會帶來寫放大，影響性能。如何合理的設(shè)計空間分配及回收算法以減少不必要的數(shù)據(jù)移動是SMR最終是否可用的一大挑戰(zhàn)。

5、數(shù)據(jù)重構(gòu)時間久：超大容量硬盤，一旦出現(xiàn)故障，其數(shù)據(jù)重構(gòu)時間將非常漫長，如果數(shù)據(jù)重構(gòu)期間又有磁盤損壞，對于副本數(shù)較少的對象來說可能會造成數(shù)據(jù)丟失。

2）天翼云OOS如何突破SMR技術(shù)瓶頸？雖然SMR磁盤的應(yīng)用存在諸多技術(shù)挑戰(zhàn)，但通過行業(yè)領(lǐng)先廠商的產(chǎn)品趨勢，我們能看到未來硬盤的發(fā)展方向，SMR技術(shù)將成為主流，即使未來會有諸如HAMR等進一步提升磁密度的技術(shù)出現(xiàn)，只要寫數(shù)據(jù)寬度大于讀數(shù)據(jù)寬度，SMR技術(shù)就會一直存在。同時，與SMR所對應(yīng)的“順序?qū)憽被蛟S是未來的一種趨勢，因為固態(tài)盤也需要類似的機制對閃存顆粒的磨損進行平滑處理。因此天翼云OOS的研發(fā)團隊從2015年起就堅定不移的對Host Managed SMR進行自主研發(fā)。

KVDisker在OOS系統(tǒng)中的位置如圖2所示。其中，(1)Object層負(fù)責(zé)協(xié)議的解析及對象屬性的保存；(2)Ostor層負(fù)責(zé)對象的冗余保證；(3)KVDisker負(fù)責(zé)讀寫磁盤：對上層業(yè)務(wù)，KVDisker直接提供Key-Value API，可以很容易的接入到OOS現(xiàn)有系統(tǒng)中；對下層磁盤，KVDisker直接管理PMR和SMR磁盤，不需要文件系統(tǒng)。

綜上所述，KVDisker針對SMR磁盤應(yīng)用中可能遇到的兼容性問題、性能問題、垃圾回收效率問題、下盤速度問題進行了針對性優(yōu)化。

2.1?兼容性

天翼云聯(lián)合廠商對主流的HBA卡進行了嚴(yán)格的測試。針對可能存在的SCSI命令亂序問題，通過在應(yīng)用層順序分配空間來保證指令的順序發(fā)送。

2.2?性能

在性能方面，天翼云從元數(shù)據(jù)、數(shù)據(jù)、空間分配三個維度，全面的提升了讀取、寫入、遍歷、檢索的效率。

1、元數(shù)據(jù)：對比文件系統(tǒng)大而全的元數(shù)據(jù)結(jié)構(gòu)，KVDisker的元數(shù)據(jù)僅保存了時間戳、數(shù)據(jù)位置、校驗值等必要的數(shù)據(jù)，這樣KVDisker的元數(shù)據(jù)很小，大大的提高了檢索效率。

2、元數(shù)據(jù)保存：文件系統(tǒng)的元數(shù)據(jù)保存在磁盤的各個位置，導(dǎo)致遍歷文件慢。KVDisker的元數(shù)據(jù)有序的保存在磁盤的傳統(tǒng)區(qū)域，在特定測試環(huán)境下，遍歷效率比文件系統(tǒng)提升10倍。

3、元數(shù)據(jù)讀?。篕VDisker讀取元數(shù)據(jù)只需要一次請求，不需要查找目錄，提高了讀取效率。

4、空間分配：KVDisker順序的分配空間，充分利用了磁盤順序?qū)懭肟斓奶匦?，提升寫入速度?/p>

5、數(shù)據(jù)讀取：KVDisker直接發(fā)送SCSI指令讀取數(shù)據(jù)，對超長的數(shù)據(jù)并行發(fā)送多條SCSI指令，充分利用磁盤請求隊列，優(yōu)化讀取速度。