英特爾數據存儲如何操作和實現(xiàn)

“話說天下大勢，分久必合，合久必分。周末七國分爭，并入于秦。及秦滅之后，楚、漢分爭，又并入于漢。漢朝自高祖斬白蛇而起義，一統(tǒng)天下，后來光武中興，傳至獻帝，遂分為三國?！边@是 “分久必合，合久必分”典故的出處。

天下大勢如此， 數據信息產業(yè)的發(fā)展也概莫能外。但是大家也有一個疑問：現(xiàn)在的技術發(fā)展是三足鼎立呢？還是分久必合的趨勢？

在2022中國數據與存儲峰會上，來自英特爾的三位技術專家英特爾數據中心事業(yè)部 云解決方案架構師高偉、英特爾中國政企事務部及全球OEM解決方案經理吳國安、英特爾網絡與邊緣計算事業(yè)部云計算軟件開發(fā)工程師裴迪分別從CSAL/WSR、持久內存存儲和IPU SPDK存儲卸載加速/優(yōu)化的角度對數據存儲的問題給出了解讀。這些技術各有特色，依托各自強大的優(yōu)勢鼎立支持英特爾的技術發(fā)展。 同時他們也具備一個共性，就是要解決爆炸式數據增長所帶來的數據處理方面的問題。如Cloud Storage Accelerate Layer——CSAL（此前叫WSR），是利用QLC和傲騰構建云存儲方面的價值，在提高性能和SLA的同時，提高存儲密度，降低數據處理合存儲的成本；傲騰持久內存存儲模式優(yōu)化，主要解決外部數據存儲IO性能瓶頸的問題；相比，SPDK結合英特爾IPU對存儲相關協(xié)議進行卸載和優(yōu)化，則是充分利用IPU等異構計算來解決高性能和擴展性的問題。 讓我們一起深入了解，這些技術是如何操作和實現(xiàn)的。

CSAL（WSR）助力阿里云打造更具競爭優(yōu)勢的云存儲

隨著CPU性能的不斷提升，以及PCIe 4.0時代的來臨，原本基于磁盤的存儲方案越發(fā)捉襟見肘。磁盤存儲容量有所提升，但單位容量的性能卻不斷降低，從而使得SLA下降。 以阿里云的一個實踐案例來看，阿里云旗下大數據計算密集型實例規(guī)格族D2C采用的是磁盤的配置，在采用了CSAL和QLC加傲騰的技術組合后，阿里云推出了新的D3C實例。 新的D3C實例不僅存儲性能和SLA有所提升，而且，整體密度增加3倍，RACK級別實現(xiàn)了3倍節(jié)省，減少了機架的空間占用，令阿里云受益良多。

D3C實例需要使用最新的QLC存儲介質，但是QLC在耐久性上和寫性能方面有許多問題，特別是在處理小IO的時候，其性能并沒有比磁盤高多少，甚至在小數據塊的順序寫場景中，其性能還不如磁盤。 在分享中高偉詳細分析了造成此現(xiàn)象的原因：簡單用QLC閃存盤替換磁盤的做法是行不通的。

阿里云旗下有I系列和D系列兩類提供EBS本地存儲的ECS實例，I系列強調低延遲和高性能，主要用于數據庫場景，D系列強調低成本和大容量，主要用于大數據分析場景，新推出的D3C實例在性能上有大幅提升。 在構建實例的過程中，為了解決QLC在耐久性和性能方面的問題，英特爾和合作伙伴在過去一年里開展了一個叫CSAL的項目，而CSAL的作用主要有四個方面： 1，可根據用戶工作負載需求自由調整的NAND存儲性能和容量； 2，使用性能和耐久性都很高的傲騰來彌補QLC性能和耐久性不足的問題； 3，提供英特爾至強原生的高性能存儲； 4，多租戶下有更穩(wěn)定的QoS表現(xiàn)，機架級別實現(xiàn)了三倍節(jié)??；

新的D3C實例采用了新一代的代號為Ice Lake的英特爾至強可擴展處理器，搭配CSAL技術和傲騰加QLC的技術組合，在計算和存儲性能方面都有了大幅提升。 與此前的D2C相比，原來一臺服務器只能提供一個大規(guī)格的虛擬機，而現(xiàn)在，一臺服務器可以提供兩個大規(guī)格的虛擬機。 并且，從TPCx-HS和TPC-DS兩個跑分測試數據來看，新的D3C的性能表現(xiàn)都比原來的D2C有所提升。

此外，高偉還介紹了CSAL架構方面的更多細節(jié)，以及CSAL在新一代ZNS閃存盤上的一些性能數據，如何未來發(fā)揮更多作用。 英特爾傲騰持久內存存儲模式的優(yōu)化，值得期待 英特爾傲騰技術的研發(fā)始于2012年，2019年英特爾傲騰持久內存100系列與第二代英特爾至強可擴展處理器共同發(fā)布，隨后，隨著第三代英特爾至強可擴展處理器的發(fā)布，又發(fā)布了第二代的英特爾傲騰持久內存200系列，而第三代英特爾傲騰持久內存也將在明年年初與第四代英特爾至強可擴展處理器一道發(fā)布。

從英特爾技術專家吳國安的介紹中了解到，第三代英特爾傲騰持久內存的性能相比于200系列還會有大幅地提升。令人遺憾的是，由于一些原因，英特爾不再開發(fā)第四代傲騰持久內存產品，但后續(xù)將依靠至強平臺支持的CXL協(xié)議來擴展內存的容量及帶寬。

吳國安分享的重點是持久內存SNIA編程模型的優(yōu)化問題，如圖可見，編程模式分兩種，一種是右側的內存編程模式，另一種是左側是存儲編程模式，左側是此次關注的重點。 與內存編程模式不同，存儲編程模式不需要修改代碼，并且，可以像操作普通磁盤和固態(tài)盤那樣把傲騰當做塊設備來使用，之所以能做到這點，很重要一方面就是因為有一個叫BTT的核心算法。BTT核心算法可以將字節(jié)訪問的持久內存設備，映射成為Block原子性的塊設備，從而將持久內存設備視為是快速且低延時的SSD。也因此，它具有了和SSD一樣的編程模型，這意味著它可以利用現(xiàn)有的SSD的生態(tài)，使用傳統(tǒng)的讀寫接口，在所有現(xiàn)有的文件系統(tǒng)下正常工作。 在這種模式之下，傲騰持久內存可以像普通SSD一樣，作為緩存來加速存儲性能。 最近，Linux內核方面有兩個優(yōu)化，這兩個優(yōu)化可以大大提升這種模式下的性能表現(xiàn)。分享中詳細介紹了持久內存存儲編程核心算法-BTT的更多細節(jié)，介紹了兩種優(yōu)化存儲模式的方法，一種是算法優(yōu)化，將BTT算法在持久內存中的16字節(jié)的bflog操作邏輯變?yōu)閮却嬷械牟僮鳎瑴p少寫操作的開銷。

另一種是動態(tài)控制deepflush，利用英特爾平臺的ADR功能而無需使用deepflush指令從而獲得非常好的性能提升。

最后，讓我們再看持久內存存儲編程模式可能的發(fā)展方向。新一代的英特爾至強可擴展處理器將內置DSA的加速器，它可以卸載CPU的數據搬遷工作，從而節(jié)省CPU的資源，又比如CXL技術將來可以和持久內存存一起來獲得更優(yōu)的存儲性能。 詳細的技術細節(jié)也可以參考：持久內存BTT實現(xiàn)及優(yōu)化（一）及持久內存BTT實現(xiàn)及優(yōu)化（二）。

相關的代碼可以參考：[PATCH] BTT: Use dram freelist and remove bflog to otpimize perf以及[PATCH] ACPI/NFIT: Add no_deepflush param to dynamic control flush operation。　 SPDK在英特爾IPU的存儲卸載中有重要作用 SPDK提供了一系列的工具和類庫來創(chuàng)建高性能、可擴展的、用戶態(tài)的存儲應用，能用于構建超高性能的存儲應用。 去年，英特爾正式發(fā)布了兩款IPU（Infrastructure Processing Unit），一個叫Big Spring Canyon(BSC)，另一個叫Mount Evans，兩款IPU都能對存儲進行卸載，并利用SPDK來提高性能。

英特爾技術專家裴迪介紹了IPU推出的背景和IPU的諸多價值。IPU不僅可以減少CPU資源的浪費，讓CPU得到更充分利用，還能提升性能和降低延遲，此外，通過軟硬件的結合，從而為云基礎設施帶來更高的靈活性。

Big Spring Canyon(BSC)是由英特爾至強D系列處理器和FPGA智能網卡來構建的，其優(yōu)勢在于可以利用英特爾至強強大的軟件生態(tài)，性能強大，功能強大，還可以應對未來新的需求和定制化的需求。 Big Spring Canyon(BSC)卡的使用場景可以分為虛擬化模式和裸金屬模式兩種，裴迪結合兩種典型的使用場景在技術層面上做了一些具體的介紹。 裴迪介紹了SPDK軟件結合Big Spring Canyon(BSC)來支持存儲卸載和彈性塊設備的技術細節(jié)，讓我們看到了SPDK軟件在Big Spring Canyon(BSC)卡的存儲卸載方面有重要作用，之所以使用SPDK來完成存儲卸載工作，是因為SPDK具有強大的優(yōu)勢： 一方面，因為SPDK是一個用戶態(tài)的軟件，使用了Polling mode避免了內核態(tài)IO處理頻繁上下文切換帶來的性能開銷，SPDK的數據面零拷貝和無鎖的特性也極大提高了性能。另一方面，SPDK目前已經比較成熟，支持多種遠端存儲。

Mount Evans是一款基于ASIC芯片和ARM CPU打造的IPU，提供2 x 100G的網絡能力，它是由英特爾和谷歌合作開發(fā)設計的。 Mount Evans繼承了以往多款基于FPGA的智能網卡和IPU的開發(fā)經驗，可應對各種真實的工作負載。它不僅擁有強大的性能，而且，在安全性和隔離性上面也具有更高水平的實現(xiàn)，從設計之初就將安全性和隔離性視為重中之重。 Mount Evans在硬件層面有許多技術創(chuàng)新，比如，它具有業(yè)內一流的可編程的包處理引擎，它擁有從英特爾傲騰拓展而來的NVME存儲接口，它支持下一代可靠傳輸技術，它還帶有先進的解壓縮加速器。 在軟件生態(tài)方面，Mount Evans經由軟件開發(fā)人員、硬件開發(fā)人員和加速器開發(fā)人員共同設計開發(fā)，有更好的軟硬協(xié)同。它支持Barefoot P4 Studio，可以為開發(fā)者提供更好的可編程性。另外，卡上運行的Linux操作系統(tǒng)能夠充分利用DPDK、SPDK以及IPDK等軟件生態(tài)。 在Mount Evans的CPU上也運行著SPDK存儲服務，可以提供存儲卸載和加速，SPDK在不同形態(tài)的IPU產品上都可以快速的匹配對應的硬件，同時提供高性能、高可擴展性，可對接到不同的存儲服務中，為IPU加速產品化提供存儲生態(tài)上的支持。

裴迪介紹了Mount Evans用SPDK卸載存儲的技術細節(jié)和一些典型的使用場景，在技術實現(xiàn)上，重點提到了一個叫vDPA的技術，vDPA技術增加了更多硬件實現(xiàn)的功能，從而帶來性能加速效果。 同時在IPU結合SPDK的使用場景中，也有涉及到最近比較熱門的FaaS (Function as a Service)云原生相關的支持。 ?

編輯：黃飛

?