容器定義存儲(CDS)—存儲技術(shù)的“瘦身”革命

容器技術(shù)是最快被數(shù)據(jù)中心所廣泛接受和采用的技術(shù)之一，從2013年起，據(jù)統(tǒng)計Docker的下載量已經(jīng)快達(dá)到30億次，容器已經(jīng)徹底改變了應(yīng)用部署方式，但是IT基礎(chǔ)設(shè)施的管理卻沒有及時跟上。

今天我們就談?wù)勅萜骷夹g(shù)在存儲中的應(yīng)用，除了EMC Unity統(tǒng)一存儲采用容器實現(xiàn)NAS、復(fù)制等增值特性之外，目前已經(jīng)有初創(chuàng)存儲廠商推出容器定義存儲（CDS）產(chǎn)品，由于內(nèi)容太長，所以打算分上下兩期來講。第一講主要介紹容器如何改變應(yīng)用部署方式、為什么要通過CDS實現(xiàn)數(shù)據(jù)中心“輕量化”。下一講將介紹一個CDS產(chǎn)品和公司（Portworx），希望分享的一些觀點(diǎn)和趨勢能對我們國產(chǎn)存儲的發(fā)展帶來一些啟示。Portworx是一家美國存儲初創(chuàng)公司，它研發(fā)了業(yè)界第一個容器定義存儲系統(tǒng)，基于容器構(gòu)建，采用容器控制面和數(shù)據(jù)面實現(xiàn)，致力于為應(yīng)用容器提供企業(yè)級特性、完全媲美裸金屬性能的存儲系統(tǒng)。

目前SDS和SBS存儲產(chǎn)品，使得我們很容易從喜歡的商業(yè)服務(wù)器獲取存儲容量和服務(wù)，硬件節(jié)點(diǎn)可以同時提供計算資源和存儲資源（融合架構(gòu)），融合了計算和存儲能力。但這些存儲方案缺少一個全新設(shè)計的軟件架構(gòu)，用來部署應(yīng)用軟件和容器，充分利用服務(wù)器計算的商品化和微服務(wù)化趨勢。

就拿傳統(tǒng)專業(yè)存儲為例，管理和運(yùn)維需要非常專業(yè)的技能，需要了解FC，SAN交換機(jī)，iSCSI，NFS和CIFS，F(xiàn)CoE等專業(yè)知識，如果你想得到企業(yè)級存儲服務(wù)，就必須了解專業(yè)存儲每個技術(shù)和配置細(xì)節(jié)。

看了這張圖片，這一切顯得的多么復(fù)雜和古老。如果你想建立一個敏捷的數(shù)據(jù)存儲，這或許不是你想看到的畫面?；叵胍幌拢裉煳覀兪欠窨梢栽谝粋€2U外形類似服務(wù)器上部署類似存儲系統(tǒng)。谷歌、Facebook和其他大型數(shù)據(jù)中心作為現(xiàn)代數(shù)據(jù)中心架構(gòu)的領(lǐng)頭羊，已經(jīng)有團(tuán)隊用專業(yè)的技能來建立一個分布式的容錯存儲系統(tǒng)，利用x86架構(gòu)的計算和存儲。我們看到的只是一堆物理基礎(chǔ)設(shè)施，通過Scale out x86服務(wù)器提供非常易用的存儲服務(wù)。

隨著現(xiàn)代數(shù)據(jù)中心的發(fā)展，新的應(yīng)用形態(tài)（Cloud-native、DevOps、Micro Service等）都要求基于云平臺構(gòu)建（Cloud-native），這對存儲體系結(jié)構(gòu)又有了新的要求，這些要求主要體現(xiàn)在以下幾個方面。

面向服務(wù)的存儲配置： 過去基于一個物理服務(wù)器或虛擬機(jī)配置存儲卷的技術(shù)、依賴于FCoE、iSCSI等協(xié)議的技術(shù)已經(jīng)落后了。

卷服務(wù)粒度更細(xì)、數(shù)量更多： 在最現(xiàn)代化的服務(wù)模型中，如NoSQL和消息隊列，通常被設(shè)計成大規(guī)模擴(kuò)展方式。他們部署時需要存儲支持更多卷數(shù)量、更小的卷容量。而不像過去，一個計算節(jié)點(diǎn)通常映射一個大容量卷來提供數(shù)據(jù)庫等應(yīng)用。

存儲本地多層化： 目前服務(wù)器至少有兩個存儲層級。基于全球客戶服務(wù)器采購的實際情況來看，數(shù)據(jù)中心的服務(wù)器來自不同的供應(yīng)商的多種服務(wù)器，不同服務(wù)器具有不同的內(nèi)部容量層?？蛻粝Ｍ碌拇鎯Y(jié)構(gòu)來理解這些變化和不同，并能自動利用不同存儲提供存儲服務(wù)。

存儲超融合化： 新服務(wù)架構(gòu)要求數(shù)據(jù)計算和存儲融合。以Hadoop為例，在計算是派遣到服務(wù)節(jié)點(diǎn)上運(yùn)行的主機(jī)數(shù)據(jù)。

多服務(wù)顆粒存儲操作： 新型應(yīng)用程序不是單一的堆棧。而是通過部署在多個節(jié)點(diǎn)上的分布式模塊進(jìn)行業(yè)務(wù)交互組成。企業(yè)存儲的操作，如快照、檢查點(diǎn)還原、復(fù)制、配額等，需要提供服務(wù)堆棧級別上的支持。所以，我們的存儲系統(tǒng)需要能意識到一組分布式x86服務(wù)器通過以太網(wǎng)織物綁在一起。

在數(shù)據(jù)中心中，硬件結(jié)構(gòu)的現(xiàn)狀一般是，來自不同供應(yīng)商的服務(wù)器各自為政，不同存儲容量和不同類型的服務(wù)器并存，Top of Rack交換機(jī)的能力也不同，而運(yùn)行其上的軟件是以一個更高的粒度，通過松耦的一組容器化服務(wù)運(yùn)行在不同節(jié)點(diǎn)上。那么，我們該如何擴(kuò)展存儲層來與大量相對較薄的服務(wù)一起工作呢，當(dāng)然，常用的做法就是將堆棧拆分成獨(dú)立的數(shù)據(jù)可用區(qū)和計算區(qū)，根據(jù)不同SAL的應(yīng)用需求匹配相應(yīng)的存儲資源。

實質(zhì)上，上圖就是一個容器感知存儲架構(gòu)，該架構(gòu)要實現(xiàn)如何根據(jù)存儲需求將數(shù)據(jù)放置在容器的位置區(qū)。這種架構(gòu)可以支撐一個更大的容器計算集群，同時可以保持存儲的性能和時延要求。

面對更細(xì)粒度的、自恢復(fù)和可發(fā)現(xiàn)的面向服務(wù)的應(yīng)用架構(gòu)，存儲也不應(yīng)該有任何核心的集中元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)應(yīng)該分布式存放和去中心化存放，并通過負(fù)載均衡等算法或檢測協(xié)議（Gossip Protocol）實現(xiàn)高效的故障自愈系統(tǒng)和高可靠系統(tǒng)。

Gossip Protocol的通信方式類似流言傳播，每個節(jié)點(diǎn)狀態(tài)的變化和更新，立即通過一傳十，十傳百的方式在集群內(nèi)廣播，而不是由某幾個節(jié)點(diǎn)逐一傳遞，所以通信效率非常高效。

為了讓存儲能感知容器，存儲調(diào)度也需和容器引擎集成，隨著應(yīng)用軟件向更為面向服務(wù)的體系結(jié)構(gòu)演進(jìn)，應(yīng)用軟件的業(yè)務(wù)流程和調(diào)度也發(fā)生了變化。我們不再需要手動管理進(jìn)程，而是自動實現(xiàn)軟件的啟動、停止和生命周期管理，對軟件的運(yùn)行和SLA需求也要實現(xiàn)自動化。這就要現(xiàn)代流行的調(diào)度器來完成，如Mesosphere，Kubernetes，Swarm，Spark等。

新的應(yīng)用架構(gòu)都是深度集成這些容器調(diào)度器，DevOps開發(fā)團(tuán)隊的工作也是基于容器調(diào)度器和編排工具進(jìn)行，所以，對軟件定義存儲，容器定義存儲等基層設(shè)施層來說，就可以直接跟這些調(diào)度或業(yè)務(wù)編排層實現(xiàn)集成。這對數(shù)據(jù)中心實現(xiàn)“輕量化”來說，也變得比較迫切。

容器在單個操作系統(tǒng)運(yùn)行多個應(yīng)用，由于它的輕量特性也給應(yīng)用部署帶來很多優(yōu)勢，如占用資源少、啟動快、容易部署等，其高效率也意味著數(shù)據(jù)中心需要較少的硬件和物理空間開銷，Docker也是因為開源和強(qiáng)大生態(tài)而被全球范圍內(nèi)的企業(yè)擁抱。但是容器的應(yīng)用還是局限在公有云、網(wǎng)站、無狀態(tài)的應(yīng)用，還沒有大規(guī)模進(jìn)入到數(shù)據(jù)中心主要業(yè)務(wù)。一個主要原因是現(xiàn)有容器是基于無狀態(tài)業(yè)務(wù)進(jìn)行優(yōu)化，到目前為止，還沒有健壯和易管理的方法存放有狀態(tài)的數(shù)據(jù)，這也跟容器每次訪問完后就終止進(jìn)程的架構(gòu)有關(guān)。

分布式擴(kuò)展存儲架構(gòu)在設(shè)計時，就需要考慮如何以面向服務(wù)的數(shù)據(jù)中心提供不同的存儲類型。 面對服務(wù)訪問所需的多進(jìn)程、多volume、高吞吐量等訴求時，存儲需要從許多運(yùn)行在不同機(jī)器的節(jié)點(diǎn)，提供一致的存儲服務(wù)訪問。有時這些容器甚至運(yùn)行在云上或其他數(shù)據(jù)中心。面向服務(wù)的應(yīng)用類型包括了：

無狀態(tài)服務(wù)： 這些通常是短暫的計算作業(yè)，他們依靠一些其他狀態(tài)的服務(wù)實現(xiàn)具體業(yè)務(wù)。

狀態(tài)數(shù)據(jù)庫服務(wù)： 這些通常需要塊存儲或非共享存儲訪問。

有狀態(tài)的服務(wù)需要的文件或?qū)ο笤L問： 常見的有全局文件或?qū)ο蟮拿臻g。

然而，在云計算高度發(fā)展今天，新型應(yīng)用基本上基于Docker等云基礎(chǔ)設(shè)施構(gòu)建的Cloud-native應(yīng)用，而不是從傳統(tǒng)物理設(shè)施上遷移到云平臺的Cloud-based業(yè)務(wù)。Cloud-native大多采用Micro Service或容器部署，就要求與之相匹配的存儲提供存儲服務(wù)。

為了推進(jìn)“輕量級”下一代數(shù)據(jù)中心架構(gòu)，并充分利用容器技術(shù)的特點(diǎn)，數(shù)據(jù)中心也在面臨一場變革，需要替換原來臃腫的架構(gòu)和基礎(chǔ)設(shè)施，采用容器架構(gòu)和容器存儲技術(shù)來支持業(yè)務(wù)系統(tǒng)。今天就介紹到這里，下篇我們重點(diǎn)介紹基于容器Portworx存儲、一個基于數(shù)據(jù)和控制面的容器定義存儲技術(shù)和產(chǎn)品。