NFVi：用標(biāo)準(zhǔn)化虛擬化技術(shù)來支持多租戶，為不同類型虛擬網(wǎng)元按需提供支持

NFVi（網(wǎng)絡(luò)功能虛擬化基礎(chǔ)設(shè)施）是承載VNF（網(wǎng)絡(luò)網(wǎng)元功能）的基礎(chǔ)，其核心在于利用標(biāo)準(zhǔn)化的虛擬化技術(shù)來支持多租戶，從而為不同類型的虛擬網(wǎng)元按需提供資源支持。通過研究發(fā)現(xiàn)，采用帶有SSD（固態(tài)硬盤）緩存的磁盤陣列可以獲得更好的時延和IO性能，適用于NFV中以數(shù)據(jù)轉(zhuǎn)發(fā)為主、數(shù)據(jù)容量擴展需求不高的業(yè)務(wù)場景，如vCPE、vEPC、vBRAS、vIMS等?；贗P SAN的磁盤陣列兼容性、可維護(hù)性更高，可用于承載NFVi業(yè)務(wù)的整機框服務(wù)器。對于數(shù)據(jù)量較大、數(shù)據(jù)增長需求高的業(yè)務(wù)場景，采用Server SAN可以獲得更優(yōu)的擴展性和成本。其中，對于性能要求不高，通用性需求更高的場景，Ceph非常適用。

磁盤陣列

磁盤陣列是由獨立的磁盤組成的具有冗余特性的陣列，能夠提供一個獨立的大型存儲設(shè)備解決方案。磁盤陣列將多個物理磁盤合并成一個更大的虛擬設(shè)備，在提高硬盤容量的同時，還能夠充分提高硬盤的速度，使數(shù)據(jù)更加安全，更加易于磁盤的管理。SAN（存儲區(qū)域網(wǎng)絡(luò)）采用光纖通道技術(shù)，通過光纖通道交換機連接存儲陣列和服務(wù)器主機，建立專用于數(shù)據(jù)存儲的區(qū)域網(wǎng)絡(luò)。SAN經(jīng)過十多年歷史的發(fā)展，已經(jīng)相當(dāng)成熟，成為業(yè)界的事實標(biāo)準(zhǔn)。SAN存儲采用的帶寬從100MB/s、200MB/s，發(fā)展到目前的1Gbit/s、2Gbit/s、8Gbit/s、10Gbit/s。

SAN結(jié)構(gòu)

NFVi的磁盤陣列SAN結(jié)構(gòu)主要包括FC SAN和IP SAN。FC SAN是磁盤陣列（RAID）通過FC通道協(xié)議與其他設(shè)備相連接。FC協(xié)議實際上解決了底層的傳輸協(xié)議，其高層協(xié)議仍然采用SCSI，數(shù)據(jù)處理是“塊級”（block level）。IP SAN利用了基于高速以太網(wǎng)協(xié)議（TCP/IP協(xié)議）的ISCSI（互聯(lián)網(wǎng)小型計算機口）技術(shù)，實現(xiàn)在IP網(wǎng)絡(luò)上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行快速的數(shù)據(jù)存取備份操作。FC SAN和IP SAN的優(yōu)劣勢對比如下。

1.成本方面，F(xiàn)C SAN需要專用的FC網(wǎng)卡、FC交換機等專用設(shè)備，購買成本較高；IP SAN成本較低，布置簡單，管理成本低，購買的網(wǎng)線和交換機都是用以太網(wǎng)，甚至可以利用現(xiàn)有網(wǎng)絡(luò)組建SAN。

2.傳輸距離方面，F(xiàn)C SAN受到光纖距離的限制，而IP SAN基于IP網(wǎng)絡(luò)的天生優(yōu)勢使其沒有距離的限制，很容易實現(xiàn)異地存儲、遠(yuǎn)程容災(zāi)等穿越WAN才能實現(xiàn)的技術(shù)。

3.傳輸速度方面，F(xiàn)C SAN可以實現(xiàn)高性能數(shù)據(jù)存儲、帶寬利用率高、傳輸時延小、傳輸效率高，實際帶寬可達(dá)到理論帶寬的85%～90%。而IP SAN需要共享數(shù)據(jù)通道，傳輸時延較高，受網(wǎng)絡(luò)環(huán)境影響大，實際帶寬可達(dá)到理論帶寬的20%～30%。

4.安全性方面，F(xiàn)C SAN采用單獨的光纖通道獨立組網(wǎng)，安全性較高。IP SAN接入IP網(wǎng)絡(luò)，安全性相對較低。

5.兼容性方面，F(xiàn)C SAN雖然有相關(guān)標(biāo)準(zhǔn)的FC協(xié)議，但不同廠商的FC設(shè)備并不兼容。而IP SAN基于TCP/IP協(xié)議，兼容性較好。

基于上述對比，在性能、穩(wěn)定性要求較高的企業(yè)應(yīng)用如核心數(shù)據(jù)庫中，常采用FC SAN產(chǎn)品。而在性能要求不高，尤其是異地容災(zāi)場景，則可以考慮采用IP SAN產(chǎn)品。對于采用整機柜服務(wù)器作為NFVi承載的場景，統(tǒng)一使用IP交換機進(jìn)行業(yè)務(wù)和數(shù)據(jù)存儲交換則更加方便維護(hù)。

存儲介質(zhì)

隨著CPU和內(nèi)存性能的發(fā)展，傳統(tǒng)機械硬盤（HDD）成為IT系統(tǒng)的主要瓶頸。SSD的出現(xiàn)使硬盤的IO性能提升了幾個數(shù)量級。SSD的應(yīng)用使磁盤陣列有了進(jìn)一步的發(fā)展。

1.傳統(tǒng)磁盤陣列：在傳統(tǒng)磁盤陣列中主要采用SAS盤作為高速存儲介質(zhì)，磁盤陣列的IO性能主要依賴于SAS盤的數(shù)量、背板處理能力及緩存。大量SAS盤的并行讀寫可以提高磁盤陣列的速度。

2.混合陣列：SSD價格相對HDD較高，而采用SSD+HDD的混合陣列是一種折中的方案，可以在不需要大幅度提高成本的情況下，獲得比傳統(tǒng)磁盤陣列優(yōu)越的性能，同時滿足不斷增長的容量需求。根據(jù)SSD所起到的作用，混合陣列又可以分為自動分層和緩存加速兩種類型。

3.全閃存陣列：全閃盤陣列中全部使用SSD作為存儲介質(zhì)，適用于容量要求不高，且性能要求非?？量痰膽?yīng)用。全閃存陣列根據(jù)陣列控制軟件可分為兩種，一種為AFA（All Flash Array，全閃存陣列），是在原有磁盤陣列的基礎(chǔ)上優(yōu)化而成，例如禁止磁盤碎片整理等功能；另一種為SSA（Solid-State Array，固態(tài)陣列），則是完全根據(jù)SSD的特點重新撰寫而成。

Server SAN

Server SAN是由多個獨立服務(wù)器存儲組成的一個存儲資源池，有著良好的性價比和擴展性。傳統(tǒng)存儲網(wǎng)絡(luò)主要基于FC，傳輸帶寬和延遲遠(yuǎn)遠(yuǎn)優(yōu)于千兆以太網(wǎng)，但隨著10Gbit/s、40Gbit/s以太網(wǎng)和Infiniband RDMA網(wǎng)絡(luò)技術(shù)的引入，存儲反而成了系統(tǒng)性能瓶頸。采用Server SAN可以實現(xiàn)計算和存儲網(wǎng)絡(luò)的統(tǒng)一，具有高I/O性能、極低延時和高帶寬特性的SSD，使得Server SAN的性能媲美高端存儲。Server SAN存儲目前主要是互聯(lián)網(wǎng)公司研發(fā)使用，即Hyperscale Server SAN，現(xiàn)已逐漸進(jìn)入通信行業(yè)IT領(lǐng)域。

1.VSAN

VMware VSAN（Virtual SAN）是VMware公司基于VSphere開發(fā)的可擴展分布式存儲架構(gòu)。VSAN在VSphere集群主機直連的SSD和HDD之上構(gòu)建VSAN。這些存儲設(shè)備由VSAN進(jìn)行統(tǒng)一控制和管理，使用閃存SSD加速，既能夠用普通機械硬盤提供大存儲空間，又能通過SSD獲得高性能，從而形成成本較低、性能出色的統(tǒng)一共享存儲層。

2.Ceph

作為OpenStack社區(qū)呼聲最高的開源存儲方案，Ceph也成為最廣泛的全球開源軟件定義存儲項目。Ceph通過實現(xiàn)類 POSIX 接口的對象存儲接口來構(gòu)建底層通用的存儲系統(tǒng)，上層通過堆疊不同存儲標(biāo)準(zhǔn)(如 POSIX，塊接口和 S3/Swift)來實現(xiàn)對象存儲、塊存儲和文件系統(tǒng)存儲等不同存儲場景的應(yīng)用。這個方式也是Ceph統(tǒng)一存儲目標(biāo)的技術(shù)基礎(chǔ)。Ceph先進(jìn)的架構(gòu)加上SSD固態(tài)盤，特別是高速PCIe SSD帶來的高性能，無疑將成為Ceph部署的典型場景。

NFV的主要目標(biāo)是實現(xiàn)網(wǎng)絡(luò)設(shè)備的軟硬件分離，總體趨勢是底層硬件實現(xiàn)相對通用化?；贑eph開源分布式存儲的Server SAN技術(shù)得到各NFVi廠商的廣泛支持，且更加通用。而采用商用分布式存儲系統(tǒng)雖然能夠獲得更高的性能，但又會影響到底層硬件的通用性，受到廠商的掣肘。

3.其他商用分布式存儲系統(tǒng)

主流商用分布式存儲系統(tǒng)包括EMC ScaleIO、華為FusionStorage、惠普StoreVirtual VSA、戴爾Fluid Cache等，這些主流商用分布式存儲系統(tǒng)宣稱可以獲得較Ceph更高的性能，且能提供較好的售后支持。

磁盤陣列與Server SAN的比較

在磁盤陣列與Server SAN引入SSD盤后，性能均獲得了較大提升。下面從4個方面比較磁盤和Server SAN兩者的特征。

可靠性

可靠性是存儲首要解決的問題。傳統(tǒng)的磁盤陣列采用雙控制器、多路徑和磁盤冗余等方式，保證磁盤陣列不存在單點故障。磁盤陣列的磁盤冗余一般可采用Raid5、Raid10等方式，保證在有磁盤損壞的情況下，可以通過校驗數(shù)據(jù)和其他磁盤數(shù)據(jù)來恢復(fù)該磁盤的數(shù)據(jù)。而Server SAN通過軟件來保障可靠性，需要采用3副本保證在磁盤損壞的情況下不影響業(yè)務(wù)數(shù)據(jù)。磁盤陣列可以通過遠(yuǎn)程鏡像等成熟的異地備份及雙活等技術(shù)，跨數(shù)據(jù)中心進(jìn)行災(zāi)備，優(yōu)于Server SAN。此外，磁盤陣列在固件中針對SSD進(jìn)行優(yōu)化，SSD的壽命更長。而Server SAN缺乏相關(guān)的機制，長時間使用后可能影響固態(tài)盤使用壽命。

容量及擴展性

由于SSD容量小，單盤價格貴，全閃存陣列容量較小。而采用Server SAN產(chǎn)品可以達(dá)到PB級的存儲空間，且隨著服務(wù)器的數(shù)量增長，其性能、容量可以線性增長，尤其適用數(shù)據(jù)量較大且不斷增長的應(yīng)用場景。要達(dá)到PB級容量，需要使用昂貴的高端磁盤陣列，且只能購買該型號的磁盤柜，擴容成本高，周期較長。從容量和擴展性而言，從優(yōu)到劣排序為Server SAN、高端磁盤陣列、中端磁盤陣列、全閃存陣列。因此，對于業(yè)務(wù)數(shù)據(jù)增長較快，容量要求較大的場景而言，Server SAN具有優(yōu)勢。

性能由于采用了專用的存儲硬件，并針對SSD進(jìn)行優(yōu)化設(shè)計，全閃存陣列性能遠(yuǎn)高于其他類型的存儲。在大量使用SSD緩存的情況下，中端磁盤陣列性能得到大幅度提高。商用分布式存儲系統(tǒng)如EMC ScaleIO、華為FusionStorage性能表現(xiàn)接近使用SSD緩存的中端磁盤陣列。據(jù)公開的測試數(shù)據(jù)，商用Server SAN如FusionStorage的性能遠(yuǎn)高于Ceph。此外，Ceph在不同的優(yōu)化方式下性能表現(xiàn)差距較大。

成本

Server SAN在硬盤購置成本上高于磁盤陣列50%以上，在硬盤價格高漲的情況下，Server SAN的成本相對較高。磁盤陣列需要購置與原設(shè)備相匹配的控制柜、磁盤柜等專用設(shè)備，擴容成本高。而Server SAN可以使用通用的服務(wù)器，擴容成本低。因此，在存儲規(guī)模達(dá)到PB級以上，而且還在不斷增長的情況下，采用Server SAN成本更低。

運維難度

磁盤陣列成熟穩(wěn)定，其維護(hù)簡單，日常維護(hù)工作量小。Ceph是開源項目，其配置、性能調(diào)優(yōu)復(fù)雜，運維人員需要處理系統(tǒng)的Bug，對技術(shù)能力要求高，且維護(hù)工作量大。商用的分布式存儲系統(tǒng)經(jīng)過廠商打磨后，商業(yè)化程度較高，而且有廠商進(jìn)行維保，其運維難度小于Ceph，但也大于磁盤陣列。

NFVi對存儲的需求

VNF率先實現(xiàn)的應(yīng)用場景主要包括vBRAS、vCPE、vEPC、vIMS、vSR，未來可能的應(yīng)用場景還包括vCDN等。根據(jù)數(shù)據(jù)類型的要求，主要分為以下三類。

1.無需存儲業(yè)務(wù)數(shù)據(jù)，如vCPE、vEPC、vBRAS、vIMS、vSR，涵蓋NFV的主要應(yīng)用場景。這類場景的虛擬機主要起到數(shù)據(jù)處理和轉(zhuǎn)發(fā)等功能，數(shù)據(jù)不落盤，存儲空間的增長要求不高。使用SSD作為緩存的磁盤陣列即可滿足業(yè)務(wù)需求。這類可以采用傳統(tǒng)SAN存儲。

2.存儲結(jié)構(gòu)化數(shù)據(jù)，如vEPC中的vHSS。主要存儲數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，有一定的數(shù)據(jù)增長要求。這種場景采用磁盤陣列及Server SAN均可。

3.存儲非結(jié)構(gòu)化數(shù)據(jù)，如vCDN。這類數(shù)據(jù)增長速度較快，對存儲空間的擴展性要求高。這種場景采用Server SAN具有成本、擴展性方面的優(yōu)勢。

總體而言，對于NFVi而言，采用磁盤陣列可以獲得更好的時延性能。