云存儲(chǔ)技術(shù)構(gòu)架

　　云存儲(chǔ)是在云計(jì)算（cloud compuTIng）概念上延伸和發(fā)展出來的一個(gè)新的概念，是一種新興的網(wǎng)絡(luò)存儲(chǔ)技術(shù)， 是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng)，所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。簡(jiǎn)單來說，云存儲(chǔ)就是將儲(chǔ)存資源放到云上供人存取的一種新興方案。使用者可以在任何時(shí)間、任何地方，透過任何可連網(wǎng)的裝置連接到云上方便地存取數(shù)據(jù)。

　　云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型：

　　1.存儲(chǔ)層：

　　存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分。存儲(chǔ)設(shè)備可以是FC光纖通道存儲(chǔ)設(shè)備，可以是NAS和 iSCSI等IP存儲(chǔ)設(shè)備，也可以是 SCSI或SAS等 DAS存儲(chǔ)設(shè)備。云存儲(chǔ)中的存儲(chǔ)設(shè)備往往數(shù)量龐大且分布多不同地域。彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者FC光纖通道網(wǎng)絡(luò)連接在一起。存儲(chǔ)設(shè)備之上是一個(gè)統(tǒng)一存儲(chǔ)設(shè)備管理系統(tǒng)，可以實(shí)現(xiàn)存儲(chǔ)設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。

　　2.基礎(chǔ)管理層：

　　基礎(chǔ)管理層是云存儲(chǔ)最核心的部分，也是云存儲(chǔ)中最難以實(shí)現(xiàn)的部分?；A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)被未授權(quán)的用戶所訪問，同時(shí)，通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)和措施可以保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)丟失，保證云存儲(chǔ)自身的安全和穩(wěn)定。

　　3.應(yīng)用接口層：

　　應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分。不同的云存儲(chǔ)運(yùn)營(yíng)單位可以根據(jù)實(shí)際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺(tái)、IPTV和視頻點(diǎn)播應(yīng)用平臺(tái)、網(wǎng)絡(luò)硬盤應(yīng)用平臺(tái)，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺(tái)等。

　　4.訪問層：

　　任何一個(gè)授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)。云存儲(chǔ)運(yùn)營(yíng)單位不同，云存儲(chǔ)提供的訪問類型和訪問手段也不同。云存儲(chǔ)不是存儲(chǔ)，而是服務(wù)

　　就如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣，云存儲(chǔ)對(duì)使用者來講，不是指某一個(gè)具體的設(shè)備，而是指一個(gè)由許許多多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲(chǔ)，并不是使用某一個(gè)存儲(chǔ)設(shè)備，而是使用整個(gè)云存儲(chǔ)系統(tǒng)帶來的一種數(shù)據(jù)訪問服務(wù)。所以嚴(yán)格來講，云存儲(chǔ)不是存儲(chǔ)，而是一種服務(wù)。

　　云存儲(chǔ)的核心是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合，通過應(yīng)用軟件來實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。

　　云存儲(chǔ)系統(tǒng)的元數(shù)據(jù)管理模型

　　在云存儲(chǔ)架構(gòu)中，根據(jù)對(duì)元數(shù)據(jù)的管理模型，可以將通用云存儲(chǔ)系統(tǒng)分為三種類型，即集中式元數(shù)據(jù)、分布式元數(shù)據(jù)和無元數(shù)據(jù)三種類型的系統(tǒng)。

　　1、集中式元數(shù)據(jù)云存儲(chǔ)系統(tǒng)

　　集中式元數(shù)據(jù)云存儲(chǔ)系統(tǒng)是一種典型的非對(duì)稱式系統(tǒng)，在系統(tǒng)中，通常具有一個(gè)中央元數(shù)據(jù)管理服務(wù)器，負(fù)責(zé)元數(shù)據(jù)的存儲(chǔ)和處理查詢與修改請(qǐng)求，例如，在HDFS系統(tǒng)中，該元數(shù)據(jù)管理服務(wù)器即為名字節(jié)點(diǎn)Namenode，同時(shí)，存在大量的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)提供客戶I/O數(shù)據(jù)的并行存儲(chǔ)與訪問。這種架構(gòu)中，客戶端每次對(duì)數(shù)據(jù)流的I/O操作，都需要先向元數(shù)據(jù)管理服務(wù)器進(jìn)行元數(shù)據(jù)查詢，客戶端在獲得需要讀寫的數(shù)據(jù)塊物理位置等信息后，對(duì)于數(shù)據(jù)的I/O操作則直接在客戶端和數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)之間進(jìn)行。相對(duì)傳統(tǒng)存儲(chǔ)系統(tǒng)，集中元數(shù)據(jù)云存儲(chǔ)系統(tǒng)將控制流和數(shù)據(jù)流進(jìn)行了分離，系統(tǒng)在擴(kuò)展性和處理性能方面獲得了較大的提升，同時(shí)，由于元數(shù)據(jù)集中在一臺(tái)服務(wù)器上進(jìn)行管理，整個(gè)系統(tǒng)架構(gòu)比較簡(jiǎn)單，降低了系統(tǒng)設(shè)計(jì)的復(fù)雜性，目前業(yè)界采用這種架構(gòu)的系統(tǒng)主要有GFS、HDFS、Lustre等。

　　不難看出，雖然集中元數(shù)據(jù)云存儲(chǔ)系統(tǒng)架構(gòu)簡(jiǎn)單，但會(huì)存在兩個(gè)主要的問題：

　　性能瓶頸問題。元數(shù)據(jù)的基本特性要求任何時(shí)候?qū)τ脩魯?shù)據(jù)的訪問，都需要同步地修改元數(shù)據(jù)，由于每次I/O訪問都需要首先訪問元數(shù)據(jù)服務(wù)器，隨著系統(tǒng)規(guī)模不斷擴(kuò)大，需要管理的存儲(chǔ)節(jié)點(diǎn)、文件數(shù)量、I/O操作數(shù)量等都會(huì)急劇增加，而對(duì)元數(shù)據(jù)進(jìn)行管理的物理服務(wù)器性能有限，從而形成性能瓶頸，這種性能瓶頸在大量小文件訪問時(shí)會(huì)更為突出。為解決這一問題，人們通常會(huì)采用更高性能的CPU，更大的內(nèi)存，并且采用SSD來加速對(duì)元數(shù)據(jù)的訪問，雖然能夠在一定程度上提升元數(shù)據(jù)訪問性能，但成本極其高昂，且提升效果有限。

　　元數(shù)據(jù)服務(wù)器單點(diǎn)故障問題。在集中元數(shù)據(jù)云存儲(chǔ)系統(tǒng)中，整個(gè)系統(tǒng)的性能和可靠性完全依賴于元數(shù)據(jù)服務(wù)器，一旦元數(shù)據(jù)服務(wù)器故障，系統(tǒng)將無法提供任何服務(wù)，因此，元數(shù)據(jù)服務(wù)器就是整個(gè)系統(tǒng)中的潛在單點(diǎn)故障點(diǎn)。為解決這一問題，通常對(duì)元數(shù)據(jù)服務(wù)器采用備機(jī)形成HA解決方案來提供更高的系統(tǒng)可用性，主用服務(wù)器和備用服務(wù)器之間的元數(shù)據(jù)必須隨時(shí)同步，否則一旦主用服務(wù)器故障，則可能導(dǎo)致數(shù)據(jù)不一致問題，但元數(shù)據(jù)同步操作會(huì)進(jìn)一步加重了元數(shù)據(jù)服務(wù)器的性能負(fù)擔(dān)，導(dǎo)致整個(gè)系統(tǒng)的訪問性能受到拖累，而且也無法徹底解決腦裂問題。

　　2、分布式元數(shù)據(jù)云存儲(chǔ)系統(tǒng)

　　為了解決集中元數(shù)據(jù)系統(tǒng)中的性能瓶頸和單點(diǎn)故障問題，一種改進(jìn)后的分布式元數(shù)據(jù)云存儲(chǔ)系統(tǒng)得以出現(xiàn)，這種系統(tǒng)采用多臺(tái)元數(shù)據(jù)服務(wù)器形成集群工作的方式提供元數(shù)據(jù)訪問服務(wù)，集群中的每一臺(tái)設(shè)備都可以提供元數(shù)據(jù)訪問，從而提高整體訪問性能，并且解決了元數(shù)據(jù)服務(wù)器單點(diǎn)故障問題。分布式云存儲(chǔ)系統(tǒng)需要在所有元數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)之間進(jìn)行元數(shù)據(jù)同步操作，這大大增加了系統(tǒng)設(shè)計(jì)的復(fù)雜性，在同步期間往往需要進(jìn)行各種加鎖，而加鎖機(jī)制的存在導(dǎo)致部分任務(wù)難以并行運(yùn)行，從而拖慢了整個(gè)系統(tǒng)的性能，此外，如果元數(shù)據(jù)沒有及時(shí)得到同步，或者遭到意外破壞，則會(huì)出現(xiàn)同一文件或者對(duì)象的元數(shù)據(jù)不一致，進(jìn)一步導(dǎo)致上層應(yīng)用在通過不同物理服務(wù)器訪問文件或?qū)ο髷?shù)據(jù)時(shí)出現(xiàn)數(shù)據(jù)不一致或者讀寫錯(cuò)誤的問題，這種風(fēng)險(xiǎn)隨著云存儲(chǔ)系統(tǒng)規(guī)模的擴(kuò)大而大幅增加，同樣，為了保證元數(shù)據(jù)同步的速度，需要采用高性能、大內(nèi)存并且配備SSD的服務(wù)器，硬件成本非常昂貴。

　　3、無元數(shù)據(jù)云存儲(chǔ)系統(tǒng)

　　第三種云存儲(chǔ)系統(tǒng)則徹底拋棄元數(shù)據(jù)，而是采用算法來對(duì)文件或?qū)ο筮M(jìn)行定位，并將該算法集成在每一個(gè)存儲(chǔ)節(jié)點(diǎn)上，客戶端從任何一個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)訪問都會(huì)獲得同樣的結(jié)果，云存儲(chǔ)系統(tǒng)中的每一個(gè)存儲(chǔ)節(jié)點(diǎn)都可以獨(dú)立、并行地對(duì)外提供服務(wù)，從而真正實(shí)現(xiàn)性能隨節(jié)點(diǎn)數(shù)增加而線性擴(kuò)展，由于無需在節(jié)點(diǎn)間進(jìn)行元數(shù)據(jù)的同步操作，極大地提高了系統(tǒng)的穩(wěn)定性和可靠性，在硬件成本方面，也相對(duì)低廉，可以用較低的建設(shè)成本獲得較高的讀寫性能。