常見的分布式文件存儲(chǔ)系統(tǒng)解析

一、概述

一般普通存儲(chǔ)方案有：Rsync、DAS（IDE/SATA/SAS/SCSI等塊）、NAS（NFS、CIFS、SAMBA等文件系統(tǒng)）、SAN（FibreChannel， iSCSI， FoE存儲(chǔ)網(wǎng)絡(luò)塊），Openfiler、FreeNas（ZFS快照復(fù)制）。由于生產(chǎn)環(huán)境中往往對(duì)存儲(chǔ)數(shù)據(jù)量很大，而SAN存儲(chǔ)價(jià)格又比較昂貴，因此大多會(huì)選擇分布式存儲(chǔ)來解決以下問題：

海量數(shù)據(jù)存儲(chǔ)問題數(shù)據(jù)高可用問題（冗余備份）問題較高的讀寫性能和負(fù)載均衡問題支持多平臺(tái)多語言問題高并發(fā)問題

存儲(chǔ)方案區(qū)別

常用的分布式文件系統(tǒng)

常見的分布式文件系統(tǒng)有FastDFS，GFS、HDFS、Ceph 、GridFS 、mogileFS、TFS等。各自適用于不同的領(lǐng)域。它們都不是系統(tǒng)級(jí)的分布式文件系統(tǒng)，而是應(yīng)用級(jí)的分布式文件存儲(chǔ)服務(wù)。

1、FastDFS介紹

前面已經(jīng)單獨(dú)一篇介紹過這塊了，所以這里就不做介紹了。

2、GFS（Google File System）

Google公司為了滿足本公司需求而開發(fā)的基于Linux的專有分布式文件系統(tǒng)。。盡管Google公布了該系統(tǒng)的一些技術(shù)細(xì)節(jié)，但Google并沒有將該系統(tǒng)的軟件部分作為開源軟件發(fā)布。

GFS 架構(gòu)

3、HDFS（Hadoop Distributed File System）

Hadoop 實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)，主要用于大數(shù)據(jù)計(jì)算存儲(chǔ)，簡(jiǎn)稱HDFS。 Hadoop是Apache Lucene創(chuàng)始人Doug Cutting開發(fā)的使用廣泛的文本搜索庫。它起源于Apache Nutch，后者是一個(gè)開源的網(wǎng)絡(luò)搜索引擎，本身也是Luene項(xiàng)目的一部分。

Aapche Hadoop架構(gòu)是MapReduce算法的一種開源應(yīng)用，是Google開創(chuàng)其帝國(guó)的重要基石。

4、Ceph

是加州大學(xué)圣克魯茲分校的Sage weil攻讀博士時(shí)開發(fā)的分布式文件系統(tǒng)。Ceph能夠在維護(hù) POSIX 兼容性的同時(shí)加入了復(fù)制和容錯(cuò)功能。Sage weil并使用Ceph完成了他的論文。說 ceph 性能最高，C++編寫的代碼，支持Fuse，并且沒有單點(diǎn)故障依賴。

由于 ceph 使用 btrfs 文件系統(tǒng)， 而btrfs 文件系統(tǒng)需要 Linux 2.6.34 以上的內(nèi)核才支持。

5、GridFS文件系統(tǒng)

MongoDB是一種知名的NoSql數(shù)據(jù)庫，GridFS是MongoDB的一個(gè)內(nèi)置功能，它提供一組文件操作的API以利用MongoDB存儲(chǔ)文件，GridFS的基本原理是將文件保存在兩個(gè)Collection中，一個(gè)保存文件索引，一個(gè)保存文件內(nèi)容，文件內(nèi)容按一定大小分成若干塊，每一塊存在一個(gè)Document中，這種方法不僅提供了文件存儲(chǔ)，還提供了對(duì)文件相關(guān)的一些附加屬性（比如MD5值，文件名等等）的存儲(chǔ)。文件在GridFS中會(huì)按4MB為單位進(jìn)行分塊存儲(chǔ)。

6、MogileFS

由memcahed的開發(fā)公司danga一款perl開發(fā)的產(chǎn)品，目前國(guó)內(nèi)使用mogielFS的有圖片托管網(wǎng)站yupoo等。

MogileFS是一套高效的文件自動(dòng)備份組件，由Six Apart開發(fā)，廣泛應(yīng)用在包括LiveJournal等web2.0站點(diǎn)上。

MogileFS由3個(gè)部分組成：

第1個(gè)部分是server端，包括mogilefsd和mogstored兩個(gè)程序。前者即是 mogilefsd的tracker，它將一些全局信息保存在數(shù)據(jù)庫里，例如站點(diǎn)domain，class，host等。后者即是存儲(chǔ)節(jié)點(diǎn)（store node），它其實(shí)是個(gè)HTTP Daemon，默認(rèn)偵聽在7500端口，接受客戶端的文件備份請(qǐng)求。在安裝完后，要運(yùn)行mogadm工具將所有的store node注冊(cè)到mogilefsd的數(shù)據(jù)庫里，mogilefsd會(huì)對(duì)這些節(jié)點(diǎn)進(jìn)行管理和監(jiān)控。

第2個(gè)部分是utils（工具集），主要是MogileFS的一些管理工具，例如mogadm等。

第3個(gè)部分是客戶端API，目前只有Perl API（MogileFS.pm）、PHP，用這個(gè)模塊可以編寫客戶端程序，實(shí)現(xiàn)文件的備份管理功能。

7、TFS

TFS（Taobao ！FileSystem）是一個(gè)高可擴(kuò)展、高可用、高性能、面向互聯(lián)網(wǎng)服務(wù)的分布式文件系統(tǒng)，主要針對(duì)海量的非結(jié)構(gòu)化數(shù)據(jù)，它構(gòu)筑在普通的Linux機(jī)器 集群上，可為外部提供高可靠和高并發(fā)的存儲(chǔ)訪問。TFS為淘寶提供海量小文件存儲(chǔ)，通常文件大小不超過1M，滿足了淘寶對(duì)小文件存儲(chǔ)的需求，被廣泛地應(yīng)用 在淘寶各項(xiàng)應(yīng)用中。它采用了HA架構(gòu)和平滑擴(kuò)容，保證了整個(gè)文件系統(tǒng)的可用性和擴(kuò)展性。同時(shí)扁平化的數(shù)據(jù)組織結(jié)構(gòu)，可將文件名映射到文件的物理地址，簡(jiǎn)化 了文件的訪問流程，一定程度上為TFS提供了良好的讀寫性能。
責(zé)任編輯人：CC