什么是分布式文件系統(tǒng)

我們無(wú)時(shí)無(wú)刻不在使用文件系統(tǒng)，進(jìn)行開(kāi)發(fā)時(shí)在使用文件系統(tǒng)，瀏覽網(wǎng)頁(yè)時(shí)在使用文件系統(tǒng)，玩手機(jī)時(shí)也在使用文件系統(tǒng)。

對(duì)于非專(zhuān)業(yè)人士來(lái)說(shuō)，可能根本不知道文件系統(tǒng)為何物。因?yàn)椋ǔ?lái)說(shuō)，我們?cè)谑褂梦募到y(tǒng)時(shí)一般不會(huì)感知到文件系統(tǒng)的存在。即使是程序開(kāi)發(fā)人員，很多人對(duì)文件系統(tǒng)也是一知半解。

雖然文件系統(tǒng)經(jīng)常不被感知，但是文件系統(tǒng)是非常重要的。在 Linux 中，文件系統(tǒng)是其內(nèi)核的四大子系統(tǒng)之一；微軟的 DOS（Disk Operating System，磁盤(pán)管理系統(tǒng)），核心就是一個(gè)管理磁盤(pán)的文件系統(tǒng)，由此可見(jiàn)文件系統(tǒng)的重要性。

常見(jiàn)文件系統(tǒng)及分類(lèi)

其實(shí)文件系統(tǒng)發(fā)展到現(xiàn)在，其種類(lèi)也豐富多樣。比如，基于磁盤(pán)的普通本地文件系統(tǒng)除了 Ext4，還包括 XFS、ZFS 和 Btrfs 等。其中 Btrfs 和 ZFS 不僅可以管理一塊磁盤(pán)，還可以實(shí)現(xiàn)多塊磁盤(pán)的管理。不僅如此，這兩個(gè)文件系統(tǒng)實(shí)現(xiàn)了數(shù)據(jù)的冗余管理，這樣可以避免磁盤(pán)故障導(dǎo)致的數(shù)據(jù)丟失。除了對(duì)磁盤(pán)數(shù)據(jù)管理的文件系統(tǒng)，還有一些網(wǎng)絡(luò)文件系統(tǒng)。也就是說(shuō)，這些文件系統(tǒng)看似在本地，但其實(shí)數(shù)據(jù)是在遠(yuǎn)程的專(zhuān)門(mén)設(shè)備上。客戶(hù)端通過(guò)一些網(wǎng)絡(luò)協(xié)議實(shí)現(xiàn)數(shù)據(jù)的訪問(wèn)，如 NFS 和 GlusterFS 等文件系統(tǒng)。經(jīng)過(guò)幾十年的發(fā)展，文件系統(tǒng)的種類(lèi)非常多，我們沒(méi)有辦法逐一進(jìn)行介紹。下面就對(duì)主要的文件系統(tǒng)進(jìn)行介紹。

本地文件系統(tǒng)

本地文件系統(tǒng)是對(duì)磁盤(pán)空間進(jìn)行管理的文件系統(tǒng)，也是最常見(jiàn)的文件系統(tǒng)形態(tài)。從呈現(xiàn)形態(tài)上來(lái)看，本地文件系統(tǒng)就是一個(gè)樹(shù)形的目錄結(jié)構(gòu)。本地文件系統(tǒng)本質(zhì)上就是實(shí)現(xiàn)對(duì)磁盤(pán)空間的管理，實(shí)現(xiàn)磁盤(pán)線性空間與目錄層級(jí)結(jié)構(gòu)的轉(zhuǎn)換，如下圖所示。

從普通用戶(hù)的角度來(lái)說(shuō)，本地文件系統(tǒng)主要方便了對(duì)磁盤(pán)空間的使用，降低了使用難度，提高了利用效率。常見(jiàn)的本地文件系統(tǒng)有 Ext4、Btrfs、XFS 和 ZFS 等。

偽文件系統(tǒng)

偽文件系統(tǒng)是 Linux 中的概念，它是對(duì)傳統(tǒng)文件系統(tǒng)的延伸。偽文件系統(tǒng)并不會(huì)持久化數(shù)據(jù)，而是內(nèi)存中的文件系統(tǒng)。它是以文件系統(tǒng)的形態(tài)實(shí)現(xiàn)用戶(hù)與內(nèi)核數(shù)據(jù)交互的接口。常見(jiàn)的偽文件系統(tǒng)有 proc、sysfs 和 configfs 等。

在 Linux 中，偽文件系統(tǒng)主要實(shí)現(xiàn)內(nèi)核與用戶(hù)態(tài)的交互。比如，我們經(jīng)常使用的 iostat 工具，其本質(zhì)上是通過(guò)訪問(wèn)/proc/diskstats 文件獲取信息的，如下圖所示。而該文件正是偽文件系統(tǒng)中的一個(gè)文件，但其內(nèi)容其實(shí)是內(nèi)核中對(duì)磁盤(pán)訪問(wèn)的統(tǒng)計(jì)，它是內(nèi)核某些數(shù)據(jù)結(jié)構(gòu)的實(shí)例。

網(wǎng)絡(luò)文件系統(tǒng)

網(wǎng)絡(luò)文件系統(tǒng)是基于 TCP/IP 協(xié)議（整個(gè)協(xié)議可能會(huì)跨層）的文件系統(tǒng)，允許一臺(tái)計(jì)算機(jī)訪問(wèn)另一臺(tái)計(jì)算機(jī)的文件系統(tǒng)，就如訪問(wèn)本地文件系統(tǒng)一樣。網(wǎng)絡(luò)文件系統(tǒng)通常分為客戶(hù)端和服務(wù)端，其中客戶(hù)端類(lèi)似本地文件系統(tǒng)，而服務(wù)端則是對(duì)數(shù)據(jù)進(jìn)行管理的系統(tǒng)。網(wǎng)絡(luò)文件系統(tǒng)的使用與本地文件系統(tǒng)的使用沒(méi)有任何差別，只需要執(zhí)行 mount 命令掛載即可。網(wǎng)絡(luò)文件系統(tǒng)也有很多種類(lèi)，如 NFS 和 SMB 等。

在用戶(hù)層面，完成掛載后的網(wǎng)絡(luò)文件系統(tǒng)與本地文件系統(tǒng)完全一樣，看不出任何差異，對(duì)用戶(hù)是透明的。網(wǎng)絡(luò)文件系統(tǒng)就好像將遠(yuǎn)程的文件系統(tǒng)映射到了本地。如下圖所示，左側(cè)是客戶(hù)端，右側(cè)是文件系統(tǒng)服務(wù)端。

當(dāng)在客戶(hù)端對(duì)服務(wù)端導(dǎo)出的文件系統(tǒng)進(jìn)行掛載后，服務(wù)端的目錄樹(shù)就成為客戶(hù)端目錄樹(shù)的一顆子樹(shù)。這個(gè)子目錄對(duì)普通用戶(hù)來(lái)說(shuō)是透明的，不會(huì)感知到這是一個(gè)遠(yuǎn)程目錄，但實(shí)際上讀/寫(xiě)請(qǐng)求需要通過(guò)網(wǎng)絡(luò)轉(zhuǎn)發(fā)到服務(wù)端進(jìn)行處理。

集群文件系統(tǒng)

集群文件系統(tǒng)本質(zhì)上也是一種本地文件系統(tǒng)，只不過(guò)它通常構(gòu)建在基于網(wǎng)絡(luò)的SAN 設(shè)備上，且在多個(gè)節(jié)點(diǎn)中共享 SAN 磁盤(pán)。集群文件系統(tǒng)最大的特點(diǎn)是可以實(shí)現(xiàn)客戶(hù)端節(jié)點(diǎn)對(duì)磁盤(pán)介質(zhì)的共同訪問(wèn)，且視圖具有一致性，如圖 1-22 所示。這種視圖的一致性是指，如果在節(jié)點(diǎn) 0 創(chuàng)建一個(gè)文件，那么在節(jié)點(diǎn) 1 和節(jié)點(diǎn) 2都可以馬上看到。這個(gè)特性其實(shí)跟網(wǎng)絡(luò)文件系統(tǒng)類(lèi)似，網(wǎng)絡(luò)文件系統(tǒng)也是可以在某個(gè)客戶(hù)端看到其他客戶(hù)端對(duì)文件系統(tǒng)的修改的。但是兩者是有差異的，集群文件系統(tǒng)本質(zhì)上還是構(gòu)建在客戶(hù)端的，而網(wǎng)絡(luò)文件系統(tǒng)則是構(gòu)建在服務(wù)端的。

同時(shí)，對(duì)于集群文件系統(tǒng)來(lái)說(shuō)，其最大的特點(diǎn)是多個(gè)節(jié)點(diǎn)可以同時(shí)為應(yīng)用層提供文件系統(tǒng)服務(wù)，特別適合用于業(yè)務(wù)多活的場(chǎng)景，通過(guò)集群文件系統(tǒng)提供高可用集群機(jī)制，避免因?yàn)殄礄C(jī)造成服務(wù)失效。

分布式文件系統(tǒng)

從本質(zhì)上來(lái)說(shuō)，分布式文件系統(tǒng)其實(shí)也是一種網(wǎng)絡(luò)文件系統(tǒng)。在《計(jì)算機(jī)科學(xué)技術(shù)名詞》中給出的定義為“一種文件系統(tǒng)，所管理的數(shù)據(jù)資源存儲(chǔ)在分布式網(wǎng)絡(luò)節(jié)點(diǎn)上，提供統(tǒng)一的文件訪問(wèn)接口”，可以看出，分布式文件系統(tǒng)與網(wǎng)絡(luò)文件系統(tǒng)的差異在于服務(wù)端包含多個(gè)節(jié)點(diǎn)，也就是服務(wù)端是可以橫向擴(kuò)展的。從使用角度來(lái)說(shuō)，分布式文件系統(tǒng)的使用與網(wǎng)絡(luò)文件系統(tǒng)的使用沒(méi)有太大的差異，也是通過(guò)執(zhí)行 mount 命令掛載，客戶(hù)端的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸?shù)椒?wù)端進(jìn)行處理。

我們發(fā)現(xiàn)常規(guī)的網(wǎng)絡(luò)文件系統(tǒng)最大的缺點(diǎn)是服務(wù)端無(wú)法實(shí)現(xiàn)橫向擴(kuò)展。這個(gè)缺點(diǎn)對(duì)大型互聯(lián)網(wǎng)應(yīng)用來(lái)說(shuō)幾乎是不可容忍的。本文將介紹一下在互聯(lián)網(wǎng)領(lǐng)域應(yīng)用非常廣泛的分布式文件系統(tǒng)。分布式文件系統(tǒng)最大的特點(diǎn)是服務(wù)端通過(guò)計(jì)算機(jī)集群實(shí)現(xiàn)，可以實(shí)現(xiàn)橫向擴(kuò)展，存儲(chǔ)端的存儲(chǔ)容量和性能可以通過(guò)橫向擴(kuò)展的方式實(shí)現(xiàn)近似線性的提升。

02

什么是分布式文件系統(tǒng)

分布式文件系統(tǒng)（Distributed File System，簡(jiǎn)稱(chēng) DFS）是網(wǎng)絡(luò)文件系統(tǒng)的延伸，其關(guān)鍵點(diǎn)在于存儲(chǔ)端可以靈活地橫向擴(kuò)展。也就是可以通過(guò)增加設(shè)備（主要是服務(wù)器）數(shù)量的方法來(lái)擴(kuò)充存儲(chǔ)系統(tǒng)的容量和性能。同時(shí)，分布式文件系統(tǒng)還要對(duì)客戶(hù)端提供統(tǒng)一的視圖。也就是說(shuō)，雖然分布式文件系統(tǒng)服務(wù)由多個(gè)節(jié)點(diǎn)構(gòu)成，但客戶(hù)端并不感知。在客戶(hù)端來(lái)看就好像只有一個(gè)節(jié)點(diǎn)提供服務(wù)，而且是一個(gè)統(tǒng)一的分布式文件系統(tǒng)。

在分布式文件系統(tǒng)中，最出名的就是谷歌的 GFS。除此之外，還有很多開(kāi)源的分布式文件系統(tǒng)，比較有名且應(yīng)用比較廣泛的分布式文件系統(tǒng)有 HDFS、GlusterFS、CephFS、MooseFS 和 FastDFS 等。

分布式文件系統(tǒng)的具體實(shí)現(xiàn)有很多方法，不同的文件系統(tǒng)通常用來(lái)解決不同的問(wèn)題，在架構(gòu)上也有差異。雖然分布式文件系統(tǒng)有很多差異，但是有很多共性的技術(shù)點(diǎn)。

分布式文件系統(tǒng)與網(wǎng)絡(luò)文件系統(tǒng)的異同

在有些情況下，NFS 等網(wǎng)絡(luò)文件系統(tǒng)也被稱(chēng)為分布式文件系統(tǒng)。但是在本文中，分布式文件系統(tǒng)是指服務(wù)端可以橫向擴(kuò)展的文件系統(tǒng)。也就是說(shuō)，分布式文件系統(tǒng)最大的特點(diǎn)是可以通過(guò)增加節(jié)點(diǎn)的方式增加文件系統(tǒng)的容量，提升性能。

當(dāng)然，分布式文件系統(tǒng)與網(wǎng)絡(luò)文件系統(tǒng)也有很多相同的地方。比如，分布式文件系統(tǒng)也分為客戶(hù)端的文件系統(tǒng)和服務(wù)端的服務(wù)程序。同時(shí)，由于客戶(hù)端與服務(wù)端分離，分布式文件系統(tǒng)也要實(shí)現(xiàn)網(wǎng)絡(luò)文件系統(tǒng)中類(lèi)似 RPC 的協(xié)議。

另外，分布式文件系統(tǒng)由于其數(shù)據(jù)被存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，因此還有其他特點(diǎn)。包括但不限于以下幾點(diǎn)。

支持按照既定策略在多個(gè)節(jié)點(diǎn)上放置數(shù)據(jù)。

可以保證在出現(xiàn)硬件故障時(shí)，仍然可以訪問(wèn)數(shù)據(jù)。

可以保證在出現(xiàn)硬件故障時(shí)，不丟失數(shù)據(jù)。

可以在硬件故障恢復(fù)時(shí)，保證數(shù)據(jù)的同步。

可以保證多個(gè)節(jié)點(diǎn)訪問(wèn)的數(shù)據(jù)一致性。

由于分布式文件系統(tǒng)需要客戶(hù)端與多個(gè)服務(wù)端交互，并且需要實(shí)現(xiàn)服務(wù)端的容錯(cuò)，通常來(lái)說(shuō)，分布式文件系統(tǒng)都會(huì)實(shí)現(xiàn)私有協(xié)議，而不是使用 NFS 等通用協(xié)議。

03

常見(jiàn)分布式文件系統(tǒng)

分布式文件系統(tǒng)的具體實(shí)現(xiàn)方法有很多，其實(shí)早在互聯(lián)網(wǎng)興盛之前就有一些分布式文件系統(tǒng)，如 Lustre 等。早期分布式文件系統(tǒng)更多應(yīng)用在超算領(lǐng)域。

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，特別是谷歌的 GFS 論文的發(fā)表，分布式文件系統(tǒng)又得到進(jìn)一步的發(fā)展。目前，很多分布式文件系統(tǒng)是參考谷歌發(fā)布的關(guān)于 GFS 的論文實(shí)現(xiàn)的。比如，大數(shù)據(jù)領(lǐng)域中的 HDFS 及一些開(kāi)源的分布式文件系統(tǒng) FastDFS 和CephFS 等。

在開(kāi)源分布式文件系統(tǒng)方面，比較知名的項(xiàng)目有大數(shù)據(jù)領(lǐng)域的 HDFS 和通用的CephFS 和 GlusterFS 等。這幾個(gè)開(kāi)源項(xiàng)目在實(shí)際生產(chǎn)中使用得相對(duì)比較多一些。接下來(lái)將對(duì)常見(jiàn)的分布式文件系統(tǒng)進(jìn)行簡(jiǎn)要的介紹。

GFS

GFS 是谷歌的一個(gè)分布式文件系統(tǒng)，該分布式文件系統(tǒng)因論文 The Google File System廣為世人所知。GFS 并沒(méi)有實(shí)現(xiàn)標(biāo)準(zhǔn)的文件接口，也就是其實(shí)現(xiàn)的接口并不與 POSIX 兼容。但包含創(chuàng)建、刪除、打開(kāi)、關(guān)閉和讀/寫(xiě)等基本接口。

GFS 集群節(jié)點(diǎn)包括兩個(gè)基本角色：一個(gè)是 master，該角色的節(jié)點(diǎn)負(fù)責(zé)文件系統(tǒng)級(jí)元數(shù)據(jù)管理；另一個(gè)是 chunkserver，該角色的節(jié)點(diǎn)通常有很多個(gè)，用于存儲(chǔ)實(shí)際的數(shù)據(jù)。GFS 對(duì)于文件的管理是在 master 完成的，而數(shù)據(jù)的實(shí)際讀/寫(xiě)則可以直接與 chunkserver 交互，避免 master 成為性能瓶頸。

GFS 在實(shí)現(xiàn)時(shí)做了很多假設(shè)，如硬件為普通商用服務(wù)器、文件大小在數(shù)百兆甚至更大及負(fù)載以順序大塊讀者為主等。其中，對(duì)于文件大小的假設(shè)尤為重要?；谠摷僭O(shè)，GFS 默認(rèn)將文件切割為 64MB 大小的邏輯塊（chunk），每個(gè) chunk 生成一個(gè) 64 位的句柄，由 master 進(jìn)行管理。

這里需要重點(diǎn)強(qiáng)調(diào)的是，每個(gè) chunk 生命周期和定位是由 master 管理的，但是chunk 的數(shù)據(jù)則是存儲(chǔ)在 chunkserver 的。正是這種架構(gòu)，當(dāng)客戶(hù)端獲得 chunk 的位置和訪問(wèn)權(quán)限后可以直接與 chunkserver 交互，而不需要 master 參與，進(jìn)而避免了master 成為瓶頸。

下圖所示為 GFS 架構(gòu)示意圖。

除了 GFS，還有很多類(lèi)似架構(gòu)的分布式文件系統(tǒng)。比如，在大數(shù)據(jù)領(lǐng)域中的HDFS，它是專(zhuān)用于 Hadoop 大數(shù)據(jù)存儲(chǔ)的分布式文件系統(tǒng)。其架構(gòu)與 GFS 的架構(gòu)類(lèi)似，包含一個(gè)用于管理元數(shù)據(jù)的節(jié)點(diǎn)和多個(gè)存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)，分別為 namenode和datanode。

HDFS 主要用來(lái)進(jìn)行大文件的處理，它將文件按照固定大小切割，然后存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)。同時(shí)為了保證數(shù)據(jù)的可靠性，這些數(shù)據(jù)被放到多個(gè)不同的數(shù)據(jù)節(jié)點(diǎn)。文件被切割的大小和同時(shí)放置數(shù)據(jù)節(jié)點(diǎn)的數(shù)量（副本數(shù)）是可配置的。

雖然 HDFS 是針對(duì)大文件設(shè)計(jì)的，但是也可以處理小文件。只不過(guò)對(duì)于小于切割單元的文件不進(jìn)行切割。另外，HDFS 對(duì)小文件也做了一些優(yōu)化，如 HAR 和SequenceFile 等方案，但 HDFS 終究不是特意為小文件設(shè)計(jì)的，因此在性能方面還有些欠缺。

除此之外，還有很多模仿 GFS 的開(kāi)源分布式文件系統(tǒng)，如 FastDFS、MooseFS和 BFS 等。但大多數(shù)開(kāi)源項(xiàng)目只實(shí)現(xiàn)了文件系統(tǒng)最基本的語(yǔ)義，嚴(yán)格來(lái)說(shuō)不能稱(chēng)為分布式文件系統(tǒng)，更像是對(duì)象存儲(chǔ)。

CephFS

有必要單獨(dú)介紹一下 CephFS 的原因是 CephFS 不僅實(shí)現(xiàn)了文件系統(tǒng)的所有語(yǔ)義，而且實(shí)現(xiàn)了元數(shù)據(jù)服務(wù)的多活橫向擴(kuò)展。

CephFS 的架構(gòu)與 GFS 的架構(gòu)沒(méi)有太大差別，其突出的特點(diǎn)是在架構(gòu)方面將GFS 的單活 master 節(jié)點(diǎn)擴(kuò)展為多活節(jié)點(diǎn)。不僅可以元數(shù)據(jù)多活，而且可以根據(jù)元數(shù)據(jù)節(jié)點(diǎn)的負(fù)載情況實(shí)現(xiàn)負(fù)載的動(dòng)態(tài)均衡。這樣，CephFS 不僅可以通過(guò)增加節(jié)點(diǎn)來(lái)實(shí)現(xiàn)元數(shù)據(jù)的橫向擴(kuò)展，還可以調(diào)整節(jié)點(diǎn)負(fù)載，最大限度地使用各個(gè)節(jié)點(diǎn)的 CPU資源。

同時(shí)，CephFS 實(shí)現(xiàn)了對(duì) POSIX 語(yǔ)言的兼容，在客戶(hù)端完成了內(nèi)核態(tài)和用戶(hù)態(tài)兩個(gè)文件系統(tǒng)實(shí)現(xiàn)。當(dāng)用戶(hù)掛載 CephFS 后，使用該文件系統(tǒng)可以與使用本地文件系統(tǒng)一樣方便。

GlusterFS

GlusterFS 是一個(gè)非常有歷史的分布式文件系統(tǒng)，其最大的特點(diǎn)是沒(méi)有中心節(jié)點(diǎn)。也就是 GlusterFS 并沒(méi)有一個(gè)專(zhuān)門(mén)的元數(shù)據(jù)節(jié)點(diǎn)來(lái)管理整個(gè)文件系統(tǒng)的元數(shù)據(jù)。

GlusterFS 抽象出卷（Volume）的概念，需要注意的是，這里的卷與 Linux LVM中的卷并非同一個(gè)概念。這里的卷是對(duì)文件系統(tǒng)的一個(gè)抽象，表示一個(gè)文件系統(tǒng)實(shí)例。當(dāng)我們?cè)诩憾藙?chuàng)建一個(gè)卷時(shí)，其實(shí)是創(chuàng)建了一個(gè)文件系統(tǒng)實(shí)例。

GlusterFS 有多種不同類(lèi)型的卷，如副本卷、條帶卷和分布式卷等。正是通過(guò)這些卷特性的組合，GlusterFS 實(shí)現(xiàn)了數(shù)據(jù)可靠性和橫向擴(kuò)展的能力。

原文標(biāo)題：從文件系統(tǒng)到分布式文件系統(tǒng)

文章出處：【微信公眾號(hào)：strongerHuang】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。