4種cephfs擴容方案

cephfs擴容方案

需求描述

建立完善的cephfs的擴容方案，滿足cephfs用戶數(shù)據(jù)存儲空間在各種場景下的擴容需求。目前擴容只涉及到用戶的數(shù)據(jù)存儲，元數(shù)據(jù)部分因為空間使用率較低所以不需要考慮擴容。

現(xiàn)有cephfs用戶存儲模型

目前單個用戶會對應(yīng)一個ceph集群里面的多個Dir目錄，每個Dir目錄底層會關(guān)聯(lián)到兩個pool，其中metadata_pool用來存儲元數(shù)據(jù)，data_pool用來存儲數(shù)據(jù)。

單集群擴容方案

通過filelayout進行擴容

基本原理

每個文件都有filelayout的xattr屬性，其中包含一個關(guān)鍵的pool字段，用來指定存儲文件底層用到哪個pool，因此利用該特性可以實現(xiàn)基于目錄基本的擴容。

參考 https://docs.ceph.com/docs/master/cephfs/file-layouts/#adding-a-data-pool-to-the-mds

操作流程

root@host1:/mnt/cephfs1#cephdf RAWSTORAGE: CLASSSIZEAVAILUSEDRAWUSED%RAWUSED hdd952TiB861TiB89TiB91TiB9.52 TOTAL952TiB861TiB89TiB91TiB9.52 POOLS: POOLIDSTOREDOBJECTSUSED%USEDMAXAVAIL rbdtest-site1-ssd-img18.7TiB2.34M26TiB24.5827TiB rbdtest-site1-sas-img28.8TiB2.31M26TiB3.63233TiB cephfs_metadata385GiB116.05k86GiB0.1027TiB cephfs_data412TiB198.68M36TiB30.6527TiB cephfs_pool15121GiB31.04k364GiB0.4427TiB sym_cephfs_data6656KiB133.6MiB0233TiB sym_cephfs_metadata70B00B0233TiB kubernetes20152B6192KiB0233TiB root@host1:/mnt/cephfs1#setfattr-nceph.dir.layout.pool-vcephfs_pool1/mnt/cephfs1/extest1/ root@host1:/mnt/cephfs1#getfattr-nceph.dir.layout/mnt/cephfs1/extest1 getfattr:Removingleading'/'fromabsolutepathnames #file:mnt/cephfs1/extest1 ceph.dir.layout="stripe_unit=4194304stripe_count=1object_size=4194304pool=cephfs_pool1" root@host1:/mnt/cephfs1/extest1#touchfile2 root@host1:/mnt/cephfs1/extest1#getfattr-nceph.file.layout/mnt/cephfs1/extest1/file2 getfattr:Removingleading'/'fromabsolutepathnames #file:mnt/cephfs1/extest1/file2 ceph.file.layout="stripe_unit=4194304stripe_count=1object_size=4194304pool=cephfs_pool1"

方案1. 同級目錄擴容

如果業(yè)務(wù)側(cè)能夠按新增主目錄方式進行擴容，則可以通過新增一個用戶主目錄，將新目錄指向新的data_pool來實現(xiàn)擴容。

優(yōu)點:新擴容的pool不會對現(xiàn)有存儲服務(wù)造成影響。

缺點:業(yè)務(wù)需要能夠適配這種新增子目錄的擴容方式。

方案2. 子目錄擴容

如果業(yè)務(wù)側(cè)只能在原有主目錄中進行操作，則可以通過在原有主目錄下新增一個用戶子目錄，將新生成的子目錄指向新的data_pool來實現(xiàn)擴容。

優(yōu)點:新擴容的pool不會對現(xiàn)有存儲服務(wù)造成影響。

缺點:業(yè)務(wù)需要能夠適配這種新增子目錄的擴容方式。

通過新增OSD進行擴容

基本原理

基于原生底層分布式存儲的基本特性，可以在原有的pool里面新增OSD進行擴容，但是新增OSD會導(dǎo)致舊有數(shù)據(jù)重新平衡，造成性能波動，影響服務(wù)質(zhì)量。

方案3. 原有data_pool擴容

通過在原有data_pool中新增OSD來實現(xiàn)擴容。

優(yōu)點:業(yè)務(wù)和k8s層面不需要做任何變動，完全對上層透明。

缺點:舊集群在新增OSD的時候會發(fā)生性能抖動，同時為了兼顧擴容速率和減少業(yè)務(wù)影響，相對擴容周期會比較長。受限與機房機柜和網(wǎng)絡(luò)設(shè)備環(huán)境，有物理層面的上限。

多集群擴容方案

方案4. 新增ceph集群

受限于單集群規(guī)模存儲集群的規(guī)模有限(受限機柜、網(wǎng)絡(luò)等)，單機房多集群、多機房多集群都會可能存在，因此這一塊的存儲擴容方案也會納入設(shè)計范圍。

優(yōu)點:適配現(xiàn)有的單集群部署方案(1個集群跨3個機柜)，相對來講容易做故障域隔離(雞蛋不放一個籃子里).擴容新集群不會對現(xiàn)有存儲服務(wù)造成影響。

缺點:需要業(yè)務(wù)能夠適配這種跨集群模型(跨集群的目錄數(shù)據(jù)不能互通)，單個docker里面最好不要同時掛載兩個以上集群的目錄。k8s的存儲資源調(diào)度復(fù)雜度上升，需要支持多集群。

責(zé)任編輯：xj

原文標(biāo)題：cephfs擴容方案匯總

文章出處：【微信公眾號：Ceph對象存儲方案】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。