IPFS分布式存儲(chǔ)到底有什么神奇之處？

IPFS和Filecoin最近越來(lái)越火，有人說(shuō)，IPFS是互聯(lián)網(wǎng)世界的未來(lái)，還有人說(shuō)，IPFS分布式存儲(chǔ)或成為未來(lái)趨勢(shì)，IPFS到底有什么神奇之處？今天小編姐姐帶來(lái)IPFS愛(ài)好者必讀手冊(cè)，帶大家一探究竟，開(kāi)始！

啥是IPFS？

IPFS是一個(gè)面向全球的、點(diǎn)對(duì)點(diǎn)的分布式版本文件系統(tǒng)，也可以看成是一種去中心化的超媒體分發(fā)協(xié)議。

啥是Filecoin？

Filecoin是一個(gè)由區(qū)塊鏈和原生代幣構(gòu)成的去中心化存儲(chǔ)網(wǎng)絡(luò)，F(xiàn)ilecoin是IPFS的唯一代幣，是運(yùn)行在IPFS上面的激勵(lì)層，用以確保IPFS文件系統(tǒng)所存儲(chǔ)的數(shù)據(jù)安全可靠。

IPFS必讀手冊(cè) IPFS的存儲(chǔ)需求和挑戰(zhàn)

IPFS作為分布式存儲(chǔ)的新興場(chǎng)景，與傳統(tǒng)的分布式存儲(chǔ)場(chǎng)景有著較大的區(qū)別，主要分為性能、可靠性、容量、供應(yīng)、價(jià)格、易維護(hù)性這幾個(gè)方面的需求。

性 能 在性能上主要分為三部分挑戰(zhàn)。 1、sealing大文件大帶寬的封裝寫(xiě)入 2、windowpost針對(duì)所有sector的隨機(jī)讀抽查 3、winingpost出塊權(quán)，針對(duì)贏filecoin的sector進(jìn)行檢驗(yàn)

在sector sealing階段，因IPFS龐大的數(shù)據(jù)封裝寫(xiě)入，有大帶寬的寫(xiě)入需求，每個(gè)文件大小為32G，業(yè)內(nèi)優(yōu)化做的比較好，且與浪潮合作的廠商，如加密矩陣、星河華訊等，能實(shí)現(xiàn)單worker每日封裝2TB-6TB，而每個(gè)存儲(chǔ)集群可接入幾十上百個(gè)worker，故整體對(duì)存儲(chǔ)集群的大文件順序?qū)懭胗袠O高的要求。 在windowpost階段，需要在一天的48個(gè)窗口內(nèi)，對(duì)所有的partition進(jìn)行隨機(jī)抽查，并且在規(guī)定的時(shí)間內(nèi)提交完成，對(duì)存儲(chǔ)讀取的要求，通常需要在3-4分鐘內(nèi)完成。集群總?cè)萘?.5PB以?xún)?nèi)，每個(gè)partition有2349個(gè)sector需要進(jìn)行隨機(jī)檢查，而隨著集群規(guī)模的繼續(xù)增大，每個(gè)partition所含有的sector也會(huì)進(jìn)行增長(zhǎng)，每增加3.5PB容量，單partition會(huì)增加2349個(gè)sector，而對(duì)要求提交的時(shí)間卻仍然為3-4分鐘，故大規(guī)模礦池存儲(chǔ)集群下，windowpost的隨機(jī)讀壓力對(duì)存儲(chǔ)也是有極高的挑戰(zhàn)。 在winningpost階段，針對(duì)出塊的sector，需要進(jìn)行隨機(jī)的抽查，要求在3S左右完成對(duì)隨機(jī)小塊數(shù)據(jù)的讀取，通常為單線(xiàn)程處理，對(duì)存儲(chǔ)小IO隨機(jī)讀取的時(shí)延有非常高的挑戰(zhàn)要求。

可 靠 性 在可靠性方面，為了防止sector因節(jié)點(diǎn)/硬盤(pán)/機(jī)柜等硬件故障而丟失，高可靠的存儲(chǔ)是區(qū)塊鏈服務(wù)供應(yīng)商保證收益的重中之重，一方面是為了保證現(xiàn)有算力的維持，另一方面避免因丟失sector而帶來(lái)的抵押幣損失。 隨著IPFS行業(yè)的發(fā)展，主流區(qū)塊鏈服務(wù)供應(yīng)商已經(jīng)逐步從原始的組裝機(jī)+JBOD的方案轉(zhuǎn)向?qū)I(yè)的企業(yè)級(jí)分布式存儲(chǔ)，通過(guò)糾刪碼、快速重構(gòu)、高可靠硬件等技術(shù)，實(shí)現(xiàn)大規(guī)模sector封裝的零丟失，零懲罰。故障出現(xiàn)后，為保證算力封裝的效率和POST檢查的通過(guò)，不僅要求數(shù)據(jù)不丟失，同時(shí)在集群降級(jí)情況下，不影響業(yè)務(wù)的正常使用，并在短時(shí)間內(nèi)能恢復(fù)。

容 量 在容量方面，截止2021年1月6日，單賬戶(hù)最大封裝的容量已達(dá)到72PB，預(yù)計(jì)未來(lái)在IPFS場(chǎng)景下百PB級(jí)集群將會(huì)越來(lái)越多，這要求存儲(chǔ)在容量上支持百PB級(jí)，甚至EB級(jí)規(guī)模，因此橫向擴(kuò)展、在線(xiàn)擴(kuò)容方面，同樣對(duì)存儲(chǔ)提出了極高的要求和挑戰(zhàn)。

供 應(yīng) 在供應(yīng)方面，主要包含兩大塊。 1、設(shè)備的生產(chǎn)供應(yīng) 2、維保/實(shí)施等服務(wù)的供應(yīng) 首先，因資金的時(shí)間成本，數(shù)據(jù)量寫(xiě)入量大，最終用戶(hù)的時(shí)間要求等因素，IPFS區(qū)塊鏈服務(wù)供應(yīng)商通常要求存儲(chǔ)的供應(yīng)商能夠在接到訂單的1-2周內(nèi)完成發(fā)貨和實(shí)施。因IPFS場(chǎng)景通常每次訂單的規(guī)模少則幾十個(gè)，多則上百個(gè)節(jié)點(diǎn)，對(duì)應(yīng)單次訂單所需要的大容量硬盤(pán)數(shù)量是以千計(jì)的，在供應(yīng)和生產(chǎn)上也是非?？简?yàn)存儲(chǔ)廠商的基本功。 其次，因機(jī)房的分布情況不同，同一家可能在中國(guó)各地有對(duì)應(yīng)的設(shè)備，一旦出現(xiàn)故障，需要有全國(guó)范圍內(nèi)的服務(wù)支持體系去協(xié)助排查和解決問(wèn)題。

價(jià) 格 在價(jià)格方面，為保證足夠高的投資回報(bào)率，IPFS服務(wù)供應(yīng)商對(duì)存儲(chǔ)每TB價(jià)格提出了極高的要求，這要求存儲(chǔ)廠商在滿(mǎn)足基本性能的情況下，針對(duì)IPFS場(chǎng)景的IO模型進(jìn)行調(diào)優(yōu)，并盡可能降低硬件配置，實(shí)現(xiàn)最優(yōu)性?xún)r(jià)比的方案。

易 維 護(hù) 性 在易維護(hù)性方面，因數(shù)據(jù)量和設(shè)備量巨大，涉及到多套存儲(chǔ)集群的統(tǒng)一管理和運(yùn)維，要求存儲(chǔ)集群能夠提供智能化的運(yùn)維管理工具，降低運(yùn)維壓力和成本。

IPFS必讀手冊(cè) 浪潮IPFS解決方案優(yōu)勢(shì)

極 致 性 能 浪潮針對(duì)IPFS場(chǎng)景獨(dú)特的大文件寫(xiě)入，小塊隨機(jī)讀的IO模型進(jìn)行了深入的優(yōu)化，在大帶寬持續(xù)寫(xiě)入，并在降級(jí)重構(gòu)時(shí)，實(shí)現(xiàn)了3分鐘內(nèi)完成windowpost讀取，3S內(nèi)完成winingpost讀取的成果，平均單個(gè)IO時(shí)延響應(yīng)在35ms以下。 首先，通過(guò)針對(duì)Ubuntu 18.04和20.04操作系統(tǒng)進(jìn)行優(yōu)化，縮短標(biāo)準(zhǔn)協(xié)議的IO路徑，并降低因用戶(hù)態(tài)和內(nèi)核態(tài)轉(zhuǎn)換所帶來(lái)的上下文切換開(kāi)銷(xiāo)，相比于通常傳統(tǒng)的掛載延時(shí)降低50%，帶寬提升80%，大幅降低時(shí)空證明讀取時(shí)間，并提高sealing寫(xiě)入速度。 其次，通過(guò)讀寫(xiě)優(yōu)先級(jí)優(yōu)化，避免在大帶寬寫(xiě)入時(shí)，對(duì)時(shí)空證明的時(shí)延影響，保證時(shí)空證明的順利進(jìn)行，降低抵押幣損失風(fēng)險(xiǎn)。 再次，基于NVMe SSD直接裸設(shè)備管理機(jī)制，在縮短IO路徑的同時(shí)提高了數(shù)據(jù)組織管理效率，實(shí)現(xiàn)數(shù)據(jù)與元數(shù)據(jù)的徹底分離，解決了日志疊加日志的設(shè)計(jì)，降低寫(xiě)放大。并優(yōu)化底層的流控機(jī)制，降低IOPS、時(shí)延抖動(dòng)。寫(xiě)性能翻倍，時(shí)延降低50%。 最后，通過(guò)分布式重構(gòu)以及數(shù)據(jù)恢復(fù)QOS技術(shù)，保證在重構(gòu)時(shí)sealing和時(shí)空證明不受影響，并快速恢復(fù)集群至正常狀態(tài)。

極 致 性 價(jià) 比 浪潮針對(duì)IPFS IO模型獨(dú)特優(yōu)化和設(shè)計(jì)后，形成了差異化領(lǐng)先的IPFS存儲(chǔ)解決方案，為客戶(hù)提供更具性?xún)r(jià)比的方案，在保證性能滿(mǎn)足的情況下，綜合成本每TB下降10%-20%。 一方面，借助極致的性能技術(shù)，極限優(yōu)化配置，降低不必要的CPU、內(nèi)存、SSD、導(dǎo)軌等開(kāi)銷(xiāo)，提升單位容量的性?xún)r(jià)比。

浪潮分布式存儲(chǔ)AS13000G5-M60高密節(jié)點(diǎn)（4U60） 另一方面，通過(guò)業(yè)內(nèi)獨(dú)有的4U60高密分布式存儲(chǔ)節(jié)點(diǎn)，相比于傳統(tǒng)的4U36機(jī)型，單盤(pán)平均功耗下降13%，空間利用率提升66%，并提供13類(lèi)部件的熱維護(hù)，顯著提高運(yùn)維效率，降低成本。

極 致 可 靠 浪潮分布式存儲(chǔ)在底層硬件上采用通用的X86服務(wù)器，但在firmware上進(jìn)行了獨(dú)特的加固處理，優(yōu)化異常情況的處理，降低異常處理風(fēng)險(xiǎn)。同時(shí)，在生產(chǎn)上，通過(guò)獨(dú)特的篩盤(pán)機(jī)制，從成千上萬(wàn)塊硬盤(pán)中，篩選出最符合要求的硬盤(pán)，用于分布式存儲(chǔ)的部件，大幅降低機(jī)械硬盤(pán)的故障率。 除此之外，在軟件上，通過(guò)糾刪碼、RAS架構(gòu)、慢盤(pán)檢測(cè)等技術(shù)，大幅提升系統(tǒng)可靠性，已累計(jì)部署超1000套，經(jīng)受過(guò)市場(chǎng)的檢驗(yàn)，并在金融、能源、通信等核心領(lǐng)域廣泛應(yīng)用。在IPFS業(yè)內(nèi)也與如冰河實(shí)驗(yàn)室、星宮數(shù)據(jù)等廠商有合作，可滿(mǎn)足IPFS場(chǎng)景下的存儲(chǔ)需求，方案成熟穩(wěn)定。

極 致 服 務(wù) 浪潮依托于中國(guó)第一，世界前三的服務(wù)產(chǎn)量規(guī)模，能為客戶(hù)提供全球主要國(guó)家地區(qū)的服務(wù)和維保。同時(shí)，依托于全球化的供應(yīng)鏈、智能工廠體系，滿(mǎn)足客戶(hù)在短期內(nèi)大批量的采購(gòu)需求，實(shí)現(xiàn)資金的高效運(yùn)轉(zhuǎn)。 同時(shí)，浪潮支持遠(yuǎn)程的POC測(cè)試環(huán)境，針對(duì)產(chǎn)品的實(shí)際表現(xiàn)若存在疑慮，可申請(qǐng)免費(fèi)的遠(yuǎn)程測(cè)試資源，快速完成驗(yàn)證，避免設(shè)備借物帶來(lái)的運(yùn)輸、時(shí)間上的開(kāi)銷(xiāo)。

極 易 管 理 免費(fèi)贈(zèng)送Inview智能管理平臺(tái)，實(shí)現(xiàn)多套存儲(chǔ)集群的統(tǒng)一監(jiān)控管理，支持歷史性能統(tǒng)計(jì)、磁盤(pán)故障預(yù)測(cè)、性能趨勢(shì)預(yù)測(cè)、容量趨勢(shì)預(yù)測(cè)等功能，并能提供北向API接口被集成。大幅提升客戶(hù)的易用性，并降低運(yùn)維成本。

浪潮InView智能管理平臺(tái)

未來(lái)，隨著5G、AI、大數(shù)據(jù)、區(qū)塊鏈等新技術(shù)的加速普及和商用，數(shù)據(jù)的產(chǎn)生量、產(chǎn)生方式、處理方式將不斷發(fā)生巨大變化，分布式存儲(chǔ)的發(fā)展革新必將成為新數(shù)據(jù)時(shí)代下新存儲(chǔ)解決之道。

正是由于在新存儲(chǔ)產(chǎn)業(yè)領(lǐng)域、新行業(yè)應(yīng)用場(chǎng)景的深厚積累和不斷探索，浪潮存儲(chǔ)收獲了第三方機(jī)構(gòu)的高度認(rèn)可，多次入選Gartner魔力象限和用戶(hù)評(píng)測(cè)報(bào)告。浪潮存儲(chǔ)將繼續(xù)敞開(kāi)胸懷，探索新興場(chǎng)景下的分布式存儲(chǔ)技術(shù)，以新存儲(chǔ)之道釋放數(shù)據(jù)要素價(jià)值，在數(shù)據(jù)存儲(chǔ)領(lǐng)域助力各行業(yè)領(lǐng)域業(yè)務(wù)創(chuàng)新，驅(qū)動(dòng)智慧化轉(zhuǎn)型升級(jí)。

原文標(biāo)題：【科技放大鏡】IPFS 愛(ài)好者必讀手冊(cè)！

文章出處：【微信公眾號(hào)：浪潮存儲(chǔ)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq