0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

分布式全閃架構的演進之路

高端存儲知識 ? 來源:高端存儲知識 ? 2023-11-27 10:12 ? 次閱讀

無共享體系結構 (SNA:Shared-Nothing Architecture) 是一種分布式計算體系結構,其中每個更新請求都由計算機群集中的單個節(jié)點(處理器/內存/存儲單元)滿足。目的是消除節(jié)點之間的爭用。節(jié)點不共享(獨立訪問)相同的內存或存儲。另一種架構是共享所有內容(Shared-Everything),其中請求由任意節(jié)點組合滿足。這可能會引入爭用,因為多個節(jié)點可能會同時尋求更新相同的數據。

ab0ccec4-8cba-11ee-939d-92fbcf53809c.png

這些術語其實首先來自數據庫領域。加州大學伯克利分校的邁克爾·斯通布拉克(Michael Stonebraker)在1986年的一篇數據庫論文(“The Case for Shared Nothing Architecture” ,Database Engineering)中使用了這個術語。Teradata 于 1983 年交付了第一個 SN 數據庫系統(tǒng)。無共享和共享一切架構各有優(yōu)勢。DBMS供應商和行業(yè)分析師經常就此事進行辯論;例如,Microsoft 吹捧其 SQL Server 2005 與 Oracle 10g RAC 的比較。

后來,這個分布式架構,慢慢發(fā)展到了存儲領域。首先體現在分布式文件存儲上。

ab25008e-8cba-11ee-939d-92fbcf53809c.png

2003年,谷歌發(fā)布了GFS白皮書,采用了shared-nothing架構,解決了IBM GPFS的shared-disk帶來的成本和擴展性問題,成為了存儲圈shared-nothing架構的啟蒙。

后來的HDFS還有無數的軟件定義存儲創(chuàng)業(yè)公司,都是參考了GFS的SN架構。

ab35c036-8cba-11ee-939d-92fbcf53809c.png

GPFS也一樣,雖然1998年就推向市場,但最初只支持Shared-Disk架構,2012年才順應潮流,開始支持Shared-Nothing架構。一般來說,Shared-Disk架構有更好的性能,但成本也更高。

從此,SN架構成為了分布式軟件定義存儲的標準架構,至今已經已經有20多年的歷史。全球幾乎所有的分布式軟件定義存儲,99%都是采用SN架構。

但是,2019年,一個叫VAST Data的公司,推出了業(yè)界第一款Shared-Everthing架構的全閃第二存儲,支持文件和對象,號稱$/GB成本比HDD還便宜,成為AI存儲的一匹黑馬,受到了業(yè)界的吹捧。

在2000年,VAST Data更是提出“Shared-Nothing時代的結束”的口號,讓業(yè)界重新思考分布式存儲的架構之爭,就像20年前數據庫架構之爭一樣。

國內的情況也一樣。最近,XSKY星辰天合推出了業(yè)界首款Shared-Everything架構的分布式全閃主存儲星飛XINFINI 9000,支持塊和文件。國內的同行這段時間也在談論,到底軟件定義存儲的經典架構Shared-Nothing時代真的結束了嗎?

其實,Shared-Everything在存儲圈,不是什么新事務,因為高端存儲一開始就是這樣的架構,現在也是。

比如Dell EMC的高端存儲PowerMax最新的Dynamic Fabric架構,就是共享內存和共享NVMe SSD的shared-everything scale-out架構。

但在分布式軟件定義存儲領域,為什么大家都更喜歡shared-nothing架構呢?VAST Data和XSKY為什么拋棄這個經典架構,采用類似高端存儲的shared-everything架構呢?

最開始我也有這樣的問題,因此我收集了大量的資料,分析了業(yè)界主流的全閃存儲架構,從集中式存儲到分布式存儲,得出了很多我自己個人的看法。西瓜哥的個人觀點,雖然僅代表個人思考,但也許你也能從中得到啟發(fā)。

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19286

    瀏覽量

    229852
  • 存儲單元
    +關注

    關注

    1

    文章

    63

    瀏覽量

    16155
  • 計算機
    +關注

    關注

    19

    文章

    7494

    瀏覽量

    87961
  • 內存
    +關注

    關注

    8

    文章

    3025

    瀏覽量

    74055

原文標題:從Shared-Nothing到Shared-Everything:分布式全閃架構的演進與未來

文章出處:【微信號:High-end_Storage,微信公眾號:高端存儲知識】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    分布式軟件系統(tǒng)

    分布式軟件系統(tǒng)分布式軟件系統(tǒng)(Distributed Software Systems)是支持分布式處理的軟件系統(tǒng),是在由通信網絡互聯(lián)的多處理機體系結構上執(zhí)行任務的系統(tǒng)。它包括分布式
    發(fā)表于 07-22 14:53

    一文讀懂分布式架構知識體系(內含超核心知識大圖)

    分布式基礎理論、架構設計模式、工程應用、部署運維、業(yè)界方案這幾大方面,介紹基于 MSA(微服務架構)的分布式知識體系大綱,從而對 SOA 到 MSA 進化有著立體的認識;從概念上和工
    發(fā)表于 10-23 10:02

    分布式系統(tǒng)的優(yōu)勢是什么?

    當討論分布式系統(tǒng)時,我們面臨許多以下這些形容詞所描述的 同類型: 分布式的、刪絡的、并行的、并發(fā)的和分散的。分布式處理是一個相對較新的領域,所以還沒有‘致的定義。與順序計算相比、并行的、并發(fā)的和
    發(fā)表于 03-31 09:01

    集中式電源架構分布式電源架構

    電源,然后經過板上電源模塊轉換到各個目標電源進行使用,電源架構一般有集中式電源架構分布式電源架構。1、集中式電源架構即輸入電壓直接通過隔離
    發(fā)表于 11-15 07:11

    如何高效完成HarmonyOS分布式應用測試?

    作者:liuxun,HarmonyOS測試架構師HarmonyOS是新一代的智能終端操作系統(tǒng),給開發(fā)者提供了設備發(fā)現、設備連接、跨設備調用等豐富的分布式API。隨著越來越多的開發(fā)者投入到
    發(fā)表于 12-13 18:07

    分布式軟總線實現近場設備間統(tǒng)一的分布式通信管理能力如何?

    現實中多設備間通信方式多種多樣(WIFI、藍牙等),不同的通信方式使用差異大,導致通信問題多;同時還面臨設備間通信鏈路的融合共享和沖突無法處理等挑戰(zhàn)。那么分布式軟總線實現近場設備間統(tǒng)一的分布式通信管理能力如何呢?分布式軟總線組件
    發(fā)表于 03-16 11:03

    【學習打卡】OpenHarmony的分布式任務調度

    了,除了串行作業(yè)之外,分布式調度系統(tǒng)也支持并行作業(yè)。分布式系統(tǒng)的架構有以下幾種:1.集中式:通過中央節(jié)點將任務分配給工作節(jié)點或執(zhí)行節(jié)點,并在這些執(zhí)行節(jié)點之間編排任務。2.去中心化:有多個中心節(jié)點,每個
    發(fā)表于 07-18 17:06

    基于MapReduce架構分布式母線保護

    為了解決目前母線保護裝置就地安放時支持間隔少和部分保護性能差的現狀,提出在HSR環(huán)網分布式母線保護的基礎上,引入基于MapReduce架構分布式設計方法。將保護子機分為調度節(jié)點和任務節(jié)點,對母線
    發(fā)表于 04-03 15:52 ?1次下載
    基于MapReduce<b class='flag-5'>架構</b>的<b class='flag-5'>分布式</b>母線保護

    什么是分布式系統(tǒng)_分布式系統(tǒng)的類型

     什么是分布式系統(tǒng)(以及分布式系統(tǒng)架構的優(yōu)缺點)現在的架構很多,各種各樣的,如高并發(fā)架構、異地多活架構
    發(fā)表于 05-25 17:43 ?8055次閱讀

    基于分布式仿真系統(tǒng)的實時通訊架構

    基于分布式仿真系統(tǒng)的實時通訊架構
    發(fā)表于 06-19 14:55 ?11次下載

    什么是分布式系統(tǒng) 分布式架構有哪些

    什么是分布式系統(tǒng)? 1.分布式系統(tǒng)一定是由多個節(jié)點組成的系統(tǒng)。 2.這些連通的節(jié)點上部署了我們的節(jié)點,并且相互的操作會有協(xié)同。 隨著應用架構演進,
    的頭像 發(fā)表于 07-31 09:54 ?7536次閱讀

    浪潮信息發(fā)布新一代G6分布式存儲

    分布式存儲全球前三、中國第一的浪潮存儲,本次會上推出了新一代G6分布式存儲,以極簡架構為核心,打造EB級極致容量、億級IOPS極致性能等
    的頭像 發(fā)表于 04-19 09:42 ?1653次閱讀

    星辰天合發(fā)布全新一代分布式存儲,英特爾? QAT及英特爾? DSA助其提供非凡性能

    ◇ 近日,英特爾的合作伙伴北京市星辰天合科技股份有限公司(簡稱:XSKY 星辰天合)舉辦了主題為“星星之火”的 XSKY 星海架構暨星飛存儲發(fā)布會,發(fā)布了分布式
    的頭像 發(fā)表于 11-24 20:00 ?920次閱讀
    星辰天合發(fā)布全新一代<b class='flag-5'>全</b><b class='flag-5'>閃</b><b class='flag-5'>分布式</b>存儲,英特爾? QAT及英特爾? DSA助其提供非凡性能

    什么是分布式架構?

    分布式架構是指將一個系統(tǒng)或應用拆分成多個獨立的節(jié)點,這些節(jié)點通過網絡連接進行通信和協(xié)作,以實現共同完成任務的一種架構模式。這種架構模式旨在提高系統(tǒng)的可擴展性、可靠性和性能表現。 一、
    的頭像 發(fā)表于 01-12 15:04 ?1244次閱讀
    什么是<b class='flag-5'>分布式</b><b class='flag-5'>架構</b>?

    分布式通信的原理和實現高效分布式通信背后的技術NVLink的演進

    大型模型的大小已經超出了單個 GPU 的范圍。所以就需要實現跨多個 GPU 的模型訓練,這種訓練方式就涉及到了分布式通信和 NVLink。 當談及分布式通信和 NVLink 時,我們進入了一個引人入勝且不斷演進的技術領域,下面我
    的頭像 發(fā)表于 11-18 09:39 ?453次閱讀
    <b class='flag-5'>分布式</b>通信的原理和實現高效<b class='flag-5'>分布式</b>通信背后的技術NVLink的<b class='flag-5'>演進</b>