0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

打造大規(guī)模共享閃存基礎架構

存儲D1net ? 來源:lp ? 2019-04-16 17:18 ? 次閱讀

從概念上講,RSI為不同的架構整合服務器部件(CPU、GPU、存儲系統(tǒng)、內存和網(wǎng)絡),使每個部件都能夠在標準機架設備中進行調整和升級,通過高容量/低延遲PCIe鏈路進行連接。在這上面安裝虛擬服務器軟件,可以利用一個個機架級部件構建虛擬服務器,并且你擁有了一種意義重大的配置,使企業(yè)基礎架構能夠與云服務相競爭。

不過,在網(wǎng)絡上使用非易失性內存和存儲系統(tǒng)通常意味著不可接受的延遲。斯坦福大學團隊的ReFlex(軟件存儲服務器 )這時就有了用武之地。

ReFlex

使遠程閃存訪問可以接受面臨幾個難題,最大的難題是實現(xiàn)低延遲。

管理共享閃存池中的多租戶需要隔離機制,那樣應用程序不會干擾對方。共享閃存方面最好具有高度靈活性,預計還會遇到其他部署問題,比如規(guī)模和網(wǎng)絡協(xié)議。

斯坦福大學的團隊在測試中發(fā)現(xiàn),ReFlex獲得的遠程閃存性能相當于使用TCP/IP基于10Gb以太網(wǎng)的本地閃存訪問。他們解釋道:“ReFlex使用一種緊密集成網(wǎng)絡和存儲的新型數(shù)據(jù)平面內核,在計算要求有限的情況下實現(xiàn)了高性能。這種數(shù)據(jù)平面設計避免了中斷和數(shù)據(jù)拷貝的開銷,針對局部性進行了優(yōu)化,并兼顧了高吞吐量(IOPS)和低尾延遲?!?/p>

多租戶

閃存設備上多租戶的一大問題是,讀取性能和寫入性能之間存在巨大的差異。寫入可能需要幾毫秒,而讀取是亞毫秒級事務。這意味著執(zhí)行大量寫入操作的應用(比如元數(shù)據(jù)更新或流視頻)耗用NVMe設備的大量資源。

斯坦福大學的團隊實施了QoS調度程序,它可以全面了解所有租戶的整個工作負載。最大的IOPS取決于所有請求的讀取/寫入比。調度程序查看每個工作負載的服務級別目標(SLO),優(yōu)先考慮注重延遲的應用而不是盡力的應用,并確保應用的SLO得到實現(xiàn)。

由于諸如此類的優(yōu)化,ReFlex能夠做到每個核心提供高達850K的IOPS,同時僅比直接訪問本地閃存增加21μs的延遲。這非常好。

英特爾的遠見卓識者多年來一直在倡導RSI概念,但看起來正是在2018年,所有必要部分(尤其是PCIe v4)匯集起來,使這個概念在技術上和經(jīng)濟上都切實可行。隨著閃存價格暴跌,塞滿閃存的機架比以往任何時候都更經(jīng)濟實惠,哪怕是數(shù)百TB的閃存。

這對我們數(shù)據(jù)密集型的未來來說是好消息。是否有任何企業(yè)存儲供應商使類似ReFlex的技術實現(xiàn)產(chǎn)品化值得拭目以待。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標題:打造大規(guī)模共享閃存基礎架構

文章出處:【微信號:D1Net11,微信公眾號:存儲D1net】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    小米澄清年底大規(guī)模裁員傳聞

    近日,網(wǎng)絡上流傳著一條關于小米公司將在年底進行大規(guī)模裁員的傳聞,引起了廣泛關注。針對這一傳聞,小米集團公關部總經(jīng)理王化在個人社交平臺上進行了正式回應,以澄清事實。 王化指出,有關小米年底將進行大規(guī)模
    的頭像 發(fā)表于 12-26 10:46 ?198次閱讀

    芯訊通NB-IoT模組E7025 R3實現(xiàn)大規(guī)模部署

    的性能、低功耗和廣泛的應用場景等特質,在東南亞、印度等市場受到客戶一致好評,在智能表計、遠程控制、資產(chǎn)跟蹤、遠程監(jiān)控、遠程醫(yī)療、共享單車等應用場景中實現(xiàn)了大規(guī)模部署。
    的頭像 發(fā)表于 12-09 16:56 ?550次閱讀

    使用EMBark進行大規(guī)模推薦系統(tǒng)訓練Embedding加速

    推薦系統(tǒng)是互聯(lián)網(wǎng)行業(yè)的核心系統(tǒng),如何高效訓練推薦系統(tǒng)是各公司關注的核心問題。目前,推薦系統(tǒng)基本上都是基于深度學習的大規(guī)模 ID 類模型,模型包含數(shù)十億甚至數(shù)百億級別的 ID 特征,典型結構如圖 1 所示。
    的頭像 發(fā)表于 10-31 14:46 ?227次閱讀
    使用EMBark進行<b class='flag-5'>大規(guī)模</b>推薦系統(tǒng)訓練Embedding加速

    Zettabyte與緯創(chuàng)攜手打造臺灣首個超大規(guī)模AI數(shù)據(jù)中心

    在推動亞太地區(qū)AI計算領域邁向新紀元的征程中,Zettabyte與緯創(chuàng)資通(Wistron Corporation)攜手宣布了一項重大合作——共同建設臺灣地區(qū)首個超大規(guī)模AI數(shù)據(jù)中心,這一里程碑式的項目不僅標志著臺灣AI基礎設施的飛躍,也預示著亞太區(qū)AI計算格局的深刻變革。
    的頭像 發(fā)表于 09-05 16:26 ?435次閱讀

    SK海力士加速NAND研發(fā),400+層閃存量產(chǎn)在即

    韓國半導體巨頭SK海力士正加速推進NAND閃存技術的革新,據(jù)韓媒最新報道,該公司計劃于2025年末全面完成400+層堆疊NAND閃存的量產(chǎn)準備工作,并預計于次年第二季度正式開啟大規(guī)模生產(chǎn)。這一舉措標志著SK海力士在NAND
    的頭像 發(fā)表于 08-02 16:56 ?1126次閱讀

    SAS 24G+規(guī)范發(fā)布,為超大規(guī)模數(shù)據(jù)中心HDD和SSD

    最新發(fā)布的SAS 24G+規(guī)范中得到了有力證明。該規(guī)范由SNIA SCSI貿易協(xié)會論壇(STA)與INCITS/SCSI標準組織攜手推出,專為下一代超大規(guī)模數(shù)據(jù)中心中的機械硬盤(HDD)與固態(tài)硬盤(SSD)量身打造。
    的頭像 發(fā)表于 07-25 15:13 ?814次閱讀

    谷歌云部門進行大規(guī)模裁員

    谷歌云部門近日進行了大規(guī)模裁員,多個Cloud團隊的員工收到了工作取消的通知。據(jù)一名知情員工透露,盡管受影響員工的總人數(shù)尚未明確,但亞太地區(qū)“Go To Market”團隊約有100名員工被裁。
    的頭像 發(fā)表于 06-05 09:48 ?657次閱讀

    Arm計劃2025年大規(guī)模銷售AI芯片

    軟銀集團旗下的英國芯片巨頭Arm近日公布了其雄心勃勃的AI芯片銷售計劃。該公司宣布,計劃到2025年實現(xiàn)AI芯片的大規(guī)模銷售,以進一步鞏固其在全球芯片市場的領先地位。
    的頭像 發(fā)表于 05-20 10:48 ?647次閱讀

    專用集成電路都是大規(guī)模的嗎為什么呢

    的集成度和性能優(yōu)勢。然而,并非所有專用集成電路都是大規(guī)模的,因為集成度的大小取決于設計和制造的要求。 在探討專用集成電路是否大規(guī)模之前,我們首先需要了解什么是大規(guī)模集成電路(Very Large Scale Integratio
    的頭像 發(fā)表于 04-21 09:15 ?556次閱讀

    專用集成電路都是大規(guī)模的嗎

    Integrated Circuit,簡稱GPIC)相比,專用集成電路更加定制化和特定化,因此常被視為大規(guī)模的集成電路。但是,并不是所有的專用集成電路都是大規(guī)模的,這取決于具體的設計需求和應用場景。 在
    的頭像 發(fā)表于 04-19 14:39 ?509次閱讀

    專用集成電路都是大規(guī)模的嗎為什么

    Integrated Circuit, GPIC)相比,ASIC針對特定的應用程序進行了優(yōu)化和定制,以實現(xiàn)更高的性能、更低的功耗和更小的面積。 專用集成電路之所以通常是大規(guī)模的,是因為它們需要集成
    的頭像 發(fā)表于 04-14 10:48 ?607次閱讀

    專用集成電路都是大規(guī)模的嗎對嗎

    。與通用型集成電路(General Purpose Integrated Circuit,簡稱GPIC)相比,專用集成電路在特定的應用領域中更為專注和高效。在關于專用集成電路是否都是大規(guī)模的這個問題上,答案
    的頭像 發(fā)表于 04-14 10:45 ?543次閱讀

    大規(guī)模數(shù)據(jù)中心網(wǎng)絡演進的七大主流趨勢

    自動駕駛已經(jīng)變成可能,大規(guī)模應用只是一個時間問題。大規(guī)模網(wǎng)絡運維的自動化也必然是業(yè)界的趨勢,要達到自動駕駛或自動化運維都需要兩個共同的條件:一是有足夠有效的數(shù)據(jù),二是要有對數(shù)據(jù)的智能分析和處理能力。
    發(fā)表于 03-11 11:21 ?518次閱讀

    大規(guī)模儲能-堿性水系鈉離子電池開發(fā)

    當前,對大規(guī)模儲能的需求不斷增長,推動了具有安全性、環(huán)保性和低成本的電池系統(tǒng)的開發(fā)。
    的頭像 發(fā)表于 01-24 09:29 ?1320次閱讀
    <b class='flag-5'>大規(guī)模</b>儲能-堿性水系鈉離子電池開發(fā)

    谷歌YouTube部門進行大規(guī)模內部調整,裁員約100人

    根據(jù)Tubefilter獲得的一份內部備忘錄,谷歌YouTube部門正在進行大規(guī)模的內部調整,其中包括裁員約100人。
    的頭像 發(fā)表于 01-18 18:29 ?1558次閱讀