0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

剖析混合存儲陣列的優(yōu)勢,以及最適合混合存儲的各種數(shù)據(jù)類型

存儲界 ? 2018-01-08 12:34 ? 次閱讀

大多數(shù)企業(yè)都同時擁有多種類型的數(shù)據(jù),每種數(shù)據(jù)在容量和應(yīng)用程序訪問性能等方面的需求優(yōu)先級各不相同。由于需要服務(wù)于不同的數(shù)據(jù)存儲需求,大多數(shù)大型數(shù)據(jù)中心都會同時使用多種類型的存儲設(shè)施。鑒于成本問題,很少有企業(yè)能夠(不計成本地)將全部數(shù)據(jù)都放在市場上能買到的最快但也最昂貴的閃存存儲中,因此混合使用閃存和硬盤驅(qū)動器的混合陣列將是許多數(shù)據(jù)中心的主要存儲構(gòu)成。

混合存儲陣列整合了多種類型的存儲元素,能在滿足對應(yīng)多種數(shù)據(jù)優(yōu)先級需求的同時實現(xiàn)成本控制。隨著混合存儲的不斷發(fā)展,能整合的存儲類型范圍已經(jīng)不僅限于閃存和硬盤,還擴大到包括多層閃存、多層硬盤、磁帶、對象和基于云的存儲,這些存儲都被鏈接到單一和透明的虛擬存儲基礎(chǔ)架構(gòu)中,整套架構(gòu)可以針對每種類型的數(shù)據(jù)和應(yīng)用程序優(yōu)先級自動提供最佳的性能。

本篇文章提供的使用場景剖析可幫助您更好地了解混合存儲陣列的優(yōu)勢,以及最適合混合存儲的各種數(shù)據(jù)類型。這些信息可以讓您更好地設(shè)定使用場景,從而明確采購選型需求。

混合存儲陣列適合那些數(shù)據(jù)類型?

實時的事務(wù)處理大數(shù)據(jù)。實時數(shù)據(jù)通常具備活躍和持久的特性;當(dāng)用戶執(zhí)行搜索、銷售分析或其它動作時,數(shù)據(jù)庫或其他使用實時數(shù)據(jù)的應(yīng)用程序也會同時驅(qū)動數(shù)據(jù)流轉(zhuǎn)。自動化分層軟件通常會盡量將所有活躍數(shù)據(jù)保留在盡可能高的層,但是管理員可能希望單獨指定一些數(shù)據(jù)庫、分區(qū)或數(shù)據(jù)卷,讓這些數(shù)據(jù)集中保存在一個特定的層,以確保某些應(yīng)用獲得低延遲。如果某些數(shù)據(jù)在一段時間內(nèi)不再活躍,這些數(shù)據(jù)將向較低級的存儲層遷移。

對于大數(shù)據(jù)、數(shù)據(jù)湖或其他大型數(shù)據(jù)集,將數(shù)據(jù)保存在云中的舉措值得嘗試,分層體系就可根據(jù)需要在熱、溫、冷云存儲之間移動數(shù)據(jù)。

典型的文件服務(wù)器數(shù)據(jù)。存儲在文件服務(wù)器上的常見數(shù)據(jù)類型,包括文本、文字處理數(shù)據(jù)、電子表格和演示幻燈片,這些數(shù)據(jù)很少需要閃存的速度。文檔或文件被加載到用戶終端后,用戶輸入數(shù)據(jù)的帶寬通常只是每秒幾個字符的數(shù)量級別,根本不需要亞微秒的響應(yīng)時間。即使正在渲染的特效或光線追蹤圖形、或正在編譯的大型程序的性能都受到CPU或圖形處理能力的限制,數(shù)據(jù)訪問的速度并不是瓶頸。例外情況即使存在也不會太多,完全可以由管理員單獨處理。

數(shù)據(jù)流。數(shù)據(jù)流的關(guān)鍵定義是:可預(yù)測和連續(xù)性,因此數(shù)據(jù)流不需要閃存的低延遲和隨機存取能力。即使是被大量用戶同時訪問的流式傳輸數(shù)據(jù)也非常容易對付,無需使用大量Flash就能獲得最優(yōu)化的性能。另外,數(shù)據(jù)流通常意味著文件尺寸和數(shù)量都很大,因此數(shù)據(jù)流會大量占用和消耗存儲空間,并成為低層存儲的理想負(fù)載類型。

虛擬系統(tǒng)數(shù)據(jù)。與流式數(shù)據(jù)相比,閃存存儲的最適合的負(fù)載應(yīng)該是虛擬服務(wù)器和虛擬桌面基礎(chǔ)架構(gòu)(VDI)。這些數(shù)據(jù)類型可以充分利用閃存的低延遲特性,并提供重復(fù)數(shù)據(jù)刪除功能,因為許多虛擬機(VM)與其他虛擬機之間具備極高的數(shù)據(jù)重復(fù)比例。例如,一個擁有100個Windows虛擬機的VDI系統(tǒng)中,每個客戶機可能和其它虛擬機有99%的相同數(shù)據(jù),可實現(xiàn)的重復(fù)數(shù)據(jù)刪除率接近100:1,因此100個虛擬機只需占用比1個虛擬機略多一點的存儲空間。閃存存儲速度足以支持重復(fù)數(shù)據(jù)刪除并輕松處理典型的VDI部署的峰值負(fù)載,例如,用戶在上午8點登錄,在中午注銷午餐,下午1點重新登錄,并在下午5點重新登錄。

在不同層之間遷移數(shù)據(jù)

自動分層軟件對用戶和管理員來說是透明的。出現(xiàn)在同一目錄中的兩個文件實際上可能位于存儲系統(tǒng)的不同層,甚至可能位于不同的系存儲統(tǒng)或數(shù)據(jù)中心。存儲虛擬化軟件能識別很少使用的文件并將其移動到速度較慢、較便宜的存儲設(shè)備上,同時保留占位符以告知系統(tǒng)文件保存的位置。如果用戶打開該文件,則系統(tǒng)會自動從較慢的存儲中提取文件,并將其移回更快的層。

一些最早的自動化分層系統(tǒng)完全基于數(shù)據(jù)的活躍程度執(zhí)行分層動作。例如,在設(shè)定的時間區(qū)間內(nèi),如果文件未被打開或更改,則該文件被移動到較低層;如果用戶在此期間打開過該文件,則該文件被移動到較高層。如今有些存儲系統(tǒng)仍在以這種方式工作。有些系統(tǒng)會增加預(yù)測算法來遷移關(guān)聯(lián)數(shù)據(jù),例如,打開文件夾中的一個文件的用戶很可能會需要獲取同一目錄中的其余數(shù)據(jù)。還有些系統(tǒng)在數(shù)據(jù)塊層級而不是文件級移動數(shù)據(jù),這種方式適合常見的對大文件執(zhí)行少部分操作的場景,在數(shù)據(jù)塊級執(zhí)行分層處理可以使文件不需要讀寫的部分繼續(xù)保存在較慢的存儲空間中。只有修改頻繁的塊才會保留在更快的層上。

許多指標(biāo)可以被用于確定數(shù)據(jù)應(yīng)該存放的數(shù)據(jù)層,包括服務(wù)等級協(xié)議、僅在本季度末搜索的數(shù)據(jù)、應(yīng)具有最大冗余的關(guān)鍵數(shù)據(jù)以及需要極高吞吐量的數(shù)據(jù)。自動分層軟件可能無法正確處理這些數(shù)據(jù),因此可以考慮手動指派特定的層。

無論是通過閃存陣列自帶的功能,還是單獨購買的軟件來實現(xiàn),存儲管理軟件適應(yīng)復(fù)雜場景的能力決定了管理員處理各類特殊分層要求的操作方式。一些混合存儲陣列可以讓管理員設(shè)定針對特定文件或目錄樹的響應(yīng)時間、吞吐量和延遲的最低限制,并自動確保分層處理滿足這些最低要求,其他系統(tǒng)則無法提供這種承諾。同樣,某些系統(tǒng)可以按特定的時間間隔遷移數(shù)據(jù),以便在季末結(jié)算工作開展之前先將數(shù)據(jù)遷移到更高層,或者將某些文件或目錄永久保存在指定的層。

混合存儲陣列能同時提供閃存的速度和低延遲,以及HDD,磁帶或云的經(jīng)濟性。它們必然比全閃存或全HDD系統(tǒng)復(fù)雜,但靈活性和低成本的優(yōu)勢使其值得納入選型評估。從起價低于1000美元的NAS盒子到100萬美元的企業(yè)級系統(tǒng),大多數(shù)供應(yīng)商都開始提供某種形式的混合存儲。管理員應(yīng)該熟悉這些系統(tǒng)的工作方式,選擇有潛力的技術(shù)為IT組織節(jié)省大量資金。

分層軟件是如何運作的

分層軟件是混合存儲系統(tǒng)的核心,它可以自動將最常訪問的數(shù)據(jù)放在最快的層,甚至包含更復(fù)雜的系統(tǒng)邏輯,這些系統(tǒng)可以主動預(yù)判和抓取相關(guān)數(shù)據(jù),并根據(jù)需要將數(shù)據(jù)在不同層之間移動。雖然也可以用手動操作的方式將數(shù)據(jù)分層到不同類型存儲的容器,但是移動數(shù)據(jù)會占用管理員的大量工作時間,從長遠(yuǎn)來看,人力成本的耗費可能會超出分層軟件的價錢。

管理員也可以單獨購買分層軟件創(chuàng)建自己的混合存儲系統(tǒng)。但是,考慮到管理員學(xué)習(xí)軟件和部署組合軟件和硬件的時間,購買散件自己組裝仍然不具備成本優(yōu)勢。除非已經(jīng)擁有了可用于某些分層的存儲設(shè)施,這種情況下利用現(xiàn)有資源搭建分層存儲就是更經(jīng)濟有效的選擇。

除了最常見的具有一層閃存和一層硬盤存儲的兩層系統(tǒng)之外,管理員可能還要考慮更多分層。例如,即使在閃存的范圍內(nèi),也存在存儲器總線閃存,非易失性存儲器快速閃存(NVMe),寫入優(yōu)化的閃存和讀取優(yōu)化的閃存,以上每種閃存都比前一種閃存更便宜,但性能也更有限。還有多層HDD存儲——不僅包括15,000 RPM、10,000 RPM和7,200 RPM驅(qū)動器,還可以選擇在不使用驅(qū)動器的時候關(guān)閉驅(qū)動器,甚至在HDD上運行對象存儲。不要忘記更下游還有磁帶和云存儲,每GB的成本更低,當(dāng)然響應(yīng)時間也更慢。

雖然實際的統(tǒng)計數(shù)據(jù)可能會有所不同,但是80/20規(guī)則對于考慮層級是很有效的:寫入存儲系統(tǒng)的新數(shù)據(jù)中的80%大約有30天的活躍周期,然后就很少被訪問。活躍數(shù)據(jù)中的20%會長期保持活躍,應(yīng)該固定在最快的存儲空間上,其余的可以在30天后遷移到較便宜的存儲空間,在必要時才存回更快速的存儲層。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    16

    文章

    4785

    瀏覽量

    72152
  • 混合存儲
    +關(guān)注

    關(guān)注

    0

    文章

    5

    瀏覽量

    50447

原文標(biāo)題:混合存儲陣列整合多層存儲降低成本

文章出處:【微信號:cunchujie,微信公眾號:存儲界】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    LabVIEW的數(shù)據(jù)類型、存儲格式

    不同操作系統(tǒng)下的存儲格式。提示:簇可以直接嵌套簇,簇間接存儲數(shù)據(jù)(指針)只有數(shù)組、字符串或路徑這三種數(shù)據(jù)類型。下圖顯示簇(元素兩個標(biāo)量數(shù)字加一個數(shù)組)和簇(元素為一個帶兩個標(biāo)量數(shù)字的
    發(fā)表于 12-19 15:36

    LabVIEW的數(shù)據(jù)類型、存儲格式

    不同操作系統(tǒng)下的存儲格式。提示:簇可以直接嵌套簇,簇間接存儲數(shù)據(jù)(指針)只有數(shù)組、字符串或路徑這三種數(shù)據(jù)類型。下圖顯示簇(元素兩個標(biāo)量數(shù)字加一個數(shù)組)和簇(元素為一個帶兩個標(biāo)量數(shù)字的
    發(fā)表于 12-19 15:37

    Labview各種數(shù)據(jù)類型

    Labview各種數(shù)據(jù)類型
    發(fā)表于 12-11 11:27

    超實用的讀寫ini文件VI,支持各種數(shù)據(jù)類型,

    支持各種數(shù)據(jù)類型的讀寫ini文件
    發(fā)表于 02-18 09:58

    高效益成本的混合存儲方案

    和運行速度。SATA HDD設(shè)置成擴展盤,安全數(shù)據(jù)存儲,增大容量空間。二、SATA HDD + SSD混合模式 SFF-8087接口,提高連接穩(wěn)定與便捷性,磁盤自由組合,三種陣列方案,
    發(fā)表于 01-16 11:37

    如何獲取F28335各種數(shù)據(jù)類型所占的字節(jié)數(shù)?

    如何獲取F28335各種數(shù)據(jù)類型所占的字節(jié)數(shù)?
    發(fā)表于 10-22 06:59

    C語言各種數(shù)據(jù)類型的內(nèi)存映像

    ? C語言各種數(shù)據(jù)類型的內(nèi)存映像(32位平臺): 0 signed char ? #include?stdio.hint?main(){????char?min?=?17;????char?max
    的頭像 發(fā)表于 07-06 14:49 ?1030次閱讀

    細(xì)說redis十種數(shù)據(jù)類型及底層原理

    string 是 Redis 最基本的數(shù)據(jù)類型,它可以存儲任意類型數(shù)據(jù),比如文本、數(shù)字、圖片或者序列化的對象。一個 string 類型的鍵
    的頭像 發(fā)表于 05-15 11:21 ?1891次閱讀
    細(xì)說redis十<b class='flag-5'>種數(shù)據(jù)類型</b>及底層原理

    Verilog最常用的2種數(shù)據(jù)類型

    Verilog 最常用的 2 種數(shù)據(jù)類型就是線網(wǎng)(wire)與寄存器(reg),其余類型可以理解為這兩種數(shù)據(jù)類型的擴展或輔助。
    的頭像 發(fā)表于 05-29 16:27 ?2347次閱讀
    Verilog最常用的2<b class='flag-5'>種數(shù)據(jù)類型</b>

    【虹科方案】SAN存儲連接的首選:QXS 混合存儲靈活連接解決方案

    -混合存儲連接解決方案-01背景“混合存儲是一種用于存儲數(shù)字數(shù)據(jù)的解決方案,它將提供卓越性能并實
    的頭像 發(fā)表于 03-30 13:53 ?1307次閱讀
    【虹科方案】SAN<b class='flag-5'>存儲</b>連接的首選:QXS <b class='flag-5'>混合</b><b class='flag-5'>存儲</b>靈活連接解決方案

    【虹科方案】SAN存儲連接的首選:QXS 混合存儲靈活連接解決方案

    -混合存儲連接解決方案-01背景“混合存儲是一種用于存儲數(shù)字數(shù)據(jù)的解決方案,它將提供卓越性能并實
    的頭像 發(fā)表于 03-31 14:26 ?660次閱讀
    【虹科方案】SAN<b class='flag-5'>存儲</b>連接的首選:QXS <b class='flag-5'>混合</b><b class='flag-5'>存儲</b>靈活連接解決方案

    PostgreSQL中可用的各種數(shù)據(jù)類型

    PostgreSQL是一種功能強大的開源關(guān)系型數(shù)據(jù)庫管理系統(tǒng),具有廣泛的數(shù)據(jù)類型支持。在本教程中,我們將介紹PostgreSQL中可用的各種數(shù)據(jù)類型,包括數(shù)值、字符串、幾何、時間、日期、布爾、貨幣
    的頭像 發(fā)表于 09-19 14:08 ?4319次閱讀

    Redis的數(shù)據(jù)類型有哪些

    用的一種數(shù)據(jù)類型,普通的key- value 存儲都可以歸為此類。其中Value既可以是數(shù)字也可以是字符串。使用場景:常規(guī)key-value緩存應(yīng)用。常規(guī)計數(shù): 微博數(shù), 粉絲數(shù)。 2、Hash:Hash 是一個鍵值(
    的頭像 發(fā)表于 10-09 10:51 ?810次閱讀

    redis的五種數(shù)據(jù)類型

    Redis是一種高性能的內(nèi)存數(shù)據(jù)庫,常用于緩存、任務(wù)隊列、分布式鎖等場景。它提供了多種數(shù)據(jù)類型來滿足各種不同的需求,包括字符串(string)、哈希(hash)、列表(list)、集合(set
    的頭像 發(fā)表于 11-16 11:06 ?660次閱讀

    oracle的數(shù)據(jù)類型有哪些

    Oracle數(shù)據(jù)庫中有許多數(shù)據(jù)類型可供選擇,每種數(shù)據(jù)類型都有其各自的特點和適用場景。下面是對Oracle數(shù)據(jù)庫中最常用的數(shù)據(jù)類型的詳盡說明,
    的頭像 發(fā)表于 12-05 16:45 ?2442次閱讀