哪些應用場景適合云存儲?存儲虛擬化、分布式存儲、對象存儲這幾種技術主要解決什么問題?技術產(chǎn)品選型如何考慮?
|| 企業(yè)哪些應用場景適合借助云存儲來實現(xiàn)?
傳統(tǒng) IT 環(huán)境中使用傳統(tǒng)存儲的困境有那些?那些應用場景是傳統(tǒng)存儲不能滿足而必須借助云存儲來實現(xiàn)的?
分享一:
1、虛擬機存儲
虛擬機存儲是云計算平臺中運行的虛擬機以及虛擬機鏡像的存儲環(huán)境,主要特點包括:
1) 文件較大,一般為 10G 以上;
2) 單個虛擬機的 IOPS 和帶寬要求低,一般在幾十以內(nèi);
3) 可用性要求較高。
一般來說,在云計算環(huán)境下會存在大量的虛擬機,少則上千臺,多則幾萬臺甚至幾十萬臺,雖然單臺虛擬機所需資源較少,但是量變帶來質(zhì)變,整體對于存儲的性能需求極高,該場景下為了滿足所有虛擬機訪問帶來的帶寬要求,使用傳統(tǒng)存儲的解決方案需要購置多套 SAN 或者 NAS 存儲設備并分別部署,顯然價格較貴。
云存儲可構(gòu)建統(tǒng)一的資源池,并能夠動態(tài)擴展資源,并有效提升存儲資源的管理和使用效率。結(jié)合虛擬機存儲的使用特點,存儲資源池可使用 SAS 接口的磁盤甚至 SATA 接口的磁盤。
2、非結(jié)構(gòu)化數(shù)據(jù)存儲
業(yè)務系統(tǒng)在運行過程中,一般會生成一些非結(jié)構(gòu)化的數(shù)據(jù),包括記錄的系統(tǒng)運行日志、生成的一些臨時文件等。該類型數(shù)據(jù)的特點包括:
1) 文件大小中等,一般幾十 MB 到幾百 MB 不等;
2) IOPS 和帶寬要求低,一般是連續(xù)讀寫;
3) 可用性要求較高。
該類型的應用場景類似于虛擬機存儲,差別主要在于虛擬機主要表現(xiàn)為隨機訪問,非結(jié)構(gòu)化數(shù)據(jù)主要表現(xiàn)為連續(xù)訪問。另外,該場景下的文件數(shù)量會非常大,文件大小也差別較大,從幾 MB 到數(shù) GB 都會有。
因此,云存儲也可很好的滿足上述要求,使用廉價 SAS 和 SATA 磁盤滿足大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的存儲,并提供良好的擴展性。
3、數(shù)據(jù)庫存儲
業(yè)務系統(tǒng)運行過程中另外一個典型的存儲應用就是關系型數(shù)據(jù)庫,基本上所有的業(yè)務系統(tǒng)均需要存儲用戶基本信息、參數(shù)信息、業(yè)務交易信息等內(nèi)容。結(jié)合數(shù)據(jù)庫使用的不同場景,包括聯(lián)機業(yè)務數(shù)據(jù)庫、批量業(yè)務數(shù)據(jù)庫和參數(shù)庫,相關的主要特點如下:
1)聯(lián)機業(yè)務數(shù)據(jù)庫:面向?qū)崟r交易業(yè)務處理過程中的數(shù)據(jù)存儲和訪問,主要特點包括業(yè)務訪問并發(fā)量很高、實時性和可用性很高、每天數(shù)據(jù)量較大等,數(shù)據(jù)表內(nèi)容可達到幾千萬甚至幾億條記錄;
2)批量業(yè)務數(shù)據(jù)庫:面向交易業(yè)務處理過程中的非實時數(shù)據(jù)處理,比如說基于歷史數(shù)據(jù)的統(tǒng)計分析,主要特點包括業(yè)務訪問并發(fā)量不高、訪問數(shù)據(jù)量較多、實時性較高等;
3)參數(shù)庫:面向業(yè)務處理過程中關聯(lián)的用戶信息、商戶信息、業(yè)務參數(shù)等內(nèi)容,主要特點包括數(shù)據(jù)增加緩慢、業(yè)務訪問并發(fā)量不高、實時性較高等。
云存儲結(jié)合固態(tài)硬盤 SSD 的應用,完全可以滿足數(shù)據(jù)庫應用場景下的帶寬和 IOPS 方面的性能要求。
分享二:
首先說下傳統(tǒng)存儲(包括 DAS 存儲、NAS 存儲、SAN 存儲等)的困境,主要是管理不方便,容量擴展麻煩,從成本上考慮硬件成本和維護成本都很高。
如果使用云存儲,優(yōu)點還是很明顯的,開箱即用,擴容也比較簡單。
至于哪些場景的話,主要是多媒體,音樂,圖片,視頻監(jiān)控文件,軟件,鏡像,掃描件等其他海量文件的存儲,這些都可以使用,主要還是易用性跟性價比。
分享三:
從架構(gòu)來看,云存儲比緊耦合設計的傳統(tǒng)存儲有更好的橫向擴展性,這樣在容量和性能上有更大的彈性,另外云存儲采用的糾刪碼技術也可以提供較之于傳統(tǒng) RAID 更高的可靠性,可以應對多個數(shù)據(jù)節(jié)點的同時失效。再者基于 x86 架構(gòu)的分布式云存儲較之于傳統(tǒng)機柜式存儲有更靈活的部署方式。市面上的云存儲普遍采用低速 sata 盤,實際上,對于沒有高性能要求的非交易型系統(tǒng),對于這些系統(tǒng)產(chǎn)生的海量非結(jié)構(gòu)化數(shù)據(jù),云存儲是個不錯的選擇。另外,從對海量數(shù)據(jù)的處理性能上來看,尤其是存儲容量在幾百 TB,甚至是 PB 級,文件數(shù)量在千萬、億量級的時候,傳統(tǒng)的 SAN 和 NAS 實際上已經(jīng)有了瓶頸,而采用扁平化數(shù)據(jù)組織方式的對象存儲就有了很明顯的優(yōu)勢。
分享四:
云存儲相對傳統(tǒng)存儲能解決的問題:
1.節(jié)點級的高可用;傳統(tǒng)存儲只解決硬盤級的故障,對設備整機損壞沒有防護
2.整體接入性能隨容量線性增長,多節(jié)點并發(fā)讀寫的模式;傳統(tǒng)存儲的 IO 性能隨著擴展柜的增加呈拋物線分布
云存儲的適用場景:
1.開源云計算的后端存儲,如果上 openstack,cloudstack,通常后端會配分布式存儲而不是 SAN 存儲。
2.海量非結(jié)構(gòu)化數(shù)據(jù)存儲,對于數(shù) PB 的數(shù)據(jù)的統(tǒng)一存儲,通常需借助分布式文件系統(tǒng)。
3.海量小文件數(shù)據(jù)存儲,對于文件規(guī)模上億的存儲場景,通常使用對象云存儲,以獲得更高的 IO 性能和擴展性。
分享五:
從不度的維度可以有很多場景,幾乎上規(guī)模的容量、性能及文件數(shù)量要求的大前提下,基本上都可考慮采用云存儲實現(xiàn)。從常規(guī)容量及性能維度來看,場景有海量存儲需求(如多媒體存儲)、對容量、讀寫性能有同步橫向擴展需求(超算或高性能計算)等。從數(shù)據(jù)結(jié)構(gòu)類型維度來看,如非結(jié)構(gòu)化數(shù)據(jù)、大型數(shù)據(jù)庫、虛擬機存儲等。
|| 云存儲主要技術路線有哪些?各有哪些優(yōu)缺點?
分享一:
存儲虛擬化:
存儲虛擬化更多是對傳統(tǒng)塊(FC SAN,IP SAN)的虛擬化。 其主要解決了企業(yè)內(nèi)部傳統(tǒng)存儲資源無法有效進行存儲資源整合和統(tǒng)一管理的難題??梢杂行У奶嵘w存儲資源的利用率和降低人員運維成本。
同時作為虛擬化網(wǎng)關,極大的方便了異構(gòu)品牌平臺存儲間的數(shù)據(jù)集中和數(shù)據(jù)遷移。
很多存儲虛擬化網(wǎng)關本身具有遠超傳統(tǒng)存儲的企業(yè)級軟件功能:比如thin,壓縮,快照,clone,數(shù)據(jù)復制等??梢酝ㄟ^虛擬化網(wǎng)關進行統(tǒng)一的存儲復制交付功能。
所以存儲虛擬化的主要勇武之地還是在傳統(tǒng)IT環(huán)境及私有云環(huán)境。自然面向的也是高IO負載,低讀寫延遲等重要應用業(yè)務環(huán)境,比如數(shù)據(jù)庫。是對傳統(tǒng)IT環(huán)境中企業(yè)存儲陣列的一個補充和升華。
SDS軟件定義分布式存儲:
為什么對于分布式存儲我要在開頭加上“SDS軟件定義呢”? 因為我們這里討論的是云存儲關聯(lián)的分布式存儲。
分布式存儲早多少年即有之了,并且很多都耳熟能詳。比如EMC 的VMAX 高端存儲陣列就是一種緊耦合的專有硬件的,硬件和軟件相集成的傳統(tǒng)分布式存儲陣列。比如IBM 的XIV 高存儲陣列也是硬件和軟件相集成的高密度容量的分布式存儲陣列。這些傳統(tǒng)分布式存儲陣列具有傳統(tǒng)高端存儲的高IOPS,低讀寫延遲優(yōu)點,同時有具有分布式存儲多副本,節(jié)點冗余自恢復等特色。
再說一說SDS 軟件定義分布式存儲,這個是云里面,無論是公有云還是私有云都在炒的潮流。也是云存儲的主流當家花旦。
一般的SDS 軟件定義分布式存儲產(chǎn)品功能協(xié)議支持都比較全:
A. 塊block協(xié)議 給輕量級數(shù)據(jù)庫,VM,提供高性能塊裸設備。
B. 文件file協(xié)議提供類似NAS 的文件共享功能或是承載非IO性能密集型的應用。
C. 支持api調(diào)用存取object 對象,用來存儲海量數(shù)據(jù)文件。
針對以上三個協(xié)議我要多說幾句:
1、首先SDS分布式存儲在block塊協(xié)議這方面相比傳統(tǒng)存儲在高性能低延遲、成本控制及易管理維護方面沒有任何優(yōu)勢。同樣的一套oracle數(shù)據(jù)庫采用傳統(tǒng)存儲TCO總體擁有成本方面有可能只是SDS分布式存儲成本的1/2甚至更少,這個在以前可能是誤區(qū),可能大家都認為開源的,或是軟件定義的自己DIY搭的東西是最便宜的,其實很多時候事實剛好相反,開源的DIY的東西反而可能是最昂貴的。
對于傳統(tǒng)IO密集型數(shù)據(jù)庫應用來說,當前最好的存儲模式還是采用傳統(tǒng)高端存儲陣列,因為這就好比存儲中的跑車法拉利,雖然價格貴,但是久經(jīng)驗證,在性能和穩(wěn)定性方面絕對可靠。
SDS分布式存儲當前因為三副本等原因容量成本在超大規(guī)模以下場景成本優(yōu)勢不明顯,甚至是劣勢。性能方面還是只能適用于opentask、VM、輕量級數(shù)據(jù)庫場景。塊協(xié)議普遍存在IO輸出不穩(wěn)定、延遲高等缺點。另外一個缺點就是在企業(yè)級存儲軟件功能方面,比如快照、clone,復制等技術方面相較傳統(tǒng)存儲還不是十分成熟,無法在生產(chǎn)環(huán)境中應用。
但是SDS 軟件定義分布式存儲是未來的大方向,也是在逐漸成熟中,未來一統(tǒng)天下也未可知。
2.SDS 分布式存儲在file文件協(xié)議這一塊PK的對手也慢多的,像傳統(tǒng)的NAS存儲,越來越火的分布式或是集群文件系統(tǒng),比如GlusterFS、GPFS 等,個人感覺這一塊SDS分布式存儲會搶占很多傳統(tǒng)NAS的市場份額,畢竟很多使用NAS的應用在IO性能和延遲方面要求低很多, 使用分布式存儲的file協(xié)議,可以解決NAS 產(chǎn)品scale-out橫向擴展不足的缺點。NAS 能應用的很多場景,一款優(yōu)秀的SDS分布存儲file協(xié)議應該也可以滿足。
3.對象協(xié)議。
這個放在下文對象存儲中一起討論。畢竟多數(shù)SDS 分布式存儲的底層就是調(diào)用對象來存儲和讀取數(shù)據(jù)的。塊block協(xié)議功能和file協(xié)議功能都是間接調(diào)用基于的對象來實現(xiàn)的。
對象存儲:
其實這個沒有什么好說的。對象存儲的出現(xiàn)就是為解決了互聯(lián)網(wǎng)上存儲海量大數(shù)據(jù)的問題。比如存儲萬億的視頻、圖片,照片等。比如進行海量的數(shù)據(jù)歸檔,數(shù)據(jù)備份等?,F(xiàn)在很流行的用法就就是用對象存儲存儲海量非結(jié)構(gòu)化數(shù)據(jù),然后進行大數(shù)據(jù)分析。
優(yōu)點:對象存儲其采用key-volume的扁平化存儲架構(gòu)設計,使用簡單,調(diào)用API就能進行數(shù)據(jù)存儲和讀取。可以存儲海量數(shù)據(jù),這點傳統(tǒng)存儲和NAS就沒轍。在海量數(shù)據(jù)場景中你只能選擇對象存儲。如果傳統(tǒng)SAN存儲是跑車,NAS是貨車,那么對象存儲就是萬億噸海上集裝箱大油輪。對對象存儲來說,單個客戶端的訪問效率不高,延遲也很高。但是你架不住他海量并發(fā)呀,互聯(lián)網(wǎng)上海量客戶端并發(fā)訪問,這個帶寬和總體性能一下就上去了。
缺點:單個客戶端訪問效率低,延遲高。應用功能和場景受限。對象存儲不支持隨機讀寫操作,只能全讀全寫,其面向的是一次寫入,多次讀取的非結(jié)構(gòu)化數(shù)據(jù)存儲的需求場景。
|| 企業(yè)在分布式存儲技術上主要是解決那些問題?并且技術產(chǎn)品選型上應該如何考慮?
分享一:
SDS 軟件定義分布式存儲支持三種協(xié)議方式:
A. 塊 block 協(xié)議 給輕量級數(shù)據(jù)庫,VM,提供高性能塊裸設備
B. 文件 file 協(xié)議提供類似 NAS 的文件共享功能或是承載非 IO 性能密集型的應用
C. 支持 api 調(diào)用存取 object 對象,用來存儲海量數(shù)據(jù)文件
雖然 SDS 分布式存儲有很多中,但是仔細分析會發(fā)現(xiàn)不同廠商的分布式存儲都會有其清晰的市場定位和優(yōu)勢場景:
比如 solidfire 其主要定位就在塊 block 協(xié)議,不提供 file 和 object 對象功能。其主要定位就是 7 成用來云 opentask,VM,2 成用在輕量級數(shù)據(jù)庫比如 mongoDB,PG,1 成用來 IOPS 2W 左右的物理機。并且其核心設計里理念就是云里面保證 qos,單個 host 提供有限的 IO,其架構(gòu)不適用于高帶寬應用。 但其優(yōu)勢就是用豐富的 API,和云集成比較好。不能滿足也不適合傳統(tǒng)高性能數(shù)據(jù)庫應用。
比如華為 Fusionstorage block 存儲其定位也是在塊 block ,主要提供高性能塊存儲,可以適用于一般的高性能數(shù)據(jù)庫。但是也不支持 file 和 object 協(xié)議。其支持應用主機通過兩種模式 SCSI 和 iSCSI 模式訪問存儲集群。
仔細分析其架構(gòu)和 IO 傳輸路徑會發(fā)現(xiàn):單個主機在 iSCSI 訪問模式下只能訪問部分的存儲節(jié)點,無法做到整個集群的 IO 并發(fā)響應。單個主機的 IO 路徑和 IO 性能被限制在固定的幾個存儲節(jié)點,此模式下無法發(fā)揮出分布式存儲的架構(gòu)優(yōu)勢,總體使用方式類似傳統(tǒng) SAN 存儲(這樣還不如用傳統(tǒng)存儲來的高效和方便)。其他的分布式 IP SAN 存儲只要使用 iSCSI 協(xié)議也都存在這樣架構(gòu)劣勢。
Fusionstorage 采用 SCSI 模式訪問存儲集群時,才真正意義上做到對單個應用主機的 IO 處理的分布式并發(fā)處理響應。
所以說在玩分布式 IP SAN 存儲時,對同一個存儲產(chǎn)品,其支持的那種存儲訪問協(xié)議和模式的很重要。這甚至決定了你是把一套分布式存儲當做傳統(tǒng)存儲在用,還是在真正意義上當做分布式存儲在用。
比如 WOS 其定位就是 objec 對象海量文件使用場景,其在塊 bolck 場景應用上就不行了。
還有 ceph 其 塊,file,object 協(xié)議都能提供,但是總體上地位比較尷尬。 塊協(xié)議方面比不上專業(yè)廠商的分布式存儲,file 功能還不成熟。 object 也比不上專業(yè)做 object 的廠商。 但好在其是開源的。
所以首先要明白你的業(yè)務類型和存儲適用場景。針對你的需求來選擇不同的分布式存儲來滿足應用業(yè)務需求。
|| 傳統(tǒng)存儲陣列分布式架構(gòu)和 SDS 軟件定義分布式存儲架構(gòu)的相同點和不同點?各自定位有何不同?
分享一:
兩者都是分布式存儲,主要是適用場景有所不同。
差異分三個層面說,
1.硬件形態(tài):部分高端的傳統(tǒng)分布式陣列還是控制器架構(gòu),而后者基本是直接跑在 x86 服務器上和計算融合在一起使用
2.冗余實現(xiàn):有所不同,前者更多用糾刪碼;后者更多是做副本,也有先做 RAID 再做副本,糾刪碼比較少
3.產(chǎn)品的商業(yè)模式:前者屬于一個完整的產(chǎn)品,通常來自傳統(tǒng)存儲公司或硬件設備廠商,例如 EMC 的Isilon,
后者主要給虛擬化提供支持,很少作為獨立產(chǎn)品出現(xiàn),更多來自軟件廠商,例如現(xiàn)在 openstack 的各種后端存儲,ceph,gluster,swift
前者優(yōu)勢是性能和可靠性,更適合專業(yè)的細分應用,比如廣電行業(yè)的視頻編輯應用、IO 密集型的數(shù)據(jù)庫應用等;
后者的優(yōu)勢是彈性擴展、接口豐富、開源,主要是軟件廠商在使用和維護
分享二:
這兩者的第一個差異點是通用硬件和專有硬件。
SDS 明確定義是基于通用硬件,大部分情況下“通用硬件”是指 X86 服務器。如果用車子打比方那就是量產(chǎn)車,上 4S 店就能買到的豐田大眾寶馬奔馳。
而傳統(tǒng)陣列通常是專有的控制器架構(gòu),常見都是雙控或多控,所謂控制器是一個為存儲產(chǎn)品的使命專門設計制造的專有設備,有時候你也可以理解為嵌入式的軟硬件一體設備,為存儲這種特殊用途定制。同樣用汽車類比那就是特殊用途車,越野暴改車。
分布式架構(gòu)都是基于多個硬件節(jié)點,利用軟件和其內(nèi)涵的分布式算法有機地揉和成一個系統(tǒng),向外提供高可靠高并發(fā)的服務。和傳統(tǒng)存儲相比,兩種的“基底”硬件明顯是不同的。SDS 的硬件節(jié)點是通用型,自然硬件可靠性也比較一般。因此需要在軟件和算法層面更多的考慮到硬件故障,上規(guī)模的產(chǎn)品通常在設計時就把設備節(jié)點故障當中常態(tài)處理,并不視為異常。而傳統(tǒng)存儲這邊的硬件在可靠性上明顯更強,對數(shù)據(jù)強一致性等指標更為重視。
從系統(tǒng)架構(gòu)上看,SDS 有很多是對稱式架構(gòu),所有節(jié)點配置都相同,標準化的硬件節(jié)點,像樂高積木一樣自由增加,性能容量同步橫向擴展。傳統(tǒng)存儲陣列做分布式還是非對稱式多,構(gòu)建系統(tǒng)有多種規(guī)格和角色設定的節(jié)點,甚至是異構(gòu)的。這種系統(tǒng)一般必須有一個控制/管理節(jié)點,所謂“機頭”或者“存儲網(wǎng)關”,下面再掛接“后端存儲”,即各類陣列,異構(gòu)兼容。
由于固態(tài)存儲的廣泛應用,基于通用 X86 服務器的 SDS 也能通過多節(jié)點聚合得到很好的性能表現(xiàn),因此傳統(tǒng)存儲在性能上的優(yōu)勢不再,兩者都能提供給應用系統(tǒng)足夠的性能。SDS 通常把原來依附于傳統(tǒng)高端存儲的企業(yè)級高級功能如快照克隆遠程復制都提煉出來放到軟件里,在某種程度上也提供了這些高級功能,但整體架構(gòu)的變化,(SDS+計算虛擬化,兩者再深度結(jié)合就變成 HCI 超融合架構(gòu)),導致一些容災備份實現(xiàn)機制有別于傳統(tǒng),提供了新的可能性,是否繼續(xù)沿用舊機制值得關注。
從定位上來說,我認為傳統(tǒng)存儲陣列的分布式還是屬于漸進式創(chuàng)新,在原來的傳統(tǒng) IT 環(huán)境基礎上做的小步調(diào)整,和原有應用和系統(tǒng)配合度比較高,改動不大。擴展規(guī)模上相對來說小一點。如果有系統(tǒng)改造的需求,這類架構(gòu)是可以考慮的。
而 SDS 還是有較大的變化,有點顛覆性創(chuàng)新的意思,架構(gòu)變化較大,系統(tǒng)移植過去能夠獲得更好的擴展性,能夠適應更大的系統(tǒng)規(guī)模,但是原來的舊系統(tǒng)很多無法利用。勉強連上也只能保證連通性,性能和高級功能就顧不上了,所以總體來說可能更適合新建的系統(tǒng)。
|| 企業(yè)在存儲虛擬化技術上主要是解決那些問題?并且技術產(chǎn)品選型上應該如何考慮?
分享一:
主要是解決:
1. 異構(gòu)存儲的集中管理
2. 存儲資源的池化
3. 為存儲自動化建設蓄力
4. 為云環(huán)境準備存儲資源
5. 提高存儲使用和運營效率
6. 數(shù)據(jù)的備份和分層
……
所以啊,主要考慮:
1. 兼容性
2. 易用性
3. 對于性能的提升
4. 附加功能夠不夠滿足二期建設要求
5. 安全性
6. 價格。。。土豪無視
分享二:
補充一點。豐富的軟件功能性能也是一個重要的考慮點。
就拿 svc 和 vplex 來對比。svc 在軟件功能:thin,快照,clone,壓縮,數(shù)據(jù)復制等軟件功能方面全面并且強大。最新版本的 svc 甚至直接支持將自身數(shù)據(jù)和快照通過 s3 接口直接上傳到云和對象存儲,進行復制和備份。
而這些恰恰是 vplex 的短板。vplex 缺乏當今企業(yè)級存儲必要的軟件功能,甚至在這方面遠落后于一般的存儲陣列。如數(shù)據(jù)保護,壓縮,分層,thin 等。最為奇葩的是竟然不支持在 vplex 上做快照,clone 和復制。
這讓 vplex 僅僅只是一個虛擬化網(wǎng)關功能。無法做到在虛擬化層面,對存儲軟件功能進行整合和在虛擬化層對外提供一致存儲軟件功能。但是就是因為功能少,復雜度降低,在穩(wěn)定性和性能方面比 svc 有優(yōu)勢。并且 svc 集群不是真整意義上的分布式架構(gòu),而是分多個 iog 組每個組內(nèi)的兩個節(jié)點是類似中端存儲的主被模式。
總之如果你在存儲虛擬化層不需要一些基本的軟件功能,比如 thin,快照,clone 等,那你可以選擇vplex 也可以選擇 svc。
如果你想要一個完整的存儲虛擬化解決方案。那么你沒得選,只能選擇 svc。
|| 企業(yè)在應用對象存儲技術主要是解決那些問題?并且技術產(chǎn)品選型上應該如何考慮?
分享一:
文件 NAS 存儲的缺點:
讀寫速率低,傳輸速率慢:以太網(wǎng),上傳下載速度較慢,讀寫延遲比傳統(tǒng) SAN 存儲高很多。
雖說也可以存儲海量文件,但是因為 inode,目錄層級的限制,單個目錄深度和存儲文件數(shù)量是有上限的,分層文件結(jié)構(gòu)的命名空間有限,無法在真正意義上做到存儲海量數(shù)據(jù)。
塊或 SAN 存儲的缺點:
1.采用 SAN 架構(gòu)組網(wǎng)時,需要額外為主機購買光纖通道卡,還要買光纖交換機,造價成本高。
2、主機之間的數(shù)據(jù)無法共享,在服務器不做集群的情況下,塊存儲裸盤映射給主機,再格式化使用后,對于主機來說相當于本地盤,那么主機 A 的本地盤根本不能給主機 B 去使用,共享數(shù)據(jù)受到很多限制。
3、一般都是集中使用方式,一個主機分好多的盤。擴展性方面是硬傷。單個應用容量及其容易到達單臺存儲容量上限的限制。
對象存儲綜合了 NAS 和 SAN 的優(yōu)點,同時具有 SAN 的高速直接訪問和 NAS 的數(shù)據(jù)共享等優(yōu)勢,提供了高可靠性、跨平臺性以及安全的數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。最最重要的是其接近無限擴展能力的,可以在真正意義實現(xiàn)非結(jié)構(gòu)話數(shù)據(jù)的海量存儲。其扁平化的存入和讀取數(shù)據(jù)對象方式,使其使用方式簡單,應用通過標準 API 接口進行調(diào)用,十分契合互聯(lián)網(wǎng)大數(shù)據(jù)的存儲。
對象存儲典型使用場景:
數(shù)據(jù)采集(情報、監(jiān)視、偵察和合法攔截)
數(shù)據(jù)采集(視頻監(jiān)控)
數(shù)據(jù)備份、歸檔、版本管理
數(shù)據(jù)協(xié)同(公共數(shù)據(jù)平臺)
數(shù)據(jù)源和數(shù)據(jù)分發(fā)(CDN)
對比傳統(tǒng)存儲解決方案的優(yōu)勢:
架構(gòu)簡潔,易于維護,經(jīng)濟高效
EB 級擴展能力
對象數(shù)量達萬億級
高性能
跨地域部署
分享二:
對象存儲天生具備分布式的架構(gòu)優(yōu)勢,擴展方便;另外它沒有多層樹級文件目錄,采用查表式訪問操作,小IO性能好,適用于海量小文件的應用模式。如果業(yè)務收益可以支撐 IT 投入,又有一定的研發(fā)維護能力,可以用開源對象存儲方案自己搭建。
分享三:
1.解決跨地域多點協(xié)同數(shù)據(jù)訪問
2.解決海量文件持續(xù)一次寫入多次訪問的問題
選型上考慮數(shù)據(jù)保護的等級和成本以及初期落地的量級等因素。
另外運維的管理能力和售后支持團隊也需要做為考慮范圍。
盡量選擇經(jīng)過經(jīng)久考驗的廠商品牌。
|| 分布式存儲和對象存儲應用場景有哪些不同?
分享一:
通常,分布式存儲和對象存儲是包含關系,
分布式存儲是一種存儲節(jié)點的物理組織形態(tài),
分布式存儲可以提供塊存儲、文件存儲和對象存儲服務;
是相對傳統(tǒng)單機集中存儲的概念。
對象存儲是一種邏輯上的存儲訪問接口,
是指采用 restful 框架進行數(shù)據(jù)訪問的模式,本質(zhì)上也是一種輕元數(shù)據(jù)、功能簡化的文件存儲,對象存儲在物理上通常是分布式的形態(tài)。
看一下上圖你就知道
傳統(tǒng)存儲的局是不是越來越小了?
分享一:
我說一下我個人的經(jīng)驗。
sds 軟件定義存儲,分布式存儲和對象存儲是未來大的趨勢這個一定是對的。
傳統(tǒng)存儲在近幾年還會是主流存儲。
為什么?我只說快 block 這個方面。就拿我測試過得多家 sds 分布式塊存儲來說吧。國產(chǎn) ceph,華為fusionstorage,solidfire,hedvig 等。他們有個共同的特點就是不夠成熟。展示 PPT 的時候一個比一個能吹,讓你覺得牛逼到爆。實際測試后基本見光死。
性能方面還是比傳統(tǒng)存儲有差距,io 穩(wěn)定性方面也較差,當前階段只能用在 io 性能要求不高的輕量型應用上面,生產(chǎn)先不要想,先在測試上用用,并且是 io 要求較低的測試應用。
還有一個缺陷就是存儲軟件功能方面非常不成熟,快照 clone,復制完全就是不能用,大多不支持一致性快照組。這些在傳統(tǒng)存上平平常常的功能方案,你和 sds 軟件的研發(fā)人員聊他們壓根沒有一致性快照組,對快照,clone 卷 overwrite 刷新這些概念。
分享二:
首先,如果定義為傳統(tǒng)存儲,并且固守原來的架構(gòu)方式,甚至缺陷和不符合新型應用需求的特點,那么毫無疑問,它注定就是要被顛覆的,新技術打破傳統(tǒng),是歷史的必然。
另一方面,傳統(tǒng)存儲有它本身優(yōu)點,結(jié)合自身的優(yōu)點,有它命脈的傳承,比如閃存,存儲存儲化產(chǎn)品,其實某種程度上是在傳統(tǒng)存儲領域的拓展,是傳統(tǒng)存儲的進步和突破,是具備沿襲的特征的。
IT 架構(gòu)就是通過不斷改變,迭代,從而進步的。
-
云計算
+關注
關注
39文章
7806瀏覽量
137402 -
云存儲
+關注
關注
7文章
745瀏覽量
46050
原文標題:云存儲主要技術路線選型比較
文章出處:【微信號:D1Net11,微信公眾號:存儲D1net】歡迎添加關注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論