大數(shù)據(jù)存儲工具有哪一些

摘要：市面上有大量的大數(shù)據(jù)存儲產(chǎn)品。

市面上有大量的大數(shù)據(jù)存儲產(chǎn)品。哪些產(chǎn)品是最好的？很顯然，沒有一個簡單的答案。選擇大數(shù)據(jù)存儲工具牽涉許多變化因素，包括現(xiàn)有環(huán)境、目前的存儲平臺、數(shù)據(jù)增長預(yù)期、文件的大小及類型、數(shù)據(jù)庫和應(yīng)用程序程序組合等。

雖然本文根本不是什么完整的清單，但還是列出了值得你考慮的幾種頂尖的大數(shù)據(jù)存儲工具。

大數(shù)據(jù)存儲領(lǐng)域的主要競爭者

日立

日立提供了幾款大數(shù)據(jù)存儲產(chǎn)品。與Pentaho軟件公司合作開發(fā)的大數(shù)據(jù)分析工具、日立超級橫向擴展平臺（HSP）、HSP技術(shù)架構(gòu)以及日立視頻管理平臺（VMP）。后一個例子專門針對大視頻這個方興未艾的大數(shù)據(jù)子集，面向視頻監(jiān)控及其他視頻密集型存儲應(yīng)用領(lǐng)域。

DDN

類似地，DataDirect Networks（DDN）也有一批面向大數(shù)據(jù)存儲的解決方案。

比如說，其高性能SFA7700X文件存儲可以自動分層到WOS對象存儲歸檔系統(tǒng)，支持快速收集、同時分析和經(jīng)濟高效地保留大數(shù)據(jù)。

DDN的營銷戰(zhàn)略和運營高級主管邁克爾·金（Michael King）說：“斯克里普斯研究所使用該產(chǎn)品用于冷凍電子顯微鏡（Cryo-EM），每周收集30 多TB的數(shù)據(jù)，尋找艾滋病毒、埃博拉、寨卡及主要神經(jīng)疾病的治療方法。而在過去，查看蛋白質(zhì)結(jié)構(gòu)和產(chǎn)生的抗體至少需要一年的時間。Cyro-EM在幾周內(nèi)就完成了發(fā)現(xiàn)過程?！?/p>

Spectra BlackPearl

Spectra Logic的BlackPearl深度存儲網(wǎng)關(guān)為基于SAS的磁盤、SMR降速磁盤或磁帶提供了對象存儲接口，所有這些技術(shù)都可以放在存儲環(huán)境中BlackPearl的后面。

Kaminario K2

Kamiario提供了另一種大數(shù)據(jù)存儲平臺。雖然它并不提供經(jīng)典的大數(shù)據(jù)設(shè)備，但其全閃存陣列正在許多大數(shù)據(jù)應(yīng)用領(lǐng)域找到一席之地。

Kaminario的首席技術(shù)官沙恰·菲恩布利特（Shachar Fienblit）說：“由于開發(fā)人員把實時分析融入到應(yīng)用中，存儲基礎(chǔ)設(shè)施策略必須能夠管理大數(shù)據(jù)分析工作負載以及傳統(tǒng)的事務(wù)處理工作負載。Kaminario K2全閃存陣列就是為了支持這種動態(tài)工作負載環(huán)境而開發(fā)的?！?/p>

Caringo

Caringo成立于2005年，旨在發(fā)掘數(shù)據(jù)的價值，并解決大規(guī)模保護、管理、組織和搜索數(shù)據(jù)方面的問題。有了旗艦產(chǎn)品Swarm，用戶無需將數(shù)據(jù)遷移到不同的解決方案，即可實現(xiàn)長期保存、交付和分析，因而降低總體擁有成本。它已經(jīng)被全球400多家組織所使用，比如美國國防部、巴西聯(lián)邦法院系統(tǒng)、奧斯汀市、西班牙電信、英國電信、Ask.com和約翰斯霍普金斯大學(xué)。

Caringo的產(chǎn)品副總裁托尼·巴巴加洛（Tony Barbagallo）說：“為了簡化獲取數(shù)據(jù)、饋送給Swarm，我們有FileFly（用于Windows文件服務(wù)器及NetApp服務(wù)器）和SwarmNFS（提供功能齊全的NFSv4基礎(chǔ)設(shè)施）?！?/p>

Infogix

Infogix企業(yè)數(shù)據(jù)分析平臺基于五項核心功能：數(shù)據(jù)質(zhì)量、事務(wù)監(jiān)控、均衡及協(xié)調(diào)、身份匹配、行為分析以及預(yù)測模型。這些功能據(jù)說可幫助公司提高運營效率、帶來新的收入、確保合規(guī)，并獲得競爭優(yōu)勢。該平臺可以實時檢測出現(xiàn)的數(shù)據(jù)錯誤，并自動實行全面分析，以優(yōu)化大數(shù)據(jù)項目的表現(xiàn)。

Avere混合云

Avere提供了另一種大數(shù)據(jù)存儲方案。其Avere混合云部署在混合云基礎(chǔ)設(shè)施中的各種用例。物理FXT集群用于NAS優(yōu)化這種用例，充分利用基于磁盤的現(xiàn)有NAS系統(tǒng)前面的全閃存高性能層。FXT集群使用緩存，以便自動加快活躍數(shù)據(jù)，使用集群擴展性能（添加更多的處理器和內(nèi)存）及容量（添加更多的固態(tài)硬盤），并將有時部署在廣域網(wǎng)上的核心存儲的延遲隱藏起來。用戶發(fā)覺它是加速渲染、基因組分析、金融模擬、軟件工具和二進制代碼庫等性能的好方法。

在面向私有對象的文件存儲這種用例下，用戶希望從NAS遷移到私有對象存儲。他們往往喜歡私有對象的效率、簡單性和彈性，但不喜歡其性能或基于對象的API接口。在這種用例下，F(xiàn)XT集群提升了私有對象存儲的性能，其實現(xiàn)方式與NAS優(yōu)化這種用例一樣。

Avere Systems的產(chǎn)品管理和市場營銷高級主管杰夫·泰伯（Jeff Tabor）說：“此外，F(xiàn)XT集群提供了熟悉的NAS協(xié)議，可轉(zhuǎn)換成存儲端的對象API，那樣用戶不用改寫應(yīng)用程序，或不用改變數(shù)據(jù)訪問方法，就可以使用對象存儲?！?/p>

最后，云存儲網(wǎng)絡(luò)這種用例類似面向私有對象的文件存儲這種用例，增添的一個好處是，企業(yè)可以開始構(gòu)建更少的數(shù)據(jù)中心，將數(shù)據(jù)遷移到云端。延遲是這種用例要克服的挑戰(zhàn)之一，這正是物理FXT集群所要解決的。訪問時，數(shù)據(jù)在FXT集群上本地緩存，那樣之后進行的所有訪問都具有低延遲的優(yōu)點。FXT集群可能擁有多達480TB的總緩存容量，因而大量數(shù)據(jù)可以在本地存儲起來，避免云的延遲。

DriveScale

大數(shù)據(jù)通常存儲在本地磁盤上，這意味著為了在大數(shù)據(jù)集群的規(guī)模不斷擴大時，能實現(xiàn)效率和擴展性，就需要保持計算和存儲之間的邏輯關(guān)系。于是出現(xiàn)了一個問題是：如何將磁盤從服務(wù)器分離開來，又繼續(xù)在處理器/內(nèi)存組合和驅(qū)動器之間提供同樣的邏輯關(guān)系？如何實現(xiàn)共享存儲池的成本、規(guī)模和可管理性等方面的效率，同時仍提供局部性的好處？據(jù)說DriveScale通過利用Hadoop數(shù)據(jù)存儲，就可以做到這點。

然而，希望為大數(shù)據(jù)應(yīng)用安裝和管理資源的存儲專業(yè)人員主要受制于Hadoop架構(gòu)，這種架構(gòu)本身是針對服務(wù)器上的本地驅(qū)動器來優(yōu)化的。隨著數(shù)據(jù)量不斷增加，唯一的辦法就是購買數(shù)量越來越多的服務(wù)器，不僅要滿足計算需求，還要提供更大的存儲容量。DriveScale讓用戶得以在獨立于計算容量的情況下單獨購置存儲容量，從而在每個層面做到容量正好。

DriveScale的產(chǎn)品管理副總裁S.K. Vinod說：“沒有理由無法將大家在數(shù)據(jù)中心習(xí)慣獲得的專有縱向擴展基礎(chǔ)設(shè)施環(huán)境具有的優(yōu)點引入到商用橫向擴展環(huán)境。我們?yōu)镮T管理員提供了構(gòu)建和運行彈性大數(shù)據(jù)基礎(chǔ)設(shè)施的工具，在這種基礎(chǔ)設(shè)施環(huán)境下，服務(wù)器和磁盤子系統(tǒng)可以根據(jù)需要，實時分解和重組。單個驅(qū)動器從JBOD連接磁盤組成的共享池配置給服務(wù)器，因而消除了成本不相稱。”

Hedvig

Hedvig分布式存儲平臺提供了一種統(tǒng)一解決方案，讓你可以定制結(jié)合低成本商用硬件和高性能存儲，以支持任何應(yīng)用程序、虛擬機管理程序、容器或云。據(jù)說它可以針對數(shù)據(jù)塊、文件和對象存儲，為任何規(guī)模的任何計算提供存儲，具有可編程性，而且支持任何操作系統(tǒng)、虛擬機管理程序或容器。此外，混合多站點復(fù)制使用獨特的災(zāi)難恢復(fù)策略來保護每個應(yīng)用程序，并通過跨多個數(shù)據(jù)中心或云的存儲集群提供高可用性。最后，高級數(shù)據(jù)服務(wù)讓用戶可以借助可按照卷來選擇的一系列企業(yè)服務(wù)，定制存儲。

Hedvig公司首席執(zhí)行官兼創(chuàng)始人阿維納什·拉克希曼（Avinash Lakshman）說：“對于Hadoop來說，如果你想要一些功能由HDFS來處理，其他功能由存儲平臺來處理，這至關(guān)重要?！?/p>

Nimble

Nimble存儲預(yù)測閃存平臺據(jù)說可顯著提高分析應(yīng)用和大數(shù)據(jù)工作負載的性能。它通過結(jié)合閃存性能和預(yù)測分析，防止IT復(fù)雜性導(dǎo)致的數(shù)據(jù)速度面臨的障礙來做到這一點。

責(zé)任編輯：ct