全球的數(shù)據(jù)量正持續(xù)以每年約23%的速度增長——各行各業(yè)產(chǎn)生的數(shù)據(jù)量越來越多,因此長期保存這些數(shù)據(jù)變得愈發(fā)困難。另一方面,在中國“3060 ”雙碳目標(biāo)的指導(dǎo)下,企業(yè)級數(shù)據(jù)中心的數(shù)據(jù)存儲不僅需要高性能、大容量和更低的總體擁有成本,還要向著綠色、低能耗的可持續(xù)方向不斷發(fā)展。
一個有效的解決方案就是冷存儲。通過更深入地了解組織的數(shù)據(jù)需求,我們發(fā)現(xiàn)企業(yè)采用冷存儲可以確保隨時訪問有價值的數(shù)據(jù),同時減少數(shù)據(jù)存儲的總體擁有成本和能耗。
冷存儲的興起
冷存儲,可以理解為針對不常訪問數(shù)據(jù)的存儲。在該類場景中,數(shù)據(jù)被歸檔或保存在“冷存儲”中,將很少被使用,但在需要時又得做到可以隨時訪問,因此不必優(yōu)先考慮IO性能。這與需要進(jìn)行數(shù)據(jù)處理的高性能 “熱存儲”相反,而且也不同于可能永不訪問,或允許花費(fèi)數(shù)小時或數(shù)天訪問的“凍存儲”。
隨著技術(shù)創(chuàng)新和數(shù)字化轉(zhuǎn)型的加速推進(jìn),越來越多的此類數(shù)據(jù)將持續(xù)產(chǎn)生,即使當(dāng)下不用,也具備一定價值,不應(yīng)被即刻丟棄。譬如在智慧視頻和安全相關(guān)行業(yè),同一段視頻不能記錄第二次,一旦意外丟失,決不會以完全相同的方式再次呈現(xiàn),而且你永遠(yuǎn)不知道什么時候需要回看視頻,因此數(shù)據(jù)永久保留很有必要。在汽車行業(yè),自動駕駛測試將產(chǎn)生大量數(shù)據(jù),且不會重復(fù)同樣的測試,因此,企業(yè)可保留數(shù)據(jù)以便在自動駕駛算法革新的過程中持續(xù)加以利用。對于播放職業(yè)球賽的電視臺來說,永遠(yuǎn)有可能要重播球員的比賽視頻,所以視頻內(nèi)容也要全部保留下來。
其實,在各行業(yè)的各種具體場景下,用戶都有隨時訪問舊數(shù)據(jù)的可能。一些企業(yè)盡管當(dāng)下不需要訪問數(shù)據(jù),但也可能已經(jīng)預(yù)知何時會需要。比如機(jī)器學(xué)習(xí)的場景下,創(chuàng)建龐大的訓(xùn)練數(shù)據(jù)極為耗時,一旦積累了數(shù)據(jù)集,盡管可能很少被訪問,卻擁有一定價值。因此,企業(yè)需要保留這些數(shù)據(jù)用于機(jī)器訓(xùn)練,以節(jié)省再次創(chuàng)建龐大數(shù)據(jù)集的時間,也可將其出售用于其他訓(xùn)練項目。
可見,越來越多的企業(yè)需要探索冷存儲方法。而需要長期保留這些數(shù)據(jù)的企業(yè)面臨著一個關(guān)鍵問題,到底是將數(shù)據(jù)存放在昂貴、更快速的存儲基礎(chǔ)架構(gòu)中實時取用,還是存放在性價比更高的冷存儲層中,在以后需要時再重新訪問?
冷存儲便是針對該場景的解決方案,它允許以更低的成本存儲數(shù)據(jù),與需要實時多次訪問的“熱數(shù)據(jù)”(如金融交易)相比,這些數(shù)據(jù)被訪問頻率更低?;谶@一優(yōu)點,企業(yè)可以更輕松地選擇理想的數(shù)據(jù)存儲解決方案,而不是陷入以更高成本擴(kuò)展存儲資源還是刪除一些潛在重要數(shù)據(jù)的兩難境地。
正因如此,冷存儲方興未艾,并將持續(xù)加速發(fā)展。行業(yè)分析師認(rèn)為,當(dāng)前至少60%的數(shù)據(jù)可以歸入存檔類數(shù)據(jù),到2025年,這一比例可能達(dá)到80%或更多。因此,冷存儲正成為存儲行業(yè)增長最快的細(xì)分領(lǐng)域之一。云服務(wù)提供商也紛紛迎合這一發(fā)展趨勢,采用可訪問的存檔重新設(shè)計其存儲架構(gòu),并確保對冷存儲中的數(shù)據(jù)進(jìn)行高效管理,降低總體擁有成本和能耗。
企業(yè)該如何進(jìn)行冷存儲?
廣義程度上,冷存儲屬于一種用例,企業(yè)需要探索特定的技術(shù)和解決方案來將這個用例變?yōu)楝F(xiàn)實,其中需要注意的重點包括:
首先,將冷數(shù)據(jù)視為主數(shù)據(jù)對待。冷數(shù)據(jù)必須在線存儲,并且易于搜索和訪問。企業(yè)不僅要能夠存儲數(shù)據(jù),還需要在這些數(shù)據(jù)集持續(xù)增長的情況下解決實時、高效訪問數(shù)據(jù)的挑戰(zhàn)。例如,電視臺如果需要重播幾年前舉行的一場體育賽事,它得具備一套基礎(chǔ)設(shè)施保證可以精確找到這些數(shù)據(jù)。因此,舊數(shù)據(jù)仍然需要被當(dāng)成主數(shù)據(jù)來對待,尤其是在可訪問性方面。
不將存檔數(shù)據(jù)視為主數(shù)據(jù)是一種失策,而這也涉及到另一個重要考量——數(shù)據(jù)保護(hù)。
即使這些數(shù)據(jù)被存放在二級存儲上,仍然需要像主數(shù)據(jù)一樣受到保護(hù)。無論是確保數(shù)據(jù)在站點發(fā)生災(zāi)害時不會丟失,還是免受人為威脅等,只有像主數(shù)據(jù)一樣進(jìn)行數(shù)據(jù)保護(hù),冷存儲中的數(shù)據(jù)才能安全無虞。
另一個重要注意點就是成本。盡管冷存儲為長期保存數(shù)據(jù)提供了一種更具成本效益的解決方案,但要實現(xiàn)其最佳功效還需考慮多種因素。
業(yè)內(nèi)人士可能經(jīng)常認(rèn)為云存儲將是最具成本效益的冷存儲庫。然而,對于某些企業(yè)的特定場景下,事實可能并非如此,而且如果持續(xù)向云端增加更多數(shù)據(jù),成本也會隨之提升。雖然云技術(shù)在彈性和保護(hù)方面具有獨(dú)到的優(yōu)勢,但它并非所有場景下企業(yè)的最優(yōu)選擇。
另一方面,有些企業(yè)認(rèn)為磁帶技術(shù)是成本更低的存儲技術(shù),所以必須部署磁帶來滿足所有冷存儲需求,然而許多情況下這其實時難以實現(xiàn)的。企業(yè)必須分析整體擁有成本,深入研究采用技術(shù)的服務(wù)等級協(xié)議,因為對某些公司來說,簡單地投資構(gòu)建多個存儲層可能并無法節(jié)省那么多成本,而且會增加不必要的復(fù)雜性。簡言之,并沒有“放之四海而皆準(zhǔn)”的解決方案。
立足HDD創(chuàng)新,應(yīng)對綠色數(shù)字未來
隨著人工智能、機(jī)器學(xué)習(xí)、自動駕駛、智慧視頻、物聯(lián)網(wǎng)以及智慧城市等新興應(yīng)用的不斷演變,數(shù)據(jù)生成來源比以往任何時候都更多,冷存儲領(lǐng)域也正不斷發(fā)展,并凸顯出其重要性。市場正大量投資云存儲、基于HDD的解決方案和磁帶技術(shù)創(chuàng)新,以滿足未來企業(yè)數(shù)字化轉(zhuǎn)型和冷存儲的需求。
如今,大多數(shù)二級冷數(shù)據(jù)都保存在磁帶或HDD上,而熱數(shù)據(jù)則存儲在SSD中。HDD正在向下一代磁盤技術(shù)和平臺演進(jìn),旨在降低擁有成本和能耗,并提高主動存檔解決方案的可訪問性。HDD技術(shù)的最新進(jìn)展包括新的分區(qū)存儲技術(shù)、更高的面密度、機(jī)械創(chuàng)新、智能數(shù)據(jù)存儲以及材料創(chuàng)新等等。
西部數(shù)據(jù)一直處于HDD技術(shù)創(chuàng)新的前沿,不斷提高存儲容量和性能并降低客戶的總體擁有成本和能耗,幫助客戶應(yīng)對龐大和多樣化的數(shù)據(jù)存儲需求。2021年,西部數(shù)據(jù)突破傳統(tǒng)存儲界限,推出了整合HDD與閃存優(yōu)勢的OptiNAND ?技術(shù),帶來了全新的閃存增強(qiáng)型磁盤架構(gòu)設(shè)計。2022年,西部數(shù)據(jù)推出了基于OptiNAND技術(shù)的22TB Ultrastar ? DC HC570 CMR HDD,在成熟的單碟2.2TB的氦氣封裝技術(shù)上實現(xiàn)了10碟更高的面密度;開發(fā)出了創(chuàng)新的UltraSMR技術(shù)并發(fā)布26TB Ultrastar DC HC670 UltraSMR HDD,通過引入數(shù)據(jù)塊編碼和先進(jìn)的糾錯算法,增加了每英寸磁道數(shù)(TPI),與22TB的CMR HDD相比帶來了約18%的容量提升。西部數(shù)據(jù)通過HDD產(chǎn)品和技術(shù)的迭代更新,為云服務(wù)提供商、企業(yè)級客戶和下一代數(shù)據(jù)中心帶來了更低的TCO與能耗。
<西部數(shù)據(jù)22TB Ultrastar DC HC570 HDD (左) 和
西部數(shù)據(jù)26TB Ultrastar DC HC670 UltraSMR HDD (右) >
除了不斷進(jìn)行產(chǎn)品創(chuàng)新,西部數(shù)據(jù)還評估并強(qiáng)化了應(yīng)對氣候變化影響的措施,致力于實現(xiàn)更可持續(xù)的未來。這一點在第四次工業(yè)革命不斷演進(jìn),自動化替代傳統(tǒng)人工操作的進(jìn)程中尤為重要。去年11月,西部數(shù)據(jù)的上海工廠成功入選世界經(jīng)濟(jì)論壇全球燈塔工廠網(wǎng)絡(luò),并憑借在可持續(xù)發(fā)展領(lǐng)域的突破性成果,被授予中國首家“可持續(xù)發(fā)展燈塔工廠”榮譽(yù)稱號。
作為全球數(shù)據(jù)基礎(chǔ)架構(gòu)提供者,西部數(shù)據(jù)擁有全面且豐富的HDD和閃存解決方案,助力企業(yè)和數(shù)據(jù)中心實現(xiàn)高效和可持續(xù)的數(shù)據(jù)存儲。
審核編輯:湯梓紅
-
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8418瀏覽量
132646 -
西部數(shù)據(jù)
+關(guān)注
關(guān)注
5文章
530瀏覽量
46160 -
冷存儲
+關(guān)注
關(guān)注
0文章
3瀏覽量
6717
發(fā)布評論請先 登錄
相關(guān)推薦
評論