海量數(shù)據(jù)的高效管理

新型基礎(chǔ)設(shè)施是以新發(fā)展理念為引領(lǐng)，以技術(shù)創(chuàng)新為驅(qū)動(dòng)，以信息網(wǎng)絡(luò)為基礎(chǔ)，面向高質(zhì)量發(fā)展需要，提供數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新等服務(wù)的基礎(chǔ)設(shè)施體系。

——國(guó)家發(fā)改委創(chuàng)新和高新技術(shù)發(fā)展司司長(zhǎng) 伍浩

新基建涵蓋了眾多的數(shù)字化基礎(chǔ)設(shè)施：云計(jì)算、人工智能、工業(yè)互聯(lián)網(wǎng)、5G、物聯(lián)網(wǎng)、數(shù)據(jù)中心、智能計(jì)算中心等信息基礎(chǔ)設(shè)施，以智能交通、智慧能源為代表的融合基礎(chǔ)設(shè)施。可以看出，新基建技術(shù)中最核心的資產(chǎn)便是數(shù)據(jù)。物聯(lián)網(wǎng)讓采集的數(shù)據(jù)種類和數(shù)量越來(lái)越多，5G讓數(shù)據(jù)傳輸?shù)乃俾试絹?lái)越快，云計(jì)算在不斷地對(duì)數(shù)據(jù)進(jìn)行計(jì)算處理，AI在不斷地挖掘數(shù)據(jù)的價(jià)值，這些技術(shù)連接的關(guān)鍵紐帶便是存儲(chǔ)。在新基建推動(dòng)的當(dāng)下，存儲(chǔ)可以說(shuō)是推動(dòng)產(chǎn)業(yè)向高端化發(fā)展的剛需。

根據(jù)國(guó)際咨詢機(jī)構(gòu)IDC的預(yù)測(cè)，到2025年智能終端數(shù)量將達(dá)到400億個(gè)，全球數(shù)據(jù)總量也將從2020年的44ZB躍升到180ZB，其中30%屬于實(shí)時(shí)數(shù)據(jù)，75%來(lái)自邊緣和終端，而這些數(shù)據(jù)中，將會(huì)有80％的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)不僅總量巨大，增長(zhǎng)速度也十分驚人。舉個(gè)例子，一個(gè)大型三甲醫(yī)院每天生成數(shù)TB數(shù)據(jù)；一個(gè)智能質(zhì)檢的生產(chǎn)線每天生成數(shù)百TB數(shù)據(jù)；一座智慧城市每天產(chǎn)生的數(shù)據(jù)量更是高達(dá)數(shù)百PB?；诖耍琁T技術(shù)人員不得不重新考慮存儲(chǔ)的效率以及架構(gòu)問(wèn)題，“新基建”需要以數(shù)據(jù)為核心的“新存儲(chǔ)”。

1新存儲(chǔ)特質(zhì)之一：海量數(shù)據(jù)的可持續(xù)高效存儲(chǔ)

面對(duì)如此龐大的數(shù)據(jù)存儲(chǔ)量以及可預(yù)見(jiàn)性的數(shù)據(jù)增長(zhǎng)量，新的存儲(chǔ)架構(gòu)必須要考慮的第一個(gè)點(diǎn)就是如何以更高擴(kuò)展性、更高吞吐/低時(shí)延以及更高性價(jià)比實(shí)現(xiàn)容量管理。首先要有高擴(kuò)展性，滿足因?yàn)闃I(yè)務(wù)量、數(shù)據(jù)精細(xì)度提升導(dǎo)致的數(shù)據(jù)量增加的隨時(shí)擴(kuò)容需求；其次要有高吞吐/低時(shí)延，保障在海量數(shù)據(jù)、海量小文件場(chǎng)景下，數(shù)據(jù)可以快速地讀取和調(diào)用；當(dāng)然用戶也很看重整體方案的性價(jià)比。

數(shù)據(jù)存儲(chǔ)到公有云是一種可選解決方案，租用公有云廠商的存儲(chǔ)空間節(jié)省自建存儲(chǔ)的硬件采購(gòu)成本，根據(jù)數(shù)據(jù)存儲(chǔ)量采購(gòu)相應(yīng)存儲(chǔ)空間。不過(guò)，數(shù)據(jù)調(diào)用的成本也在隨著數(shù)據(jù)量的增加而增加，數(shù)據(jù)使用成本甚至超過(guò)了原有的硬件采購(gòu)成本，比如美國(guó)國(guó)家航天局（NASA）也不得不因?yàn)槊總€(gè)月上百萬(wàn)美元的數(shù)據(jù)訪問(wèn)費(fèi)用，而開(kāi)始考慮將數(shù)據(jù)從亞馬遜云平臺(tái)遷回自建數(shù)據(jù)中心。

以分布式技術(shù)為核心架構(gòu)的新存儲(chǔ)，擺脫了傳統(tǒng)存儲(chǔ)數(shù)據(jù)共享困難、擴(kuò)容受控制器性能限制等問(wèn)題，通過(guò)將軟件部署于通用服務(wù)器，用去中心化架構(gòu)支持彈性擴(kuò)展和高并發(fā)訪問(wèn)，消除了容量和性能的約束，實(shí)現(xiàn)更優(yōu)秀的存儲(chǔ)能力，可以輕松支撐EB級(jí)存儲(chǔ)規(guī)模；千萬(wàn)級(jí)IOPS和TB級(jí)聚合帶寬能夠滿足高并發(fā)訪問(wèn)需求，加之部署簡(jiǎn)單、靈活擴(kuò)展的特點(diǎn)，為當(dāng)下日益增長(zhǎng)的海量數(shù)據(jù)提供極致容量、極致性能、極致可靠和極致性價(jià)比的存儲(chǔ)系統(tǒng)底層支撐。

2新存儲(chǔ)特質(zhì)之二：海量數(shù)據(jù)的高效管理

僅解決了數(shù)據(jù)存儲(chǔ)的問(wèn)題，對(duì)于新基建的需求來(lái)說(shuō)遠(yuǎn)遠(yuǎn)不夠，還要進(jìn)一步解決存儲(chǔ)數(shù)據(jù)的管理問(wèn)題。

數(shù)據(jù)就像我們?nèi)艘粯?，也有著它的生命周期，從產(chǎn)生到消亡，有很多個(gè)階段。舉個(gè)例子：一個(gè)病人去醫(yī)院就診拍攝Ｘ光片，剛產(chǎn)生的結(jié)果數(shù)據(jù)我們稱之為熱數(shù)據(jù)，這類數(shù)據(jù)對(duì)于數(shù)據(jù)的讀寫(xiě)效率和即時(shí)性有很高的要求。就診結(jié)束之后的一至兩年內(nèi)，病人會(huì)進(jìn)行復(fù)診，診斷數(shù)據(jù)不需要實(shí)時(shí)讀取但也需要能夠快速獲得，這類數(shù)據(jù)稱之為溫?cái)?shù)據(jù)；病人康復(fù)后，根據(jù)醫(yī)療行業(yè)就診數(shù)據(jù)需要至少保存２０年的要求，就診數(shù)據(jù)可以保存到成本相對(duì)較低的存儲(chǔ)介質(zhì)中，待有需要時(shí)再調(diào)取，這類數(shù)據(jù)我們稱之為冷數(shù)據(jù)。因此，新基建所需的新存儲(chǔ)系統(tǒng)需要具備數(shù)據(jù)生命周期管理的能力。

另外不得不提的一個(gè)數(shù)據(jù)管理場(chǎng)景便是邊緣計(jì)算和中心計(jì)算，云邊協(xié)同的數(shù)據(jù)管理能力對(duì)存儲(chǔ)系統(tǒng)支撐數(shù)據(jù)中心與邊緣之間的數(shù)據(jù)匯聚和分發(fā)至關(guān)重要。特別是5G的發(fā)展，工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)技術(shù)的應(yīng)用，數(shù)據(jù)更多會(huì)從攝像頭、傳感器、移動(dòng)設(shè)備等不同的邊緣端產(chǎn)生，而傳統(tǒng)的SAN/NAS存儲(chǔ)只能在局域網(wǎng)內(nèi)訪問(wèn)，無(wú)法提供云邊協(xié)同統(tǒng)一的數(shù)據(jù)管理能力。新存儲(chǔ)需要打破傳統(tǒng)存儲(chǔ)訪問(wèn)協(xié)議的限制，能夠基于互聯(lián)網(wǎng)協(xié)議實(shí)現(xiàn)數(shù)據(jù)跨網(wǎng)絡(luò)的統(tǒng)一管理和訪問(wèn)，從而能夠直接與數(shù)據(jù)中心之外的物聯(lián)網(wǎng)設(shè)備、智能終端直接交互數(shù)據(jù)，滿足當(dāng)前和未來(lái)數(shù)據(jù)交互的需求。

當(dāng)下應(yīng)用度較高的混合云場(chǎng)景數(shù)據(jù)也需要進(jìn)行數(shù)據(jù)管理。眾多公有云大廠都已經(jīng)推出了相應(yīng)的部署模式，出于安全和成本的考量，部分企業(yè)選擇將互聯(lián)網(wǎng)相關(guān)業(yè)務(wù)部署在公有云，同時(shí)將重要數(shù)據(jù)存放在私有云，以兼顧業(yè)務(wù)靈活和數(shù)據(jù)安全。企業(yè)私有云存儲(chǔ)需要和公有云存儲(chǔ)結(jié)合起來(lái)，實(shí)現(xiàn)業(yè)務(wù)無(wú)感知的數(shù)據(jù)上云、下云的融合和流動(dòng)。在這樣的發(fā)展趨勢(shì)下，需要新存儲(chǔ)能夠提供與公有云存儲(chǔ)相兼容的協(xié)議，以及可跨互聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)哪芰Α⒐性拼鎯?chǔ)與私有云存儲(chǔ)打通，形成混合云存儲(chǔ)的共同底座來(lái)構(gòu)建企業(yè)數(shù)據(jù)湖，這也是發(fā)展的必然。

任何技術(shù)的變革都需要一個(gè)過(guò)渡階段，新存儲(chǔ)的部署越來(lái)越多，傳統(tǒng)存儲(chǔ)也還會(huì)長(zhǎng)期存在并在其生命周期中繼續(xù)發(fā)揮作用。因此，通過(guò)對(duì)異構(gòu)存儲(chǔ)的整合實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一管理，不僅有效保護(hù)客戶既有投資，也應(yīng)該是新基建趨勢(shì)下對(duì)新存儲(chǔ)系統(tǒng)的要求。

3新存儲(chǔ)特質(zhì)之三：海量數(shù)據(jù)的價(jià)值挖掘

數(shù)據(jù)最終的價(jià)值呈現(xiàn)一定是為應(yīng)用服務(wù)的，人工智能和大數(shù)據(jù)分析技術(shù)的發(fā)展，驅(qū)動(dòng)數(shù)據(jù)產(chǎn)生更多的應(yīng)用價(jià)值。所以在數(shù)據(jù)的價(jià)值挖掘，我認(rèn)為新存儲(chǔ)系統(tǒng)的終極需求必須能夠更好地利用人工智能、服務(wù)于人工智能，賦能大數(shù)據(jù)價(jià)值挖掘。

在利用人工智能方面，傳統(tǒng)SAN/NAS系統(tǒng)因?yàn)槭芟抻谠L問(wèn)協(xié)議的限制，無(wú)法感知數(shù)據(jù)，只能在存儲(chǔ)底層利用數(shù)據(jù)訪問(wèn)IO分類、使用容量統(tǒng)計(jì)、存儲(chǔ)硬件錯(cuò)誤碼等信息進(jìn)行統(tǒng)計(jì)分析，來(lái)實(shí)現(xiàn)存儲(chǔ)系統(tǒng)自動(dòng)化運(yùn)維與管理等維度，以存儲(chǔ)系統(tǒng)自身管理效率改進(jìn)為目標(biāo)的 “基礎(chǔ)智能”。

而真正的智能存儲(chǔ)，我認(rèn)為最重要的核心價(jià)值應(yīng)該是基于數(shù)據(jù)感知，能夠?qū)?shù)據(jù)進(jìn)行加工和處理，進(jìn)而賦能應(yīng)用對(duì)數(shù)據(jù)的價(jià)值挖掘和價(jià)值呈現(xiàn)。所以新存儲(chǔ)系統(tǒng)需要能夠預(yù)集成一些通用的、面向業(yè)務(wù)場(chǎng)景的數(shù)據(jù)預(yù)處理功能和算法（如亞馬遜的S3 Select），然后通過(guò)與業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)感知，充分利用存儲(chǔ)系統(tǒng)閑置的計(jì)算能力，實(shí)現(xiàn)某種程度上的數(shù)據(jù)處理功能卸載和垂直優(yōu)化，降低業(yè)務(wù)對(duì)存儲(chǔ)的訪問(wèn)壓力，從而大幅提升應(yīng)用系統(tǒng)數(shù)據(jù)處理和分析效率。

另外，基于海量非結(jié)構(gòu)化數(shù)據(jù)的價(jià)值挖掘分析，基本都要依賴機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能技術(shù)。在人工智能場(chǎng)景中，數(shù)據(jù)要經(jīng)歷采集、清洗、訓(xùn)練、推理、歸檔等過(guò)程。人工智能各個(gè)階段對(duì)存儲(chǔ)系統(tǒng)要求差異非常大，比如在采集階段，需要存儲(chǔ)系統(tǒng)支持互聯(lián)網(wǎng)遠(yuǎn)程訪問(wèn)協(xié)議、吞吐量要大；在數(shù)據(jù)清洗階段，需要存儲(chǔ)系統(tǒng)支持基于標(biāo)簽的檢索，最好能支持視頻自動(dòng)抽幀等能力；而在訓(xùn)練階段，則要求存儲(chǔ)系統(tǒng)具備高并發(fā)低時(shí)延的高性能能力；最后在歸檔階段，則需要低成本的存儲(chǔ)系統(tǒng)。如果采用傳統(tǒng)存儲(chǔ)產(chǎn)品，一般需要不同類型存儲(chǔ)系統(tǒng)來(lái)搭配使用，以滿足成本、性能、檢索等多方面要求，但這又勢(shì)必造成數(shù)據(jù)在不同存儲(chǔ)系統(tǒng)之間的孤島。因此，新智能存儲(chǔ)應(yīng)該具有基于標(biāo)簽的數(shù)據(jù)檢索、多種訪問(wèn)協(xié)議接口互通能力、滿足高性能、低延時(shí)，以及低成本歸檔能力，從而實(shí)現(xiàn)機(jī)器學(xué)習(xí)不同AI管道階段數(shù)據(jù)的統(tǒng)一存儲(chǔ)，避免產(chǎn)生數(shù)據(jù)孤島，并且提高數(shù)據(jù)在各個(gè)AI管道的流轉(zhuǎn)效率。

總而言之，新基建為中國(guó)的產(chǎn)業(yè)升級(jí)清晰地指明了方向，數(shù)字化基礎(chǔ)設(shè)施的廣泛建設(shè)以及隨之產(chǎn)生的新型應(yīng)用需求將帶來(lái)數(shù)據(jù)爆發(fā)式的增長(zhǎng)。海量數(shù)據(jù)蘊(yùn)含著巨大的價(jià)值，存儲(chǔ)必將是新基建堅(jiān)實(shí)的底座。更多樣化的數(shù)據(jù)模式、日益復(fù)雜的數(shù)據(jù)管理以及高效的數(shù)據(jù)利用對(duì)存儲(chǔ)提出了更高的要求，無(wú)論是對(duì)于傳統(tǒng)存儲(chǔ)廠商還是創(chuàng)新型存儲(chǔ)廠商，是挑戰(zhàn)，更是機(jī)遇。

高端微信群介紹

創(chuàng)業(yè)投資群

AI、IOT、芯片創(chuàng)始人、投資人、分析師、券商

閃存群

覆蓋5000多位全球華人閃存、存儲(chǔ)芯片精英

云計(jì)算群

全閃存、軟件定義存儲(chǔ)SDS、超融合等公有云和私有云討論

AI芯片群

討論AI芯片和GPU、FPGA、CPU異構(gòu)計(jì)算

5G群

物聯(lián)網(wǎng)、5G芯片討論

第三代半導(dǎo)體群氮化鎵、碳化硅等化合物半導(dǎo)體討論

存儲(chǔ)芯片群DRAM、NAND、3D XPoint等各類存儲(chǔ)介質(zhì)和主控討論

汽車電子群MCU、電源、傳感器等汽車電子討論

光電器件群光通信、激光器、ToF、AR、VCSEL等光電器件討論

渠道群存儲(chǔ)和芯片產(chǎn)品報(bào)價(jià)、行情、渠道、供應(yīng)鏈
責(zé)任編輯:pj