大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲技術(shù)的發(fā)展

數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)成為新的生產(chǎn)資料，數(shù)據(jù)驅(qū)動體驗(yàn)、數(shù)據(jù)驅(qū)動決策、數(shù)據(jù)驅(qū)動流程的各種應(yīng)用正不斷上演。5G、云、AI加速行業(yè)數(shù)字化轉(zhuǎn)型，海量數(shù)據(jù)時(shí)代已經(jīng)到來。海量數(shù)據(jù)促使企業(yè)從數(shù)據(jù)管理走向數(shù)據(jù)運(yùn)營，目前，正面臨三大挑戰(zhàn)：一是成本高、存不下；二是效率低、流不動；三是自動化差、管不好。

Hadoop1.0時(shí)代，計(jì)算和存儲是高度融合，僅能處理單一的MapReduce分析業(yè)務(wù)；Hadoop2.0時(shí)代，計(jì)算層與數(shù)據(jù)開始解耦，通過Yarn實(shí)現(xiàn)了獨(dú)立的資源管理，并開始支持Spark等更多的計(jì)算引擎；而如今來到Hadoop3.0時(shí)代，計(jì)算存儲已分開演進(jìn)，通過Hadoop EC來支持冷數(shù)據(jù)的存儲，同時(shí)引入外置存儲，如S3，增強(qiáng)其存儲底座能力，逐步向數(shù)據(jù)湖架構(gòu)演進(jìn)。Hadoop3.0時(shí)代，計(jì)算正向輕量化和容器化方向發(fā)展，計(jì)算存儲分離演進(jìn)已成為事實(shí)。計(jì)算存儲分離后，我們用企業(yè)級的存儲基座替代原來的原生大數(shù)據(jù)存儲基座，好處是可以把當(dāng)前企業(yè)級存儲的先進(jìn)技術(shù)帶入到大數(shù)據(jù)里面來，如高可靠、高利用率、多協(xié)議融合等，更好地釋放數(shù)據(jù)的價(jià)值。

舉個例子來說，2018年，華為創(chuàng)新性推出基于OceanStor Pacific系列的大數(shù)據(jù)存算分離方案。在成本方面，華為大數(shù)據(jù)存算分離方案實(shí)現(xiàn)存算分離，資源按需獨(dú)立擴(kuò)展，彈性EC、冷熱數(shù)據(jù)分級，存儲成本大幅降低。在數(shù)據(jù)應(yīng)用效率方面，華為OceanStor Pacific系列采用全對稱分布式NameNode，集群性能和支持文件數(shù)隨節(jié)點(diǎn)數(shù)目增加線性提升，單一命名空間支持文件數(shù)達(dá)百億級。在實(shí)際操作運(yùn)維方面，華為OceanStor Pacific系列提供的原生HDFS接口提供了更佳性能和使用體驗(yàn)。通過ViewFS或Hbase元數(shù)據(jù)網(wǎng)關(guān)方式可實(shí)現(xiàn)新老共存，實(shí)現(xiàn)存算一體向存算分離的平滑演進(jìn)，保護(hù)用戶已有投資。
責(zé)任編輯：tzh