一文解析數(shù)據(jù)網(wǎng)格、數(shù)據(jù)虛擬化、數(shù)據(jù)湖

什么是數(shù)據(jù)虛擬化

根據(jù)Gartner的定義，虛擬化是IT資源的抽象，它向資源用戶(hù)掩蓋了它們的物理性質(zhì)和邊界。將定義擴(kuò)展到數(shù)據(jù)，數(shù)據(jù)虛擬化是數(shù)據(jù)集成的概念，它通過(guò)消除數(shù)據(jù)孤島和連接所有數(shù)據(jù)資產(chǎn)來(lái)創(chuàng)建虛擬抽象層。它為數(shù)據(jù)生態(tài)系統(tǒng)中的不同應(yīng)用程序提供了一個(gè)通用層。

DAMA（國(guó)際數(shù)據(jù)管理協(xié)會(huì)）是這樣定義數(shù)據(jù)虛擬化的：

數(shù)據(jù)虛擬化使分布式數(shù)據(jù)庫(kù)和多個(gè)異構(gòu)數(shù)據(jù)存儲(chǔ)能夠作為單個(gè)數(shù)據(jù)庫(kù)進(jìn)行訪問(wèn)和查看。因此，數(shù)據(jù)虛擬化服務(wù)器不是使用轉(zhuǎn)換引擎對(duì)數(shù)據(jù)進(jìn)行物理ETL，而是虛擬地執(zhí)行數(shù)據(jù)提取、轉(zhuǎn)換和集成。

數(shù)據(jù)虛擬化的目標(biāo)是構(gòu)建所有數(shù)據(jù)的單一視圖，無(wú)論來(lái)源或格式如何，而無(wú)需物理復(fù)制或移動(dòng)該數(shù)據(jù)。

什么是數(shù)據(jù)湖

數(shù)據(jù)湖是存儲(chǔ)從各種源系統(tǒng)（事務(wù)數(shù)據(jù)庫(kù)、傳感器設(shè)備、SaaS應(yīng)用程序、文件共享系統(tǒng)等）收集的信息副本的存儲(chǔ)庫(kù)，以其本機(jī)格式供ML解決方案處理、備份和歸檔、大數(shù)據(jù)分析等。

首先，從各種來(lái)源獲取的信息進(jìn)入著陸區(qū)，在那里它暫時(shí)保持原樣。當(dāng)一家公司建立了持續(xù)攝取、提取、轉(zhuǎn)換和加載（ETL）和變更數(shù)據(jù)捕獲（CDC）能力時(shí)，多類(lèi)型信息可以在創(chuàng)建后立即進(jìn)入數(shù)據(jù)湖。一旦數(shù)據(jù)進(jìn)入湖中，每組數(shù)據(jù)都會(huì)被分配一個(gè)唯一的指示符或索引，以及一個(gè)元數(shù)據(jù)標(biāo)簽，以加快查詢(xún)速度并幫助用戶(hù)快速查找請(qǐng)求的數(shù)據(jù)。之后，數(shù)據(jù)可能會(huì)經(jīng)過(guò)清洗、重復(fù)數(shù)據(jù)刪除、重新格式化、豐富等操作，然后移至可信區(qū)域進(jìn)行永久存儲(chǔ)。當(dāng)信息準(zhǔn)備好供下游用戶(hù)使用時(shí)，它可能會(huì)直接進(jìn)入報(bào)告和儀表板，或者經(jīng)過(guò)另一輪ETL并存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中以供進(jìn)一步處理。

什么是數(shù)據(jù)編織

數(shù)據(jù)編織是一種設(shè)計(jì)方法，它意味著將數(shù)據(jù)生態(tài)系統(tǒng)的復(fù)雜組件組合到一個(gè)統(tǒng)一的平臺(tái)中，以提供完整和有凝聚力的數(shù)據(jù)管理。與數(shù)據(jù)湖不同，數(shù)據(jù)編織不需要將數(shù)據(jù)移動(dòng)到集中位置，而是依賴(lài)強(qiáng)大的數(shù)據(jù)治理策略來(lái)實(shí)現(xiàn)數(shù)據(jù)管理統(tǒng)一。

為了促進(jìn)跨不同系統(tǒng)訪問(wèn)信息、管理其生命周期并將其公開(kāi)給最終用戶(hù)，DataFabric架構(gòu)支持：

數(shù)據(jù)整合

任何信息，無(wú)論其類(lèi)型、數(shù)量和位置如何，都可以被用戶(hù)整合和訪問(wèn)，因?yàn)閿?shù)據(jù)編織允許利用數(shù)據(jù)虛擬化層來(lái)整合數(shù)據(jù)，而無(wú)需移動(dòng)數(shù)據(jù)和創(chuàng)建大量副本。除此之外，為了保證數(shù)據(jù)的完整性，DataFabric可以采用ETL、CDC、流處理等。

智能數(shù)據(jù)目錄

數(shù)據(jù)目錄是企業(yè)擁有的所有數(shù)據(jù)的詳細(xì)清單。隨著數(shù)據(jù)編織統(tǒng)一了大量信息，數(shù)據(jù)目錄維護(hù)元數(shù)據(jù)以幫助數(shù)據(jù)消費(fèi)者（包括分析師、數(shù)據(jù)庫(kù)工程師、科學(xué)家、業(yè)務(wù)用戶(hù)等）查找和理解數(shù)據(jù)、跟蹤其沿襲、評(píng)估和管理數(shù)據(jù)等等。

動(dòng)態(tài)元數(shù)據(jù)管理

數(shù)據(jù)編織通常采用人工智能功能，幫助自動(dòng)檢測(cè)、分析、收集和激活元數(shù)據(jù)。

數(shù)據(jù)治理

數(shù)據(jù)治理確保數(shù)據(jù)消費(fèi)者在各自的策略（訪問(wèn)策略、屏蔽策略、數(shù)據(jù)質(zhì)量策略等）的幫助下只能訪問(wèn)他們需要的高質(zhì)量信息，這些策略由于元數(shù)據(jù)激活功能而自動(dòng)執(zhí)行。

什么是數(shù)據(jù)網(wǎng)格

數(shù)據(jù)網(wǎng)格是一種分布式數(shù)據(jù)架構(gòu)，在集中管理和互操作性標(biāo)準(zhǔn)化下，由共享和協(xié)調(diào)的自助數(shù)據(jù)基礎(chǔ)設(shè)施支持。數(shù)據(jù)網(wǎng)格模式代表分散的和特定領(lǐng)域的數(shù)據(jù)所有權(quán)，這些數(shù)據(jù)所有權(quán)很容易被發(fā)現(xiàn)并可供組織中的每個(gè)人使用。

數(shù)據(jù)網(wǎng)格有幾個(gè)區(qū)別于其他模式的關(guān)鍵特征：

數(shù)據(jù)所有權(quán)：數(shù)據(jù)網(wǎng)格跨不同域存儲(chǔ)數(shù)據(jù)。此數(shù)據(jù)由領(lǐng)域?qū)＜揖S護(hù)和管理。

數(shù)據(jù)作為產(chǎn)品：每個(gè)數(shù)據(jù)域都被視為一個(gè)產(chǎn)品，用戶(hù)就是它的客戶(hù)。

自助數(shù)據(jù)平臺(tái)：數(shù)據(jù)網(wǎng)格提倡建立一個(gè)生態(tài)系統(tǒng)，支持創(chuàng)建、使用和維護(hù)數(shù)據(jù)產(chǎn)品，而無(wú)需專(zhuān)業(yè)知識(shí)或復(fù)雜工具和技術(shù)方面的專(zhuān)業(yè)知識(shí)。

聯(lián)合計(jì)算治理：分散的數(shù)據(jù)產(chǎn)品可能導(dǎo)致數(shù)據(jù)孤島。聯(lián)合治理方法將與數(shù)據(jù)相關(guān)的規(guī)則、定義和過(guò)程標(biāo)準(zhǔn)化。

數(shù)據(jù)網(wǎng)格脫離了集中存儲(chǔ)、轉(zhuǎn)換和處理分析數(shù)據(jù)的概念。相反，它提倡每個(gè)業(yè)務(wù)領(lǐng)域負(fù)責(zé)托管、準(zhǔn)備數(shù)據(jù)并將其提供給自己的領(lǐng)域和更大的受眾。

比較：數(shù)據(jù)編織與數(shù)據(jù)虛擬化

數(shù)據(jù)編制是一種用于現(xiàn)代數(shù)據(jù)管理的端到端架構(gòu)。數(shù)據(jù)結(jié)構(gòu)用于簡(jiǎn)化數(shù)據(jù)發(fā)現(xiàn)、治理和主動(dòng)元數(shù)據(jù)管理。當(dāng)組織需要一個(gè)集中式平臺(tái)來(lái)訪問(wèn)、管理和治理所有數(shù)據(jù)時(shí)，應(yīng)使用數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)虛擬化創(chuàng)建了一個(gè)數(shù)據(jù)抽象層來(lái)集成所有數(shù)據(jù)，而無(wú)需物理移動(dòng)數(shù)據(jù)。當(dāng)需要快速集成數(shù)據(jù)時(shí)，使用數(shù)據(jù)虛擬化。數(shù)據(jù)虛擬化應(yīng)被視為數(shù)據(jù)結(jié)構(gòu)架構(gòu)的核心元素之一。

數(shù)據(jù)虛擬化改變了數(shù)據(jù)到達(dá)分析師、數(shù)據(jù)科學(xué)家、企業(yè)或應(yīng)用程序手中的方式。它不是將數(shù)據(jù)物理地移動(dòng)到云端或本地，而是創(chuàng)建一個(gè)抽象層或數(shù)據(jù)虛擬化層。因此，它連接到不同的數(shù)據(jù)源、攝取數(shù)據(jù)、執(zhí)行 ETL 過(guò)程并創(chuàng)建虛擬數(shù)據(jù)層，從而允許用戶(hù)實(shí)時(shí)利用來(lái)自多個(gè)來(lái)源的數(shù)據(jù)。

Data Virtualization 是支持 Data Fabric 的技術(shù)之一。Data Fabric 是一個(gè)端到端數(shù)據(jù)管理架構(gòu)，其目標(biāo)或用例不僅僅是在云端或業(yè)務(wù)分析師手中獲取數(shù)據(jù)，而是處理更廣泛的情況，如客戶(hù)智能或客戶(hù) 360 度視圖或物聯(lián)網(wǎng)分析。Data Fabric 適用于更大范圍的技術(shù)堆棧。

比較：數(shù)據(jù)編織與數(shù)據(jù)湖

數(shù)據(jù)湖是數(shù)據(jù)和數(shù)據(jù)資產(chǎn)的存儲(chǔ)庫(kù)，而數(shù)據(jù)編織是提取和利用此類(lèi)信息的方法。許多專(zhuān)家認(rèn)為這兩個(gè)短語(yǔ)是同義詞，使用數(shù)據(jù)編織從存儲(chǔ)的數(shù)據(jù)中提取最大價(jià)值是最好的方法。但是，它們之間存在顯著差異。

數(shù)據(jù)湖是未排序或索引的原始形式的數(shù)據(jù)存儲(chǔ)庫(kù)。數(shù)據(jù)可能是從簡(jiǎn)單文件到大型二進(jìn)制對(duì)象的任何內(nèi)容，例如視頻、音頻、圖像或多媒體文件。提取數(shù)據(jù)后，會(huì)對(duì)其進(jìn)行評(píng)估和操作以使其可用。

術(shù)語(yǔ)“數(shù)據(jù)編織”是指一個(gè)組織的數(shù)據(jù)在所有存儲(chǔ)和使用場(chǎng)景中使用的系統(tǒng)，它使用同一組協(xié)議、流程、組織和安全性。

比較：數(shù)據(jù)編織與數(shù)據(jù)網(wǎng)格

盡管數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格這兩個(gè)術(shù)語(yǔ)有時(shí)可以互換使用，但它們代表了截然不同的概念。一般來(lái)說(shuō)，數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格的相似之處在于它們都是識(shí)別企業(yè)如何管理大量存儲(chǔ)信息的技術(shù)。數(shù)據(jù)編織方法旨在通過(guò)在數(shù)據(jù)保存的地方構(gòu)建一個(gè)管理層來(lái)規(guī)范數(shù)據(jù)。后者與前者的不同之處在于，某些類(lèi)型的數(shù)據(jù)管理的各個(gè)方面由組織內(nèi)利用該信息的團(tuán)隊(duì)或小組處理。

另一方面，數(shù)據(jù)編織是一種以技術(shù)為中心的架構(gòu)方法，可解決數(shù)據(jù)和元數(shù)據(jù)的難題。相比之下，數(shù)據(jù)網(wǎng)格更側(cè)重于組織變革，強(qiáng)調(diào)人員和程序而不是架構(gòu)。

編輯：黃飛
?