數(shù)據(jù)網(wǎng)格是什么意思？為什么要考慮實(shí)現(xiàn)數(shù)據(jù)網(wǎng)格？

數(shù)據(jù)網(wǎng)格作為一種新的數(shù)據(jù)管理方法，在業(yè)界越來越受到關(guān)注。然而在興奮之余，人們對其復(fù)雜性以及能否兌現(xiàn)承諾表示擔(dān)憂。本文將深入探討數(shù)據(jù)網(wǎng)格的復(fù)雜性，解決圍繞其是否過時(shí)存在的巨大爭議，并探索它所帶來的機(jī)遇和挑戰(zhàn)。此外，還將討論該行業(yè)可能缺少的內(nèi)容以及可能阻礙其成功實(shí)施的潛在障礙。

數(shù)據(jù)網(wǎng)格：民主化和可擴(kuò)展數(shù)據(jù)架構(gòu)的范例

經(jīng)常使用的“數(shù)據(jù)網(wǎng)格”這一術(shù)語是什么意思，為什么要考慮實(shí)現(xiàn)數(shù)據(jù)網(wǎng)格？

類似于軟件工程團(tuán)隊(duì)如何從單片應(yīng)用程序過渡到微服務(wù)架構(gòu)，數(shù)據(jù)網(wǎng)格代表了微服務(wù)的數(shù)據(jù)平臺。數(shù)據(jù)網(wǎng)格的靈感來自軟件建模專家Eric Evans的“領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)”理論，該理論主張與特定業(yè)務(wù)領(lǐng)域保持一致的靈活和可擴(kuò)展的軟件開發(fā)，它提供了一種類似的方法。

與傳統(tǒng)的單片式數(shù)據(jù)基礎(chǔ)設(shè)施不同，傳統(tǒng)的單片數(shù)據(jù)基礎(chǔ)設(shè)施在集中的數(shù)據(jù)湖中處理數(shù)據(jù)消耗、存儲、轉(zhuǎn)換和輸出，數(shù)據(jù)網(wǎng)格支持分布式、特定領(lǐng)域的數(shù)據(jù)消費(fèi)者。它將“數(shù)據(jù)視為產(chǎn)品”，每個(gè)領(lǐng)域都負(fù)責(zé)管理自己的數(shù)據(jù)管道。

關(guān)鍵是，根據(jù)數(shù)據(jù)網(wǎng)格原則，領(lǐng)域團(tuán)隊(duì)承擔(dān)底層平臺或數(shù)據(jù)存儲層的所有權(quán)，這引發(fā)了一些爭議。這些領(lǐng)域通過通用互操作層連接起來，遵循一致的語法和數(shù)據(jù)標(biāo)準(zhǔn)。雖然可能會出現(xiàn)一些基礎(chǔ)設(shè)施重復(fù)，但某些團(tuán)隊(duì)已經(jīng)采用了更集中的平臺，從而產(chǎn)生混合的“數(shù)據(jù)網(wǎng)格”結(jié)構(gòu)。

在自助服務(wù)商業(yè)智能時(shí)代，許多企業(yè)宣稱自己是數(shù)據(jù)優(yōu)先的組織，這有些令人尷尬。然而，并不是所有這些公司都優(yōu)先考慮其數(shù)據(jù)架構(gòu)的民主化和可擴(kuò)展性。

行業(yè)領(lǐng)先的企業(yè)認(rèn)識到數(shù)據(jù)的變革潛力。例如，一些首席執(zhí)行官成為Snowflake和Looker等技術(shù)的早期采用者，或者首席數(shù)據(jù)官(CDO)領(lǐng)導(dǎo)團(tuán)隊(duì)進(jìn)行了關(guān)于數(shù)據(jù)管理最佳實(shí)踐的培訓(xùn)，而首席技術(shù)官(CTO)則投資了專門的數(shù)據(jù)工程團(tuán)隊(duì)。盡管如此，數(shù)據(jù)團(tuán)隊(duì)都渴望一種更簡單的方法來滿足企業(yè)不斷增長的需求，從處理連續(xù)的特殊查詢到通過集中的提取、轉(zhuǎn)換、加載(ETL)管道管理不同的數(shù)據(jù)源。

在追求民主化和可擴(kuò)展性的基礎(chǔ)上，人們意識到，當(dāng)前的數(shù)據(jù)架構(gòu)可能難以滿足企業(yè)不斷發(fā)展的需求，通常僅限于孤立的數(shù)據(jù)倉庫或?qū)崟r(shí)流功能有限的數(shù)據(jù)湖。

幸運(yùn)的是，有一種解決方案可以為數(shù)據(jù)管理提供一種全新的視角——數(shù)據(jù)網(wǎng)格，這是一種在整個(gè)行業(yè)掀起波瀾的架構(gòu)范式。

值得注意的是，數(shù)據(jù)網(wǎng)格經(jīng)常與“數(shù)據(jù)結(jié)構(gòu)”這一術(shù)語混淆，“數(shù)據(jù)結(jié)構(gòu)”是由Forrester公司分析師在世紀(jì)之交提出的。數(shù)據(jù)結(jié)構(gòu)包含由虛擬管理層鏈接的現(xiàn)代數(shù)據(jù)平臺組成的各種異構(gòu)解決方案。然而，它并沒有像數(shù)據(jù)網(wǎng)格那樣強(qiáng)調(diào)去中心化和領(lǐng)域驅(qū)動(dòng)的架構(gòu)。

數(shù)據(jù)網(wǎng)格的消亡是炒作還是現(xiàn)實(shí)？

在社交媒體討論領(lǐng)域，已經(jīng)有人猜測數(shù)據(jù)網(wǎng)格將會消亡。數(shù)據(jù)網(wǎng)格是由ThoughtWorks公司前首席顧問Zhamak Dehghani于2019年提出的，他提出了一種通過分布式架構(gòu)管理分析數(shù)據(jù)的新方法。通過使最終用戶能夠直接訪問和查詢原始位置的數(shù)據(jù)，數(shù)據(jù)網(wǎng)格消除了在數(shù)據(jù)湖或數(shù)據(jù)倉庫中進(jìn)行集中的需要。在這種模式下，數(shù)據(jù)被視為一種產(chǎn)品，其所有權(quán)歸屬于最密切參與其消費(fèi)和理解的團(tuán)隊(duì)。

引入這個(gè)概念是為了解決企業(yè)所面臨的挑戰(zhàn)，這些挑戰(zhàn)依賴于集中式數(shù)據(jù)平臺架構(gòu)，提供可擴(kuò)展的解決方案，并通過及時(shí)決策和為民主化數(shù)據(jù)擁有數(shù)據(jù)產(chǎn)品的交付。數(shù)據(jù)網(wǎng)格解決了與大規(guī)模數(shù)據(jù)可用性和可訪問性相關(guān)的問題，使業(yè)務(wù)用戶和數(shù)據(jù)科學(xué)家能夠從不同的數(shù)據(jù)源中提取、分析和操作有價(jià)值的見解，無論其位置如何。此外，它不需要專業(yè)數(shù)據(jù)團(tuán)隊(duì)的持續(xù)干預(yù)。

雖然數(shù)據(jù)網(wǎng)格是一個(gè)相對較新的概念，但圍繞其消亡的討論已經(jīng)引起了人們的關(guān)注。以下深入探討導(dǎo)致這樣的懷疑日益增長背后的原因。

Cloudera數(shù)據(jù)平臺促進(jìn)了數(shù)據(jù)網(wǎng)格架構(gòu)的關(guān)鍵原則，即領(lǐng)域所有權(quán)、數(shù)據(jù)即產(chǎn)品、自助服務(wù)平臺和聯(lián)合治理。

數(shù)據(jù)網(wǎng)格的復(fù)雜性：超越技術(shù)層面

數(shù)據(jù)網(wǎng)格不僅僅是技術(shù)方面的問題；它包含了數(shù)據(jù)管理的核心原則。它包括按領(lǐng)域管理數(shù)據(jù)、將數(shù)據(jù)視為產(chǎn)品、啟用自助服務(wù)數(shù)據(jù)平臺以及實(shí)現(xiàn)聯(lián)合計(jì)算治理。這些支柱構(gòu)成了數(shù)據(jù)網(wǎng)格的基礎(chǔ)，并塑造了其整體價(jià)值主張。

面向領(lǐng)域的數(shù)據(jù)所有者和管道：在數(shù)據(jù)網(wǎng)格架構(gòu)中，數(shù)據(jù)所有權(quán)在負(fù)責(zé)將其數(shù)據(jù)作為產(chǎn)品提供的領(lǐng)域數(shù)據(jù)所有者之間聯(lián)合起來。這種方法支持跨不同位置的分布式數(shù)據(jù)之間的通信和協(xié)作。

雖然數(shù)據(jù)基礎(chǔ)設(shè)施負(fù)責(zé)為每個(gè)領(lǐng)域提供必要的解決方案來處理數(shù)據(jù)，但領(lǐng)域本身管理數(shù)據(jù)的攝取、清理和聚合，以生成業(yè)務(wù)智能應(yīng)用程序可用的資產(chǎn)。每個(gè)域都擁有自己的提取、轉(zhuǎn)換、加載(ETL)管道，而一組適用于所有領(lǐng)域的功能處理原始數(shù)據(jù)的存儲、編目和訪問控制。一旦數(shù)據(jù)被提供給特定的領(lǐng)域并被轉(zhuǎn)換，領(lǐng)域所有者就可以利用它來滿足他們的分析或操作需求。數(shù)據(jù)沿襲在理解整個(gè)組織的消費(fèi)模式和支持向更分散的結(jié)構(gòu)過渡方面起著至關(guān)重要的作用。

自助服務(wù)功能：數(shù)據(jù)網(wǎng)格利用面向領(lǐng)域的設(shè)計(jì)原則提供自助數(shù)據(jù)平臺，允許用戶抽象技術(shù)復(fù)雜性并專注于其特定的數(shù)據(jù)用例。數(shù)據(jù)網(wǎng)格將與領(lǐng)域無關(guān)的數(shù)據(jù)基礎(chǔ)設(shè)施功能集中到一個(gè)共享平臺中，以解決在每個(gè)領(lǐng)域中維護(hù)數(shù)據(jù)管道和基礎(chǔ)設(shè)施所需的重復(fù)工作和技能問題。這個(gè)中央平臺處理數(shù)據(jù)管道引擎、存儲和流基礎(chǔ)設(shè)施。與此同時(shí)，每個(gè)領(lǐng)域都利用這些組件來運(yùn)行定制的ETL管道，提供必要的支持來服務(wù)于它們的數(shù)據(jù)，同時(shí)保持流程的自主性。

通信的互操作性和標(biāo)準(zhǔn)化：每個(gè)領(lǐng)域的核心是一套通用的數(shù)據(jù)標(biāo)準(zhǔn)，可在需要時(shí)促進(jìn)領(lǐng)域之間的協(xié)作。由于某些數(shù)據(jù)(包括原始數(shù)據(jù)源和經(jīng)過清理、轉(zhuǎn)換和服務(wù)的數(shù)據(jù)集)對多個(gè)領(lǐng)域變得有價(jià)值，因此跨領(lǐng)域協(xié)作是必不可少的。數(shù)據(jù)網(wǎng)格通過標(biāo)準(zhǔn)化格式、治理、可發(fā)現(xiàn)性和元數(shù)據(jù)字段以及其他數(shù)據(jù)特性來實(shí)現(xiàn)這一點(diǎn)。此外，與單個(gè)微服務(wù)類似，每個(gè)數(shù)據(jù)域定義并同意它們向其消費(fèi)者保證的服務(wù)水平協(xié)議(SLA)和質(zhì)量指標(biāo)。

面向領(lǐng)域的數(shù)據(jù)治理：在數(shù)據(jù)網(wǎng)格架構(gòu)中實(shí)施面向領(lǐng)域的數(shù)據(jù)治理方法，以確保符合全球和監(jiān)管約束和政策。這種方法利用聯(lián)合服務(wù)來保護(hù)企業(yè)的數(shù)據(jù)和系統(tǒng)。

聯(lián)合治理模型允許實(shí)施數(shù)據(jù)保護(hù)措施，同時(shí)適應(yīng)每個(gè)領(lǐng)域的獨(dú)特需求。它確保根據(jù)適用的法規(guī)和策略保護(hù)數(shù)據(jù)和系統(tǒng)，為在域級別管理數(shù)據(jù)隱私、安全性和遵從性提供框架。

通過實(shí)現(xiàn)聯(lián)合治理，數(shù)據(jù)網(wǎng)格架構(gòu)促進(jìn)了數(shù)據(jù)治理的結(jié)構(gòu)化和協(xié)調(diào)的方法，支持對數(shù)據(jù)資產(chǎn)的有效管理，同時(shí)保持對相關(guān)法規(guī)和策略的遵從性。

對領(lǐng)域名稱所有權(quán)的關(guān)注

數(shù)據(jù)網(wǎng)格的一個(gè)關(guān)鍵問題在于領(lǐng)域所有權(quán)的概念。雖然讓各個(gè)業(yè)務(wù)領(lǐng)域擁有和管理自己的數(shù)據(jù)似乎很有吸引力，但這也引發(fā)了潛在的孤島和碎片化問題。在處理企業(yè)范圍的數(shù)據(jù)治理或主數(shù)據(jù)管理時(shí)，領(lǐng)域的概念可能導(dǎo)致數(shù)據(jù)視圖的不完整。在授權(quán)領(lǐng)域所有者和確?？缬驍?shù)據(jù)協(xié)作之間取得平衡是一個(gè)需要解決的挑戰(zhàn)。

數(shù)據(jù)網(wǎng)格的模糊參數(shù)

理解數(shù)據(jù)網(wǎng)格的一個(gè)重大挑戰(zhàn)是需要特定的指導(dǎo)方針和參數(shù)。圍繞數(shù)據(jù)網(wǎng)格使用的語言通常圍繞著新的思維方式和不同的數(shù)據(jù)處理方式。雖然提到了聯(lián)合數(shù)據(jù)存儲和數(shù)據(jù)虛擬化等概念，但缺乏明確的實(shí)現(xiàn)指南。這種模糊性使得企業(yè)在采用數(shù)據(jù)網(wǎng)格時(shí)難以彌合理論與實(shí)踐之間的差距。

數(shù)據(jù)網(wǎng)格“消亡”背后的現(xiàn)實(shí)

2022年6月，調(diào)研機(jī)構(gòu)Gartner公司發(fā)布了《2022年炒作周期數(shù)據(jù)管理》，該報(bào)告根據(jù)采用水平和預(yù)計(jì)的主流采用時(shí)間表評估了技術(shù)的成熟度。這個(gè)周期有助于數(shù)據(jù)和分析領(lǐng)導(dǎo)者識別有前途的技術(shù)，并確定評估和采用的合適時(shí)機(jī)。

根據(jù)這份報(bào)告，數(shù)據(jù)網(wǎng)格目前處于“創(chuàng)新觸發(fā)”階段，尚未達(dá)到“膨脹預(yù)期的峰值”。根據(jù)預(yù)測，它將在達(dá)到平臺期之前過時(shí)。

Gartner公司的分析師Mark Beyer、Ehtisham Zaidi和Robert Thanaraj量化了數(shù)據(jù)網(wǎng)格的感知效益，并指出其在目標(biāo)受眾中的市場滲透率也相對較低，在1%到5%之間。圍繞數(shù)據(jù)網(wǎng)格的炒作源于聲稱它解決了集中式數(shù)據(jù)倉庫、數(shù)據(jù)湖和數(shù)據(jù)中心的挑戰(zhàn)。

為什么會發(fā)生這種情況?

Gartner公司解釋說，數(shù)據(jù)網(wǎng)格解決方案利用業(yè)務(wù)應(yīng)用程序以去中心化的方式捕獲和分發(fā)數(shù)據(jù)。在通常情況下，當(dāng)集中式方法未能產(chǎn)生令人滿意的結(jié)果時(shí)，通常是由于實(shí)施和交付方面的挑戰(zhàn)而采用分散的數(shù)據(jù)管理方法。然而，隨著支持集中式數(shù)據(jù)訪問的技術(shù)和解決方案的進(jìn)步，像數(shù)據(jù)網(wǎng)格這樣的分布式方法預(yù)計(jì)將在企業(yè)IT中失去流行性。

在這份報(bào)告發(fā)表之后，行業(yè)專家對Gartner公司的觀察結(jié)果表示支持和反對。Data Mesh Radio主持人Scott Hirlman批評Gartner公司對供應(yīng)商和技術(shù)的偏見，聲稱數(shù)據(jù)網(wǎng)格不太可能過時(shí)。

Gartner公司前分析師、現(xiàn)任Profisee公司數(shù)據(jù)策略主管Malcolm Hawker為Gartner公司的觀點(diǎn)進(jìn)行了辯護(hù)。他澄清道，Gartner公司并不認(rèn)為數(shù)據(jù)網(wǎng)格目前已經(jīng)過時(shí)，與其相反，這張圖表預(yù)示著未來的過時(shí)。Hawker表達(dá)了Gartner公司的理念，即數(shù)據(jù)結(jié)構(gòu)將成為主導(dǎo)的數(shù)據(jù)管理架構(gòu)模式，最終使數(shù)據(jù)網(wǎng)格過時(shí)。

數(shù)據(jù)網(wǎng)格和核心原理與技術(shù)的融合

業(yè)界廠商正在努力解決如何將數(shù)據(jù)網(wǎng)格的核心原則和理論與技術(shù)和流程的實(shí)際方面相結(jié)合的問題。雖然將數(shù)據(jù)視為產(chǎn)品并接受以領(lǐng)域?yàn)橹行牡乃袡?quán)的想法很有吸引力，但實(shí)際的實(shí)現(xiàn)和標(biāo)準(zhǔn)化提出了重大挑戰(zhàn)。企業(yè)必須在采用數(shù)據(jù)網(wǎng)格原則和確保他們擁有正確的工具、技術(shù)和流程來有效地支持它之間找到平衡。

從過去的錯(cuò)誤中吸取教訓(xùn)

數(shù)據(jù)網(wǎng)格是分散數(shù)據(jù)管理的眾多嘗試之一。根據(jù)以往的經(jīng)驗(yàn)，例如從集中式數(shù)據(jù)倉庫到以領(lǐng)域?yàn)橹行牡姆椒ǖ霓D(zhuǎn)換都面臨著挑戰(zhàn)。必須從過去的錯(cuò)誤中吸取教訓(xùn)，并評估技術(shù)的進(jìn)步和日益加深的理解是否能夠克服以前面臨的障礙。

需要明確和解決棘手的問題

為了確保數(shù)據(jù)網(wǎng)格的成功，需要明確其原則、治理模型和跨功能數(shù)據(jù)的處理。需要解決一些棘手的問題，例如如何處理跨多個(gè)領(lǐng)域域的關(guān)鍵數(shù)據(jù)域(如客戶或產(chǎn)品)。有了這些問題令人滿意的答案，數(shù)據(jù)網(wǎng)格的實(shí)用性和有效性就有了信心。

可觀察性在克服數(shù)據(jù)網(wǎng)格挑戰(zhàn)中的作用

數(shù)據(jù)網(wǎng)格架構(gòu)概念為數(shù)據(jù)行業(yè)帶來了令人興奮的機(jī)會和關(guān)注。一些個(gè)人和組織擔(dān)心與數(shù)據(jù)網(wǎng)格中自主性和民主化增加相關(guān)的潛在風(fēng)險(xiǎn)，特別是在數(shù)據(jù)發(fā)現(xiàn)、健康和管理方面。

然而，更仔細(xì)的研究表明，數(shù)據(jù)網(wǎng)格架構(gòu)實(shí)際上通過強(qiáng)制要求可擴(kuò)展和自助數(shù)據(jù)可觀察性來解決這些問題。數(shù)據(jù)可觀察性對于領(lǐng)域在數(shù)據(jù)網(wǎng)格框架內(nèi)真正擁有其數(shù)據(jù)變得至關(guān)重要。這種自助功能包括各種功能和標(biāo)準(zhǔn)化，包括靜態(tài)和動(dòng)態(tài)數(shù)據(jù)的數(shù)據(jù)加密、數(shù)據(jù)產(chǎn)品的版本控制、數(shù)據(jù)產(chǎn)品架構(gòu)、數(shù)據(jù)產(chǎn)品發(fā)現(xiàn)和目錄注冊、數(shù)據(jù)治理和標(biāo)準(zhǔn)化、數(shù)據(jù)產(chǎn)品生產(chǎn)、監(jiān)控和警報(bào)的數(shù)據(jù)沿襲、數(shù)據(jù)產(chǎn)品日志，以及衡量數(shù)據(jù)產(chǎn)品質(zhì)量的指標(biāo)。

當(dāng)這些功能和標(biāo)準(zhǔn)化結(jié)合在一起時(shí)，就建立了一個(gè)健壯的可觀察性層。數(shù)據(jù)網(wǎng)格范式強(qiáng)調(diào)了單個(gè)領(lǐng)域處理數(shù)據(jù)可觀察性的標(biāo)準(zhǔn)化和可擴(kuò)展方法的重要性，使團(tuán)隊(duì)能夠解決關(guān)鍵問題，例如數(shù)據(jù)新鮮度、數(shù)據(jù)完整性、跟蹤模式更改以及理解上游和下游管道的依賴關(guān)系。

展望未來，數(shù)據(jù)網(wǎng)格將會繼續(xù)發(fā)展，數(shù)據(jù)網(wǎng)格的創(chuàng)始人Zhamak Dehghani宣布成立Nextdata公司在數(shù)據(jù)行業(yè)掀起了波瀾。這家初創(chuàng)公司旨在通過提供對數(shù)據(jù)產(chǎn)品內(nèi)置信任的愉快體驗(yàn)，增強(qiáng)數(shù)據(jù)開發(fā)人員、用戶和所有者的能力。

隨著數(shù)據(jù)網(wǎng)格趨勢的發(fā)展，必須在實(shí)現(xiàn)完全去中心化的數(shù)據(jù)網(wǎng)格方法和在其架構(gòu)中納入卓越中心的元素之間找到平衡。為了探索對數(shù)據(jù)網(wǎng)格的進(jìn)一步見解和觀點(diǎn)，可以深入研究Zhamak Dehghani、Sven Balnojan的《數(shù)據(jù)網(wǎng)格在行動(dòng)》一書、Kevin Petrie的《數(shù)據(jù)網(wǎng)：重新思考數(shù)據(jù)集成》和Joe Gleinser的《你的應(yīng)用程序應(yīng)該考慮數(shù)據(jù)網(wǎng)連接嗎?》中的智慧和知識。

結(jié)論

數(shù)據(jù)網(wǎng)格為數(shù)據(jù)管理提出了一個(gè)有趣的概念，但在真正站穩(wěn)腳跟之前，它面臨著巨大的挑戰(zhàn)。該行業(yè)需要解決領(lǐng)域所有權(quán)問題，定義更精確的參數(shù)，并找到將核心原則與技術(shù)相結(jié)合的方法。通過從過去的經(jīng)驗(yàn)中學(xué)習(xí)并提出棘手的問題，可以駕馭數(shù)據(jù)網(wǎng)格的復(fù)雜性，并確定其在數(shù)據(jù)管理策略中的可行性。 審核編輯：彭菁