數(shù)據(jù)湖架構(gòu)選它的理由是什么

隨著大數(shù)據(jù)的重要性和接受度的提高，人們也越來越需要考慮如何組織和托管大數(shù)據(jù)。答案之一是數(shù)據(jù)湖，在數(shù)據(jù)準(zhǔn)備和組織方面最廣泛的數(shù)據(jù)體系結(jié)構(gòu)系統(tǒng)。

簡單地說，它允許企業(yè)首先存儲數(shù)據(jù)，然后在需要時檢索數(shù)據(jù)。就像一個存儲單元，你只是把你的東西存儲，并在未來需要的時候找出來。

這種方法與傳統(tǒng)的數(shù)據(jù)倉庫截然不同，傳統(tǒng)的數(shù)據(jù)倉庫需要對數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，且通常在記錄數(shù)據(jù)之前采用類似表格的形式。數(shù)據(jù)倉庫是一種固定形式的解決方案，它不是敏捷的，同時意味著額外的重新配置成本。但迄今為止，它一直是全球企業(yè)的首選。

那么，將數(shù)據(jù)湖作為數(shù)據(jù)管理選項的主要原因有哪些？

削減成本

因為在存儲數(shù)據(jù)之前不需要設(shè)計數(shù)據(jù)的模式，所以沒有前期的開發(fā)費(fèi)用。且處理數(shù)據(jù)湖的Hadoop系統(tǒng)是開源的，因此沒有額外的軟件許可成本。

與傳統(tǒng)數(shù)據(jù)倉庫的不同之處在于，有了數(shù)據(jù)湖，ETL階段就完全沒有了。您不必知道存儲在湖中的數(shù)據(jù)類型或者有多少字段。刪除ETL過程意味著沒有與許可、維護(hù)或增長數(shù)據(jù)結(jié)構(gòu)相關(guān)的成本。

敏捷性

添加新單元或單個新項目可能會改變現(xiàn)有的整個數(shù)據(jù)結(jié)構(gòu)，從而引發(fā)額外的成本。此外，進(jìn)行這些更改所需的實現(xiàn)時間可能從幾天到幾周不等。

在數(shù)據(jù)湖中，所有的數(shù)據(jù)都已經(jīng)存儲，并且只有很少的變化，您可以隨時查詢。

這種方法幫助企業(yè)在當(dāng)今不斷變化的數(shù)據(jù)世界中保持敏捷性。未來幾年里可能會出現(xiàn)新的數(shù)據(jù)格式，其中一些甚至是現(xiàn)在還無法預(yù)見的。因此，企業(yè)數(shù)據(jù)存儲系統(tǒng)需要足夠靈活，在不進(jìn)行重大結(jié)構(gòu)更改的情況下滿足所有既定和突發(fā)要求。

多種格式

數(shù)據(jù)湖可以處理各種數(shù)據(jù)格式。即使數(shù)據(jù)湖中的一些數(shù)據(jù)看起來與其他數(shù)據(jù)無關(guān)，但從整體的角度進(jìn)行組合和分析時，它可以提供基本的業(yè)務(wù)見解。

例如，如果一個數(shù)據(jù)湖包含關(guān)于客戶的記錄，比如姓名、年齡、去年的支出，以及客戶在網(wǎng)上商店的行為統(tǒng)計圖，很難看出這些細(xì)節(jié)和銷售線索之間的直接聯(lián)系。然而，把所有的東西放在一起，可以發(fā)現(xiàn)一定年齡的客戶往往會更快地做出購買決定，這可能會影響銷售策略。

除了多種格式，還有關(guān)于數(shù)據(jù)源的上下文透視圖。最常見的資源包括面向客戶的應(yīng)用程序、BI應(yīng)用程序、銷售日志等。物聯(lián)網(wǎng)的興起將增加數(shù)據(jù)源和格式的數(shù)量，使數(shù)據(jù)湖成為唯一可靠的解決方案。

人工智能

由于數(shù)據(jù)湖使用非結(jié)構(gòu)化數(shù)據(jù)，因此不適合使用傳統(tǒng)的基于sql的工具進(jìn)行查詢。相反，由于大多數(shù)數(shù)據(jù)都具有合適的3v（體積、速度、多樣性），因此可以將其視為大數(shù)據(jù)并用于訓(xùn)練人工智能算法。

實際上，擁數(shù)據(jù)湖的目標(biāo)是讓信息實時（或幾乎實時）準(zhǔn)備好進(jìn)行處理。這種動態(tài)的方法為公司提供了立即反應(yīng)的機(jī)會。將所有數(shù)據(jù)放在同一個位置意味著在分析之前檢索數(shù)據(jù)的時間更少。

靈活性和規(guī)模

數(shù)據(jù)湖最典型的特性可能是其可伸縮性和靈活性，它可以適應(yīng)企業(yè)數(shù)據(jù)的任何變化，而不需要對基礎(chǔ)設(shè)施進(jìn)行重大更改。由于整個架構(gòu)是基于云的，通常通過按使用量付費(fèi)的業(yè)務(wù)模型進(jìn)行訪問，所以任何升級或降級都意味著只需更改您的支付計劃。

這種靈活性與不能實時修改的遺留系統(tǒng)形成了對比。數(shù)據(jù)湖可以很容易地添加或合并數(shù)據(jù)。就像是現(xiàn)實中的湖泊，它可以由多條河流匯集，并且可以隨時添加新的河流，而不會干擾之前的設(shè)置。與此同時，遺留系統(tǒng)就像一個裝水設(shè)施，任何改變都需要更多的瓶子、更多的標(biāo)簽和重新安排時間。

局限

盡管數(shù)據(jù)湖有很多優(yōu)勢，但也并不是萬無一失的解決方案，也絕對不是萬能藥。數(shù)據(jù)湖最大的風(fēng)險在于，它們可能會變成數(shù)據(jù)沼澤，數(shù)據(jù)可能會被毫無意義地丟棄。

所有保存的數(shù)據(jù)流都應(yīng)該與項目中的kpi和業(yè)務(wù)目標(biāo)相結(jié)合。避免信息癱瘓的一種方法是創(chuàng)建可視化儀表板，通過儀表板，數(shù)據(jù)可以被正確顯示，即使不是數(shù)據(jù)庫學(xué)家也可以理解數(shù)據(jù)。

來源：IT168