什么是數(shù)據(jù)湖？數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)有什么區(qū)別？

從本質(zhì)上說(shuō)，數(shù)據(jù)湖就是一個(gè)信息資源庫(kù)。人們常常將數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)混為一談，但兩者在架構(gòu)和滿足的業(yè)務(wù)需求上都不一樣。尤其是，隨著社交媒體數(shù)據(jù)、物聯(lián)網(wǎng)機(jī)器數(shù)據(jù)和交易數(shù)據(jù)持續(xù)快速增加，云數(shù)據(jù)湖成為了現(xiàn)代數(shù)據(jù)管理戰(zhàn)略的重要組成部分。存儲(chǔ)、轉(zhuǎn)換和分析各類(lèi)數(shù)據(jù)的能力可以為企業(yè)發(fā)現(xiàn)新業(yè)務(wù)機(jī)會(huì)和實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型鋪平道路，而數(shù)據(jù)湖正好能賦予企業(yè)這種能力。

數(shù)據(jù)湖的定義

數(shù)據(jù)湖是一個(gè)中央數(shù)據(jù)存儲(chǔ)庫(kù)，可以幫助解決數(shù)據(jù)孤島問(wèn)題。重要的是，數(shù)據(jù)湖可以存儲(chǔ)大量原生或原始格式的原始數(shù)據(jù)，包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化格式的數(shù)據(jù)。數(shù)據(jù)湖，尤其是云端的數(shù)據(jù)湖，具有成本低、易擴(kuò)展的特點(diǎn)，并且常與實(shí)用機(jī)器學(xué)習(xí)分析工具一起使用。

數(shù)據(jù)湖 VS 數(shù)據(jù)倉(cāng)庫(kù)

與數(shù)據(jù)湖相比，數(shù)據(jù)倉(cāng)庫(kù)還提供數(shù)據(jù)管理功能，而且存儲(chǔ)的是經(jīng)過(guò)處理和過(guò)濾的數(shù)據(jù)，這些數(shù)據(jù)事先基于預(yù)定義的業(yè)務(wù)問(wèn)題或用例進(jìn)行了處理。

數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖對(duì)比

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖通?；檠a(bǔ)充。例如，當(dāng)需要存儲(chǔ)在數(shù)據(jù)湖中的原始數(shù)據(jù)來(lái)回答業(yè)務(wù)問(wèn)題時(shí)，可以將其從數(shù)據(jù)湖中提取出來(lái)，進(jìn)行清理和轉(zhuǎn)換，然后在數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)一步分析。

“數(shù)據(jù)湖倉(cāng)一體”是近幾年出現(xiàn)的新概念，還在不斷發(fā)展，它在傳統(tǒng)數(shù)據(jù)湖的基礎(chǔ)上增添了數(shù)據(jù)管理功能。從本質(zhì)上講，數(shù)據(jù)湖庫(kù)就是數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的融合。

除上述數(shù)據(jù)類(lèi)型和流程差異外，下表還列出了數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)解決方案的一些其他區(qū)別。

審核編輯 黃宇