大數(shù)據(jù)分析所面臨的機遇與挑戰(zhàn)

2021年已經(jīng)到來，現(xiàn)在是深入研究大數(shù)據(jù)分析面臨的挑戰(zhàn)的時候了，需要調(diào)查其根本原因，本文重點介紹了解決這些問題的潛在解決方案。

在開始使用大數(shù)據(jù)分析系統(tǒng)時，組織最好考慮周全。因為一旦大數(shù)據(jù)分析已經(jīng)啟動運行，任何修復(fù)都可能成本高昂。

在當(dāng)今的數(shù)字世界中，很多組織采用大數(shù)據(jù)分析系統(tǒng)改進業(yè)務(wù)決策、增強責(zé)任感、提高生產(chǎn)率、做出更好的預(yù)測、監(jiān)控績效，并獲得競爭優(yōu)勢。然而，許多組織在戰(zhàn)略層面上使用商業(yè)智能分析存在一些問題。根據(jù)調(diào)研機構(gòu)Gartner公司的調(diào)查，87%的組織表示商業(yè)智能（BI）和分析成熟度較低，缺乏數(shù)據(jù)指導(dǎo)和支持。業(yè)務(wù)數(shù)據(jù)分析面臨的問題不僅與分析本身有關(guān)，還可能與深層次的系統(tǒng)或基礎(chǔ)設(shè)施問題有關(guān)。

1. 解決方案無法提供新見解或及時的見解

很多組織投資采用新的大數(shù)據(jù)業(yè)務(wù)分析解決方案，力求獲得獨特的見解，以幫助領(lǐng)導(dǎo)者做出更明智的業(yè)務(wù)決策。但有時，新系統(tǒng)提供的見解似乎還不如以往采用的系統(tǒng)提供的見解水平和質(zhì)量。組織可以從業(yè)務(wù)或技術(shù)的角度來解決這個問題。

（1）數(shù)據(jù)不足

有些組織可能由于分析數(shù)據(jù)不足，無法生成新的見解。這可能是由于缺乏數(shù)據(jù)集成或數(shù)據(jù)組織不當(dāng)造成的。

在這種情況下，可以進行數(shù)據(jù)審核，并確保現(xiàn)有數(shù)據(jù)集成提供所需的見解。新數(shù)據(jù)源的集成也可以消除數(shù)據(jù)的缺乏。還需要檢查原始數(shù)據(jù)是如何進入系統(tǒng)的，并確保所有可能的維度和指標均已經(jīng)公開并進行分析。最后，數(shù)據(jù)存儲的多樣性也可能是一個問題?？梢酝ㄟ^引入數(shù)據(jù)湖來解決這一問題。

（2）數(shù)據(jù)響應(yīng)慢

當(dāng)組織需要實時接收見解時，通常會發(fā)生這種情況，但是其系統(tǒng)是為批處理而設(shè)計的。因此有些數(shù)據(jù)現(xiàn)在仍無法使用，因為它們?nèi)栽谑占蝾A(yù)處理中。

檢查組織的ETL（提取、轉(zhuǎn)換、加載）是否能夠根據(jù)更頻繁的計劃來處理數(shù)據(jù)。在某些情況下，批處理驅(qū)動的解決方案可以將計劃調(diào)整提高兩倍。另一個選擇是使用一種稱為Lambda 架構(gòu)的方法，該方法允許組織將傳統(tǒng)的批處理管道與快速的實時流結(jié)合起來。

（3）新系統(tǒng)采用舊方法

雖然組織采用了新系統(tǒng)。但是通過原有的辦法很難獲得更好的答案。這主要是一個業(yè)務(wù)問題，并且針對這一問題的解決方案因情況而異。最好的方法是咨詢行業(yè)專家，行業(yè)專家在分析方法方面擁有豐富經(jīng)驗，并且了解其業(yè)務(wù)領(lǐng)域。

2. 不準確的分析

對組織來說，沒有什么比不正確的分析更糟糕的事情了，這個問題需要盡快解決。

（1）源數(shù)據(jù)質(zhì)量差

如果組織的系統(tǒng)依賴于有缺陷、錯誤或不完整的數(shù)據(jù)，那么獲得的結(jié)果將會很糟糕。數(shù)據(jù)質(zhì)量管理和涵蓋ETL過程每個階段的強制性數(shù)據(jù)驗證過程，可以幫助確保不同級別（語法、語義、業(yè)務(wù)等）的傳入數(shù)據(jù)的質(zhì)量。它使組織能夠識別并清除錯誤，并確保對某個區(qū)域的修改立即顯示出來，從而使數(shù)據(jù)純凈而準確。

（2）與數(shù)據(jù)流有關(guān)的系統(tǒng)缺陷

當(dāng)由于開發(fā)、測試或驗證過程中的人為錯誤而忽略或沒有完全滿足系統(tǒng)的需求時，就會發(fā)生這種情況。

通過對開發(fā)生命周期進行高質(zhì)量的測試和驗證，可以減少此類問題的發(fā)生，從而最大程度地減少數(shù)據(jù)處理問題。即使使用高質(zhì)量數(shù)據(jù)，組織的分析也可能會提供不準確的結(jié)果。在這種情況下，有必要對系統(tǒng)進行詳細檢查，并檢查數(shù)據(jù)處理算法的實施是否無故障。

3. 在復(fù)雜的環(huán)境中使用數(shù)據(jù)分析

這個問題可能會使為創(chuàng)建有效解決方案而投入的所有努力付諸東流。如果使用的數(shù)據(jù)分析變得太復(fù)雜，可能會發(fā)現(xiàn)很難從數(shù)據(jù)中提取價值。復(fù)雜性問題通常歸結(jié)為用戶體驗（當(dāng)用戶很難瀏覽系統(tǒng)并從報告中獲取信息時）或技術(shù)方面（當(dāng)系統(tǒng)設(shè)計過度時）。

（1）數(shù)據(jù)可視化顯示凌亂

如果組織的報告復(fù)雜程度太高。這很耗時或很難找到必要的信息?？梢酝ㄟ^聘請用戶界面（UI）/用戶體驗（UX）專家來解決此問題，這將幫助組織創(chuàng)建引人注目的用戶界面，該界面易于瀏覽和使用。

（2）系統(tǒng)設(shè)計過度

數(shù)據(jù)分析系統(tǒng)處理的場景很多，并且為組織提供了比其需要還要多的功能，從而模糊了重點。這也會消耗更多的硬件資源，并增加成本。因此，用戶只能使用部分功能，其他的一些功能有些浪費，并且其解決方案過于復(fù)雜。

確定多余的功能對于組織很重要。使組織的團隊定義關(guān)鍵指標：希望可以準確地測量和分析什么，經(jīng)常使用哪些功能以及關(guān)注點是什么。然后摒棄所有不必要的功能。讓業(yè)務(wù)領(lǐng)域的專家來幫助組織進行數(shù)據(jù)分析也是一個很好的選擇。

4. 系統(tǒng)響應(yīng)時間長

即使輸入數(shù)據(jù)已經(jīng)可用，數(shù)據(jù)分析系統(tǒng)仍然花費大量時間來分析數(shù)據(jù)，并且需要快速提交報告。對于批處理而言，它可能并不那么重要，但是對于實時系統(tǒng)而言，這種延遲可能會花費很多成本。

（1）數(shù)據(jù)組織效率低下

也許組織的數(shù)據(jù)組織起來非常困難。最好檢查其數(shù)據(jù)倉庫是否根據(jù)所需的用例和方案進行設(shè)計。如果不是這樣，重新設(shè)計肯定會有所幫助。

（2）大數(shù)據(jù)分析基礎(chǔ)設(shè)施和資源利用問題

問題可能出在系統(tǒng)本身，這意味著它已達到其可擴展性極限，也可能是組織的硬件基礎(chǔ)設(shè)施不再足夠。

這里最簡單的解決方案是升級，即為系統(tǒng)添加更多計算資源。只要它能在可承受的預(yù)算范圍內(nèi)幫助改善系統(tǒng)響應(yīng)，并且只要資源得到合理利用就很好。從戰(zhàn)略角度來看，更明智的方法是將系統(tǒng)拆分為單獨的組件，并對其進行獨立擴展。但是需要記住的是，這可能需要對系統(tǒng)重新設(shè)計并進行額外的投資。

5. 維護成本昂貴

任何系統(tǒng)都需要對其維護和對基礎(chǔ)設(shè)施進行持續(xù)投資。每個組織都希望盡量減少這些投資。因此，即使對降低維護和基礎(chǔ)設(shè)施的成本感到滿意，也需要重新研究一下系統(tǒng)，并確保沒有支付過高的費用。

（1）過時的技術(shù)

每天都會出現(xiàn)可以更快、成本更低處理更多數(shù)據(jù)量的新技術(shù)。因此，與現(xiàn)代技術(shù)相比，組織的分析技術(shù)遲早會過時，需要采用更多的硬件資源，并且維護成本會更高。也難以找到愿意基于傳統(tǒng)技術(shù)開發(fā)和支持解決方案的專家。

組織最好的解決辦法是采用新技術(shù)。從長遠來看，它們不僅可以降低系統(tǒng)的維護成本，還可以提高可靠性、可用性和可擴展性。逐步進行系統(tǒng)重新設(shè)計，并逐步采用新元素替換舊元素也很重要。

（2）并非最佳的基礎(chǔ)設(shè)施

基礎(chǔ)設(shè)施總有一些優(yōu)化成本的空間。如果組織仍然采用的是內(nèi)部部署設(shè)施，將業(yè)務(wù)遷移到云平臺可能是一個不錯的選擇。使用云計算解決方案，組織可以按需付費，從而顯著降低成本。如果對安全性有任何限制，仍然可以遷移到私有云。如果已經(jīng)在云平臺上運營，需要檢查是否有效地使用，并確保已經(jīng)實施了所有的最佳實踐來削減開支。

（3）選擇了設(shè)計過度的系統(tǒng)

如果組織沒有使用大多數(shù)系統(tǒng)功能，則需要繼續(xù)為其使用的基礎(chǔ)設(shè)施支付費用。組織根據(jù)自己的需求修改業(yè)務(wù)指標并優(yōu)化系統(tǒng)?？梢圆捎酶臃蠘I(yè)務(wù)需求的簡單版本替換某些組件。

結(jié)論

組織可以調(diào)整現(xiàn)有的業(yè)務(wù)分析平臺，但可能會變成一項艱巨的任務(wù)。如果組織在新的解決方案設(shè)計和實施中錯過了某些內(nèi)容，則可能會浪費時間和資金。
責(zé)編AJX