為什么將AI注入到IT運營中比數(shù)據(jù)本身更多的是數(shù)據(jù)

我與之交談的幾乎每個CIO都大膽地宣稱他們的企業(yè)是“數(shù)據(jù)驅(qū)動的企業(yè)”。但是，畢馬威會計師事務(wù)所（KPMG）最近進行的 全球CEO前景 調(diào)查卻截然不同：全球67%的CEO（美國的這一數(shù)字躍升至78%）表明，他們忽略了由CIO /他們提供的數(shù)據(jù)驅(qū)動的分析和預(yù)測模型IT團隊，因為這與他們自己的經(jīng)驗相矛盾;他們根據(jù)自己的直覺做出了重大的企業(yè)決策。

忽略了數(shù)據(jù)驅(qū)動的見解而遵循直覺的CEO

雖然結(jié)果有些令人震驚，但可以很容易地解釋它。首先，盡管企業(yè)生產(chǎn)的數(shù)據(jù)量足夠多，但是數(shù)據(jù)仍然在業(yè)務(wù)單元，域，平臺和實現(xiàn)（例如云與私有數(shù)據(jù)中心）之間非常分散。根據(jù)Forrester的說法，多達73%的公司數(shù)據(jù)未用于分析和見解。難怪首席執(zhí)行官僅使用總數(shù)據(jù)的27%生成的模型就獲得了可怕的結(jié)果！其次，大多數(shù)當前的預(yù)測模型僅使用歷史數(shù)據(jù)，而不使用流（實時）數(shù)據(jù)。這兩個重要因素導致預(yù)測的準確性不高。首席執(zhí)行官如果不信任模型，就無法做出決策，因為他們業(yè)務(wù)的成敗取決于他們做出的決策。

更多數(shù)據(jù)可以帶來更好的預(yù)測

盡管是IT運營使其他企業(yè)AI計劃保持平穩(wěn)運行，但實施AI以改善其自身的運營速度卻很慢。原因之一是上述數(shù)據(jù)零散。當向AI / ML模型提供部分數(shù)據(jù)時，您只會獲得企業(yè)的部分視圖。另一個主要原因是因為當前大多數(shù)AI / ML實施都是為了創(chuàng)新，并且通常由BU資助。傳統(tǒng)上，企業(yè)將IT視為成本中心，因此他們不愿意花錢來使用AI來改善運營。但是，隨著大量的數(shù)據(jù)，以及當前的大流行病產(chǎn)生了更多的未連接的遠程數(shù)據(jù)，這種感覺在開始淹沒Ops團隊時發(fā)生了變化。IT運營團隊正在達到一個臨界點，要處理的數(shù)據(jù)過多，這是AI的理想方案。這是AI和ML的最佳選擇。人工智能在大量數(shù)據(jù)上蓬勃發(fā)展。實際上，向AI算法饋送的數(shù)據(jù)越多，模型就越好。

傳統(tǒng)上，IT運營團隊多年來一直監(jiān)視IT基礎(chǔ)結(jié)構(gòu)監(jiān)視（ITIM）和網(wǎng)絡(luò)性能監(jiān)視與診斷（NPMD）層。在過去的十年中，應(yīng)用程序性能管理（APM）幫助提高了每個應(yīng)用程序的可見性。但是，即使所有這些系統(tǒng)都表明它們正常工作，客戶仍會根據(jù)位置，連接類型（移動/互聯(lián)網(wǎng)），所使用的緩存/ CDN提供程序的類型等而遇到問題?，F(xiàn)代應(yīng)用程序及其組件的復(fù)雜性加載到客戶視圖中會使其變得非常復(fù)雜。數(shù)字體驗監(jiān)視（DEM）的概念已獲得可見性，可以專門監(jiān)視，分析和優(yōu)化客戶體驗。但是，它們更像是監(jiān)視工具，而不是診斷工具。

AIOps（IT運營中的人工智能）解決方案可以幫助解決此問題。一個好的AIOps解決方案應(yīng)該能夠從多個來源獲取數(shù)據(jù)，消除噪聲，關(guān)聯(lián)事件序列并基于歷史數(shù)據(jù)和實時數(shù)據(jù)的組合產(chǎn)生可行的見解。

數(shù)據(jù)采集

可以說，這是最重要的一步。不僅需要將歷史數(shù)據(jù)饋送給AI進行模型創(chuàng)建，而且還需要將實時數(shù)據(jù)饋給AI進行推理和更新模型。僅像過去那樣收集日志或SNMP并不能提供企業(yè)的全面情況。收集盡可能多的信息，包括事件，日志，時間序列數(shù)據(jù)，應(yīng)用程序數(shù)據(jù)，性能數(shù)據(jù)，利用率數(shù)據(jù)等。新的基于事件的范式轉(zhuǎn)移到發(fā)布/訂閱或基于事件的消息傳遞。盡管這些消息非常重要，但它們對于收集實時數(shù)據(jù)以提供企業(yè)的完整視圖并做出準確的預(yù)測絕對至關(guān)重要。大多數(shù)基于云的系統(tǒng)，無論是基于容器的還是基于虛擬機的，都通過API提供大量信息。

收集結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。盡管現(xiàn)有的BI和分析系統(tǒng)在處理非結(jié)構(gòu)化數(shù)據(jù)時遇到困難，但AI還是喜歡它。它可以解析幾乎所有內(nèi)容，包括音頻，視頻，文本文件，圖像，配置文件，文檔，PDF文件等。

最后，大多數(shù)團隊忘記將配置記錄，變更管理系統(tǒng)，CMBD等作為等式的一部分。這對于每天有時會推動多個發(fā)布周期的敏捷團隊尤其重要。除非IT運營團隊意識到最近的變化，否則他們將浪費大量時間試圖找出問題的根本原因。

數(shù)據(jù)質(zhì)量和數(shù)據(jù)攝取

AI存在數(shù)據(jù)質(zhì)量問題。創(chuàng)建AI / ML模型時，“垃圾填埋，垃圾填埋”是非常正確的。您的算法有多好或數(shù)據(jù)科學家有多好都無關(guān)緊要。如果您沒有提供足夠的質(zhì)量數(shù)據(jù)，那么您將一無所獲。當企業(yè)收集大量數(shù)據(jù)時，它仍然是不完整，不正確和/或不一致的。您還需要收集相鄰和相關(guān)的數(shù)據(jù)。您可能會認為它們無關(guān)緊要，但是對于AI使用看似無關(guān)的數(shù)據(jù)所能找到的東西，您會感到驚訝。一個例子是，當NASA衛(wèi)星破裂時，IBM的AI工程師和NASA科學家找到了一種方法，可以利用太陽光以98%的準確度來計算紫外線強度。我最近寫了一篇關(guān)于此的文章，可以在這里看到。

如果您與數(shù)據(jù)科學家交談，他們會告訴您他們花了多少時間準備數(shù)據(jù)。他們多達80%的時間用于準備數(shù)據(jù)，而不是分析數(shù)據(jù)或創(chuàng)建和微調(diào)模型。

數(shù)據(jù)分類和標簽

數(shù)據(jù)需要正確分類，分類和標記，以便AI / ML從中學習。對于監(jiān)督學習模型尤其如此。在訓練，驗證和調(diào)整模型之前，這是重要的一步。標簽的準確性和質(zhì)量是最重要的兩件事。準確性衡量的是標簽與真實情況之間的接近程度，或與您的企業(yè)事實和/或?qū)嶋H條件匹配的程度。質(zhì)量與用于模型的整個數(shù)據(jù)集的標注準確性有關(guān)。當您結(jié)合使用自動，外包和內(nèi)部標簽工作時，尤其如此。所有組都會在整個數(shù)據(jù)集中一致地標記嗎？

數(shù)據(jù)清理

如果使用偏差數(shù)據(jù)訓練AI模型，則無疑會產(chǎn)生偏差模型。我寫了一篇有關(guān)如何避免這種情況并使您的數(shù)據(jù)失偏的文章。原始數(shù)據(jù)可能包含隱性偏見信息，例如種族，性別，出身，政治，社會或其他意識形態(tài)偏見。消除它們的唯一方法是分析不平等并在創(chuàng)建模型之前對其進行修復(fù)。如果不從數(shù)據(jù)中消除歧視性做法，該模型將傾向于產(chǎn)生有偏見的結(jié)果。

僅當數(shù)據(jù)來自經(jīng)驗證，權(quán)威，經(jīng)過驗證和可靠的來源時，才應(yīng)包括在內(nèi)。來自不可靠來源的數(shù)據(jù)應(yīng)該完全消除，或者在輸入模型時應(yīng)給予較低的置信度。另外，通過控制分類精度，可以以最小的增量成本來大大減少辨別力。這種數(shù)據(jù)預(yù)處理優(yōu)化應(yīng)集中在控制區(qū)分，限制數(shù)據(jù)集中的失真和保留實用程序上。

資料儲存庫

考慮到數(shù)據(jù)的數(shù)量，速度和種類，用于數(shù)據(jù)存儲和數(shù)據(jù)管理的傳統(tǒng)現(xiàn)場解決方案不適用于數(shù)字本機解決方案。許多公司已采用數(shù)據(jù)湖解決方案來解決此問題。盡管單個集中的數(shù)據(jù)源可以提供幫助，但需要對其進行適當?shù)陌踩Ｗo，管理和定期更新。它應(yīng)該能夠無縫處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

結(jié)論

人工智能需要大量數(shù)據(jù)。正如我最喜歡的《短路》中的角色Johnny V（基于AI的機器人）說：“我需要更多的輸入……”。如果您的高管要基于此做出重大的企業(yè)決策，請確保為AI提供正確數(shù)量和質(zhì)量的數(shù)據(jù)。如果沒有，他們將忽略您的模型輸出/建議并做出自己的決定，從而最大程度地降低您的價值，并最終使您獲得數(shù)字化和改善業(yè)務(wù)所需的資金。