2019年十大數(shù)據(jù)與分析技術(shù)趨勢(shì)

近日，全球領(lǐng)先的信息技術(shù)研究和顧問(wèn)公司Gartner指出，增強(qiáng)型分析（augmented analytics）、持續(xù)型智能（continuous intelligence）與可解釋型人工智能（explainable?AI）是數(shù)據(jù)與分析（data and analytics）技術(shù)領(lǐng)域內(nèi)的主要趨勢(shì)之一，并有可能在未來(lái)三到五年帶來(lái)重大顛覆。

Gartner研究副總裁Rita Sallam表示，數(shù)據(jù)與分析領(lǐng)導(dǎo)者必須考察這些趨勢(shì)對(duì)業(yè)務(wù)帶來(lái)的潛在影響，并相應(yīng)調(diào)整業(yè)務(wù)模式與運(yùn)營(yíng)，否則將失去與他人競(jìng)爭(zhēng)的優(yōu)勢(shì)。

她指出：“從支持內(nèi)部決策到持續(xù)型智能、信息產(chǎn)品以及任命首席數(shù)據(jù)官，數(shù)據(jù)和分析始終在不斷演化。深入了解推動(dòng)這一演化的的技術(shù)趨勢(shì)并根據(jù)業(yè)務(wù)價(jià)值對(duì)其加以?xún)?yōu)先排序，至關(guān)重要?！?/p>

Gartner副總裁兼杰出分析師Donald Feinberg認(rèn)為，數(shù)字化顛覆帶來(lái)的挑戰(zhàn)——即數(shù)據(jù)太多，同樣也創(chuàng)造了前所未有的機(jī)遇。由云驅(qū)動(dòng)的海量數(shù)據(jù)將實(shí)現(xiàn)更強(qiáng)大的處理能力，意味著現(xiàn)在可以大規(guī)模訓(xùn)練與執(zhí)行算法，最終發(fā)揮出人工智能的全部潛力。

Feinberg先生表示：“數(shù)據(jù)的規(guī)模、復(fù)雜性與分散性質(zhì)，以及數(shù)字化業(yè)務(wù)所需要的行動(dòng)速度與持續(xù)型智能，意味著僵化且集中的架構(gòu)與工具將會(huì)分崩離析。任何企業(yè)的長(zhǎng)久生存都將取決于能夠響應(yīng)各種變化的以數(shù)據(jù)為中心的靈活架構(gòu)。”

Gartner建議數(shù)據(jù)及分析領(lǐng)導(dǎo)者與高級(jí)業(yè)務(wù)領(lǐng)導(dǎo)一同討論他們至關(guān)重要的業(yè)務(wù)優(yōu)先事項(xiàng)，并探索如何利用以下主要趨勢(shì)獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。

趨勢(shì)一：增強(qiáng)型分析

增強(qiáng)型分析是數(shù)據(jù)與分析市場(chǎng)內(nèi)的下一波顛覆性技術(shù)。它利用機(jī)器學(xué)習(xí)（ML）與人工智能改變分析內(nèi)容的開(kāi)發(fā)、消費(fèi)與共享方式。

到2020年，增強(qiáng)型分析將成為分析與商業(yè)智能（analytics and BI）、數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)平臺(tái)（data science and ML platforms）以及嵌入式分析新增購(gòu)買(mǎi)的主要驅(qū)動(dòng)力。數(shù)據(jù)與分析領(lǐng)導(dǎo)者應(yīng)在平臺(tái)功能逐漸成熟時(shí)采用增強(qiáng)型分析。

趨勢(shì)二：增強(qiáng)型數(shù)據(jù)管理

增強(qiáng)型數(shù)據(jù)管理利用機(jī)器學(xué)習(xí)功能和人工智能引擎來(lái)生成企業(yè)信息管理類(lèi)別，其中包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)集成以及數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）自我配置與自我調(diào)整。它可以自動(dòng)執(zhí)行許多手動(dòng)任務(wù)，便于不太精通技術(shù)的用戶(hù)能夠更加自主地使用數(shù)據(jù)，同時(shí)也讓高技能的技術(shù)人員專(zhuān)注于價(jià)值更高的任務(wù)。

增強(qiáng)型數(shù)據(jù)管理將以往僅用于審計(jì)、沿襲及報(bào)告的元數(shù)據(jù)轉(zhuǎn)而支持動(dòng)態(tài)系統(tǒng)。元數(shù)據(jù)正在從被動(dòng)走向主動(dòng)，并且正在成為所有人工智能/機(jī)器學(xué)習(xí)的主要驅(qū)動(dòng)因素。

到2022年底，通過(guò)加入機(jī)器學(xué)習(xí)與自動(dòng)化的服務(wù)級(jí)管理，數(shù)據(jù)管理手動(dòng)任務(wù)將減少45%。

趨勢(shì)三：持續(xù)型智能

到2022年，超過(guò)一半的重要新業(yè)務(wù)系統(tǒng)將嵌入持續(xù)型智能，使用實(shí)時(shí)情景數(shù)據(jù)改善決策。

持續(xù)型智能是一種設(shè)計(jì)模式，其中實(shí)時(shí)分析與業(yè)務(wù)運(yùn)營(yíng)相結(jié)合，處理當(dāng)前與歷史數(shù)據(jù)，以便為事件響應(yīng)行動(dòng)提供建議。它能夠?qū)崿F(xiàn)自動(dòng)化決策或?yàn)闆Q策提供支持。持續(xù)型智能采用多種技術(shù)，如：增強(qiáng)型分析、事件流處理、優(yōu)化、業(yè)務(wù)規(guī)則管理以及機(jī)器學(xué)習(xí)。

Sallam女生表示：“持續(xù)型智能讓數(shù)據(jù)與分析團(tuán)隊(duì)的工作發(fā)生重大變化。這既是一個(gè)巨大的挑戰(zhàn)，也是一個(gè)極大的機(jī)會(huì)，因?yàn)榉治雠c商業(yè)智能團(tuán)隊(duì)可以在2019年幫助企業(yè)做出更明智的實(shí)時(shí)決策。它可以被視作一種終極運(yùn)營(yíng)型商業(yè)智能?！?/p>

趨勢(shì)四：可解釋型人工智能

人工智能模型越來(lái)越多地被用于增強(qiáng)與代替人類(lèi)決策。但在某些情況下，企業(yè)必須證明這些模型是如何做出決策的。為了與用戶(hù)及權(quán)益方建立信任，此類(lèi)應(yīng)用的領(lǐng)導(dǎo)者必須讓這些模型變得更易解讀與更易理解。

不幸的是，大多數(shù)這些先進(jìn)的人工智能模型都是復(fù)雜的黑盒子，無(wú)法解釋為何提出了某條具體建議或決策。而數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)平臺(tái)中的可解釋型人工智能將運(yùn)用自然語(yǔ)言從準(zhǔn)確性、屬性、模型統(tǒng)計(jì)及特性等方面自動(dòng)生成模型提供解釋說(shuō)明。

趨勢(shì)五：圖形

圖形分析（graph analytics）是一系列可用于探索企業(yè)機(jī)構(gòu)、人員與交易等相關(guān)實(shí)體間關(guān)系的分析技術(shù)。

2022年前，圖形處理和圖形數(shù)據(jù)庫(kù)管理系統(tǒng)的應(yīng)用將以每年100%的速度快速增長(zhǎng)，以持續(xù)加速數(shù)據(jù)準(zhǔn)備，并支持更加復(fù)雜且適配的數(shù)據(jù)科學(xué)。

圖形數(shù)據(jù)存儲(chǔ)可以跨越數(shù)據(jù)筒倉(cāng)（data silos）高效地建模，探索與查詢(xún)具有相互復(fù)雜關(guān)系的數(shù)據(jù)，但Gartner認(rèn)為，特殊的技能需求限制了該技術(shù)目前的應(yīng)用。

為了滿(mǎn)足對(duì)于復(fù)雜數(shù)據(jù)的綜合查詢(xún)需求，圖形分析將在未來(lái)幾年內(nèi)得到發(fā)展。利用SQL查詢(xún)完成大規(guī)模的復(fù)雜查詢(xún)并不總是切實(shí)可行，有時(shí)甚至無(wú)法完成。

趨勢(shì)六：數(shù)據(jù)結(jié)構(gòu)

數(shù)據(jù)結(jié)構(gòu)（data fabric）支持分布式數(shù)據(jù)環(huán)境內(nèi)的無(wú)摩擦數(shù)據(jù)訪問(wèn)與共享。其支持單一與一致的數(shù)據(jù)管理框架，通過(guò)克服孤立存儲(chǔ)的獨(dú)特設(shè)計(jì)，實(shí)現(xiàn)無(wú)縫的數(shù)據(jù)訪問(wèn)與處理。

到2022年，定制式數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)將主要用作靜態(tài)基礎(chǔ)架構(gòu)，促使各企業(yè)機(jī)構(gòu)為完全重新的設(shè)計(jì)投入資金，進(jìn)而實(shí)現(xiàn)更具動(dòng)態(tài)的數(shù)據(jù)網(wǎng)格（data mesh）方法。

趨勢(shì)七：自然語(yǔ)言處理/會(huì)話式分析

到2020年，50%的分析查詢(xún)將通過(guò)搜索、自然語(yǔ)言處理（NLP）或語(yǔ)音生成，或者將自動(dòng)生成。分析復(fù)雜數(shù)據(jù)組合以及讓企業(yè)機(jī)構(gòu)中的每個(gè)人都可以訪問(wèn)分析的需求將推動(dòng)更廣泛的采用，從而讓分析工具變得如同搜索界面或與虛擬助理進(jìn)行對(duì)話一樣簡(jiǎn)單。

趨勢(shì)八：商業(yè)人工智能與機(jī)器學(xué)習(xí)

Gartner預(yù)測(cè)，到2022年，75%利用人工智能與機(jī)器學(xué)習(xí)技術(shù)的新終端用戶(hù)解決方案將采用商業(yè)解決方案而非開(kāi)源平臺(tái)構(gòu)建。

商業(yè)廠商現(xiàn)在已經(jīng)在開(kāi)源生態(tài)系統(tǒng)中創(chuàng)建了連接器，為企業(yè)提供擴(kuò)展與推廣人工智能及機(jī)器學(xué)習(xí)所需要的功能特性，例如項(xiàng)目與模型管理（project & model management）、復(fù)用（reuse）、透明度（transparency）、數(shù)據(jù)沿襲（data lineage）、平臺(tái)凝聚力（platform cohesiveness）以及開(kāi)源技術(shù)所缺乏的集成。

趨勢(shì)九：區(qū)塊鏈

區(qū)塊鏈與分布式分類(lèi)帳（distributed ledger）技術(shù)的核心價(jià)值主張是在非置信的參與者網(wǎng)絡(luò)中提供去中心化信任。對(duì)分析使用案例帶來(lái)的潛在結(jié)果非常大，尤其是對(duì)于利用參與者關(guān)系及交互的那些使用案例所帶來(lái)的影響。

然而，尚需幾年時(shí)間才會(huì)有四或五項(xiàng)主要區(qū)塊鏈技術(shù)占據(jù)主導(dǎo)地位。在此之前，技術(shù)終端用戶(hù)將被迫與由其主導(dǎo)客戶(hù)或網(wǎng)絡(luò)所指定的區(qū)塊鏈技術(shù)及標(biāo)準(zhǔn)相集成。這包括與您現(xiàn)有的數(shù)據(jù)及分析基礎(chǔ)架構(gòu)進(jìn)行集成。集成成本可能會(huì)超過(guò)任何潛在收益。區(qū)塊鏈?zhǔn)菙?shù)據(jù)源，而非數(shù)據(jù)庫(kù)，不會(huì)取代現(xiàn)有的數(shù)據(jù)管理技術(shù)。

趨勢(shì)十：持久內(nèi)存服務(wù)器

在采用內(nèi)存中計(jì)算（IMC）所支持的架構(gòu)方面，新型持久內(nèi)存（persistent memory）技術(shù)將有助于降低成本與復(fù)雜度。持久內(nèi)存代表著DRAM與NAND閃存之間的新內(nèi)存層，可為高性能工作負(fù)載提供經(jīng)濟(jì)高效的大容量?jī)?nèi)存。它將有望改進(jìn)應(yīng)用性能、可用性、啟動(dòng)時(shí)間、集群方法與安全實(shí)踐，同時(shí)保持成本可控；通過(guò)減少數(shù)據(jù)復(fù)制需求，還將有助于企業(yè)機(jī)構(gòu)降低其應(yīng)用與數(shù)據(jù)架構(gòu)的復(fù)雜度。

Feinberg先生表示：“數(shù)據(jù)量正在快速增多，實(shí)時(shí)將數(shù)據(jù)轉(zhuǎn)化成價(jià)值的緊迫性也在同樣快速增加。新的服務(wù)器工作負(fù)載不僅需要更快的CPU性能，而且還需要大容量?jī)?nèi)存及更快的存儲(chǔ)?！?br />

?