淺析大數(shù)據(jù)與人工智能在2018年發(fā)展的趨勢

馬特·圖爾克（Matt Turck），美國知名早期投資機(jī)構(gòu)FirstMark的董事總經(jīng)理，此前以早期成功投資Pinterest、Shopify、Airbnb、Riot Games、InVision和Tapad等超級獨(dú)角獸而著稱。

馬特還是紐約乃至美國知名的技術(shù)趨勢“布道者”，他發(fā)起組織了2大新趨勢分享社區(qū)，一個圍繞大數(shù)據(jù)和人工智能，名為Data Driven NYC；另一個圍繞前沿技術(shù)和新興計算平臺，叫Hardwired NYC。

2018人工智能&大數(shù)據(jù)全景圖

全景圖涵蓋了大數(shù)據(jù)人工智能行業(yè)的基礎(chǔ)架構(gòu)、開源框架、數(shù)據(jù)API、數(shù)據(jù)資源、跨基礎(chǔ)結(jié)構(gòu)分析、工業(yè)應(yīng)用、企業(yè)應(yīng)用、分析工具等，涵蓋有1095家大數(shù)據(jù)公司被納入全景圖。

出現(xiàn)在全景圖的一些關(guān)鍵公司上市了，尤其是Cloudera、MongoDB Pivotal和Zuora。在撰寫本文時，其他的正在準(zhǔn)備上市，比如Elastic。

2018年人工智能大數(shù)據(jù)發(fā)展趨勢

2018 年，是數(shù)據(jù)世界中激動人心但又復(fù)雜多變的一年。一方面，數(shù)據(jù)技術(shù)（大數(shù)據(jù)、數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、人工智能）繼續(xù)發(fā)展，變得越來越高效，在世界各地企業(yè)也得到了廣泛的應(yīng)用。到目前為止，2018 年企業(yè)界的關(guān)鍵主題之一是“數(shù)字化轉(zhuǎn)型”，這絕非偶然。這個詞語對有些人來說可能有點(diǎn)奇怪，他們會嘀咕：這難道不是過去 25 年來一直發(fā)生的事兒嗎？但它恰恰反映出一個事實(shí)：許多傳統(tǒng)的行業(yè)和企業(yè)現(xiàn)在正全力投入到真正的數(shù)據(jù)驅(qū)動之旅。另一方面，更廣泛的公眾群體已經(jīng)意識到數(shù)據(jù)的缺陷。無論是通過關(guān)于人工智能風(fēng)險的公開辯論、劍橋分析公司(Cambridge Analytica)丑聞、大規(guī)模的Equifax數(shù)據(jù)泄露、與gdp相關(guān)的隱私討論，還是有關(guān)中國政府監(jiān)控活動日益增多的報道，數(shù)據(jù)世界已開始暴露出一些更陰暗、更可怕的隱患。

1）基礎(chǔ)設(shè)施和分析工具

從行業(yè)的角度來看，數(shù)據(jù)生態(tài)系統(tǒng)仍然像以往一樣令人興奮和充滿活力，擁有豐富的創(chuàng)新初創(chuàng)企業(yè)、成熟的“規(guī)模擴(kuò)展”，以及許多積極的公共技術(shù)供應(yīng)商。最重要的是，許多大大小小的客戶都在大規(guī)模地應(yīng)用這些技術(shù)，并從他們的努力中獲得不可否認(rèn)的價值。

隨著用更現(xiàn)代的數(shù)據(jù)產(chǎn)品替代舊的IT技術(shù)的循環(huán)繼續(xù)，大數(shù)據(jù)市場(基礎(chǔ)設(shè)施、分析)似乎正在快速地在早期的大多數(shù)買家中循環(huán)，并逐漸過渡到傳統(tǒng)采用曲線的晚期。

此外，數(shù)據(jù)世界繼續(xù)朝著云的方向發(fā)展?？紤]到大型公共云服務(wù)提供商(AWS、Azure、谷歌云平臺、IBM)的增長速度，每個季度都能產(chǎn)生數(shù)十億美元的收入，這真是令人震驚。這一趨勢引發(fā)了對供應(yīng)商鎖定的持續(xù)關(guān)注，這可能為提供多云解決方案的初創(chuàng)公司提供機(jī)會。然而，到目前為止，采用多云策略的公司仍然傾向于依賴一個供應(yīng)商作為他們的主要提供者。

隨著他們的業(yè)務(wù)不斷發(fā)展，大型云提供商通過其平臺（如 Amazon Neptune、Google AutoML 等）提供一系列廣泛的大數(shù)據(jù)、數(shù)據(jù)工程和機(jī)器學(xué)習(xí)工具，通常都制定了激進(jìn)的定價策略，因而相互競爭越來越激烈，這一切都是為了吸引更多的開發(fā)者，因為他們真正的商業(yè)模式是數(shù)據(jù)存儲。隨著此類工具的范圍和成熟度不斷提高，這對數(shù)據(jù)技術(shù)領(lǐng)域產(chǎn)生了重大影響，可以說，初創(chuàng)企業(yè)更難與之競爭，至少在廣闊的、橫向的機(jī)遇面前就是如此。每年在大型云供應(yīng)商會議上發(fā)布的產(chǎn)品公告列表（如 AWS re:Invent）會給初創(chuàng)企業(yè)帶來巨大的沖擊波，因為他們將云供應(yīng)商與數(shù)十家風(fēng)投支持的初創(chuàng)企業(yè)直接競爭?？纯垂娛袌鋈绾螒?yīng)對即將到來的 Elastic（一家開源軟件企業(yè)）IPO 將是一件有趣的事。

然而，只要初創(chuàng)企業(yè)有足夠的差異化，他們還是有很多機(jī)會的。在這個領(lǐng)域中，很多企業(yè)都在快速擴(kuò)展，在生態(tài)系統(tǒng)的基礎(chǔ)設(shè)施和分析部分中有許多特別有趣、快速增長的部分，包括流 / 實(shí)時、數(shù)據(jù)管控和數(shù)據(jù)結(jié)構(gòu) / 虛擬化。人們對人工智能的興趣激增，也帶來了在人工智能芯片、GPU 數(shù)據(jù)庫、人工智能 DevOps 工具以及能夠在企業(yè)中部署數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的平臺上的巨大機(jī)遇，以及大量資金。

2）機(jī)器學(xué)習(xí)和人工智能

在人工智能研究領(lǐng)域，這無疑是瘋狂的一年，從 AlphaZero 的威力到新技術(shù)發(fā)布的驚人速度——生成對抗網(wǎng)絡(luò)的新形式，替代型的遞歸神經(jīng)網(wǎng)絡(luò)，Geoff Hinton 的新膠囊網(wǎng)絡(luò)。像 NIPS 這樣的人工智能會議已經(jīng)吸引了 8000 人，每天都有成千上萬的學(xué)術(shù)論文提交。

與此同時，對 AGI 的追求仍然難以捉摸，這也許是值得謝天謝地的事兒。目前人們對人工智能的興奮和恐懼，大部分源于 2012 年以來令人印象深刻的深度學(xué)習(xí)表現(xiàn)，但在人工智能研究領(lǐng)域中，有一種情緒在人們中日益彌漫開來：“接下來怎么辦？”因為有些人質(zhì)疑深度學(xué)習(xí)的基礎(chǔ)（反向傳播），而其他一些人希望能夠超越他們所認(rèn)為的“蠻力”方法（大量數(shù)據(jù)、大量算力），或許更傾向于采用更多基于神經(jīng)科學(xué)的方法。

在人工智能研究領(lǐng)域，許多人非但不擔(dān)心機(jī)器人主宰世界，反而擔(dān)心，該領(lǐng)域持續(xù)的過度炒作可能最終會讓人失望，并導(dǎo)致另一個人工智能核冬天的到來。

然而，在人工智能研究之外，我們正處于一波深度學(xué)習(xí)在現(xiàn)實(shí)世界中的部署和應(yīng)用浪潮的開端，涉及不同行業(yè)的語音識別、圖像分類、對象識別和語言等各種問題。如果說生態(tài)系統(tǒng)的基礎(chǔ)設(shè)施和分析部分已經(jīng)發(fā)展到后期的大多數(shù)，那么對于企業(yè)和垂直人工智能應(yīng)用來說，我們?nèi)匀皇欠浅Ｔ缙诘南闰?qū)者。

盡管人工智能初創(chuàng)市場可以說已經(jīng)顯示出最終降溫的跡象，但以深度學(xué)習(xí)為基礎(chǔ)的初創(chuàng)企業(yè)在一兩年前開始暴增的情況依然在繼續(xù)。整體規(guī)模和估值的期望仍然很高，但 我們肯定已經(jīng)經(jīng)過了這樣一個階段：大型互聯(lián)網(wǎng)企業(yè)會為了人才而高價收購早期人工智能初創(chuàng)企業(yè)。 與其他一些利用這種炒作的企業(yè)相比，市場中也出現(xiàn)了一些“真正”的人工智能初創(chuàng)企業(yè)。在 2014~2016 年期間成立的一些人工智能初創(chuàng)企業(yè)正開始初具規(guī)模，許多企業(yè)在醫(yī)療、金融、“工業(yè) 4.0”和后臺辦公自動化等跨行業(yè)和垂直領(lǐng)域提供越來越有趣的產(chǎn)品。在未來的幾年里，深度學(xué)習(xí)將繼續(xù)為現(xiàn)實(shí)世界的應(yīng)用帶來巨大的價值，而專注于垂直方向的人工智能初創(chuàng)企業(yè)將面臨許多巨大的機(jī)遇。

這種持續(xù)的爆炸在很大程度上是一個全球現(xiàn)象，加拿大、法國、德國、英國和以色列都特別活躍。然而，中國在人工智能方面似乎處在一個完全不同的水平，有報道稱，政府主導(dǎo)的數(shù)據(jù)匯集規(guī)模令人難以置信（跨越了互聯(lián)網(wǎng)企業(yè)和市政當(dāng)局），面部識別和人工智能芯片等領(lǐng)域的迅速發(fā)展，以及為初創(chuàng)企業(yè)提供數(shù)輪巨額融資：根據(jù) CB Insights 的數(shù)據(jù)，中國僅占全球人工智能交易份額的 9%，但 2017 年在全球人工智能資金的比例接近 48%，高于 2016 年的 11%（見下面的一些例子）。

同樣，數(shù)據(jù)隱私（以及所有權(quán)和安全性）問題也正成為全球關(guān)注的主要問題。在互聯(lián)網(wǎng)發(fā)展的早期，數(shù)據(jù)隱私是為了保護(hù)我們在網(wǎng)上所做的事情，這是我們活動中相對較小的一部分。相應(yīng)地，只有一小部分人真正在乎數(shù)據(jù)隱私的問題。隨著我們個人和職業(yè)生活的方方面面都通過越來越多的聯(lián)網(wǎng)設(shè)備連接到互聯(lián)網(wǎng)上，利害關(guān)系正在發(fā)生變化。人工智能能夠在大量數(shù)據(jù)集中發(fā)現(xiàn)異常、預(yù)測結(jié)果和識別人臉，這使數(shù)據(jù)隱私問題變得更加復(fù)雜。

另一個獨(dú)立但相關(guān)的問題是，這些數(shù)據(jù)中有很多都屬于大型互聯(lián)網(wǎng)企業(yè) (GAFA) 所有。有些企業(yè)，比如 Facebook，已經(jīng)被證明不是完美的管理者。盡管如此，這些數(shù)據(jù)為他們在生產(chǎn)更強(qiáng)大人工智能的競爭中提供了不公平的優(yōu)勢。

針對這些問題，一個新興的主題是把區(qū)塊鏈看作是對抗人工智能風(fēng)險的一種可能的方式，同時也是在 GAFA 之外的企業(yè)生產(chǎn)更為出色的人工智能的另一種方式。加密經(jīng)濟(jì)被視為一種激勵個人提供個人數(shù)據(jù)的方式，也是機(jī)器學(xué)習(xí)工程師通過匿名處理這些數(shù)據(jù)建立模型的一種方式。這一切仍處于試驗階段，但一些早期的市場和網(wǎng)絡(luò)正在出現(xiàn)。