深度學習火熱不是假象,以下的十個指數(shù)級增長趨勢證明:深度學習在過去的一年內(nèi)獲得了極快的發(fā)展,已經(jīng)成為當下人工智能的“頂梁柱”。本文從 ImageNet、NIPS和CVPR等頂級學術(shù)會議,以及谷歌、英偉達等企業(yè)應用,還有深度學習人才與投資、收購等角度分析,用13 張圖解讀深度學習到底有多火。
圖像識別準確率的指數(shù)級增長
似乎一切都是從 2015年的 ImageNet 挑戰(zhàn)賽開始的,當年在圖像識別準確率上,機器首次超過了人類,被認為是一個里程碑式的突破。
圖:ILSVRC top-5 錯誤率
2010年算法的圖像識別錯誤率至少在25%左右,但到2015年,計算機圖像識別錯誤率已經(jīng)低于人類(人類水平大概是4%左右)。2015年是 0.03567,也就是3.5%。2016年,ImageNet 競賽,圖像識別錯誤率進一步下降,錯誤率今年的最好成績?yōu)椋浩骄e誤率0.02991,也就是2.99%左右。
從上圖可以看到,在ImageNet 競賽中,其實從2012年,開始,使用深度學習方法,錯誤率只有15.3 %左右。這是 Hinton 教授和他的兩個研究生 Alex Krizhevsky, Illya Sutskever 的成果。據(jù)說,他們使用了 兩個 Nvidia 的 GTX 580 CPU (內(nèi)存 3GB, 計算速度 1.6 TFLOPS), 讓程序接受一百二十萬個圖像訓練, 花了接近六天時間。
搜索熱度的指數(shù)級增長
“深度學習”在2012年開始嶄露頭角。下圖是 Google Trends 中“Deep Learning”的搜索趨勢。
深度學習在近兩年來已經(jīng)成為名副其實的熱詞。
學術(shù)會議上深度學習影響力的指數(shù)級增長
現(xiàn)實表明,學術(shù)研究領(lǐng)域確實迎來爆發(fā)式增長
圖:NIPS 增長趨勢
2016 年,作為學界頂級盛會的 NIPS 共收到投稿超過 2500 篇,最終接收了 568 篇——保守估計接收率 22.7%。這個論文接收率并不算那么低(相較其他頂會)。
再看參會人數(shù)及其近年來的增長趨勢(上圖右),2016參會人數(shù)已經(jīng)超過了5000人——尤其是近兩年,用“直線上升”形容毫不夸張。
CVPR 是計算機視覺領(lǐng)域的國際頂級會議。下面是 CVPR 的增長趨勢圖:
圖:CVPR 參會人數(shù)趨勢
新智元在此前的報道曾統(tǒng)計過,本屆會議共收到論文 2145 篇,創(chuàng)下歷史記錄(有效 1865 篇)。會議接收論文 643 篇(接收率 29.9%)。
2016 CVPR 會議接收的論文里,發(fā)表的論文中有 80% 到 90%,口頭報告更是接近 100% 都來自深度學習領(lǐng)域。
深度學習技術(shù)在企業(yè)內(nèi)部應用的指數(shù)級增長
以上能顯示深度學習理論的增長趨勢。但只有理論嗎?讓我們看看 Google 內(nèi)部對深度學習技術(shù)的使用情況。
圖:Google 使用深度學習的趨勢
從上圖可以看到,2014年到2015年間,谷歌內(nèi)部對深度學習技術(shù)的使用呈直線上升趨勢。應用領(lǐng)域包括:APP、地圖、照片、郵箱、語音、安卓、Youtube、翻譯、機器人研究、圖像理解、自然語言理解、毒品探測。
谷歌大腦負責人Jeff Dean 在接受《福布斯》的采訪時曾提到,2011年到2012年間,公司使用深度神經(jīng)網(wǎng)絡(luò)技術(shù)的團隊只有十幾組,現(xiàn)在已經(jīng)超過200多組,有上千人在訓練這類的模型,使用的就是谷歌大腦團隊搭建的軟件。
他說:“5年前,當我們第一次開始組建機器學習研究組,調(diào)查使用大量的計算和深度卷積網(wǎng)絡(luò)處理問題的情況,當時公司里還沒有多少人在使用這種方法。后來,我們發(fā)現(xiàn)少數(shù)看起來可以有效應用的幾個地方,其中包括語音識別系統(tǒng),所以我們跟語音識別團隊的同事緊密合作,把深度神經(jīng)網(wǎng)絡(luò)加入到語音識別系統(tǒng)中去,從而在識別精準度上獲得了顯著的提升。然后,我們又與幾個計算機視覺相關(guān)的團隊合作,比如圖像識別和一些街景團隊,其中包括,用圖像中的原始像素去訓練模型做一些有意思的事情,從圖像中提取文本或者理解圖像(是美洲豹,垃圾車或是別的什么東西)。
有趣的是,隨著時間的過去,更多的團隊開始采用這些方法,因為他們會聽到別的團隊說在嘗試一些別的東西,并且獲得了好的結(jié)果。不然就是,我們可以把他們與這些團隊聯(lián)系起來,或者我們可以提供一些在他們特定的問題語境下如何使用這些方法的建議。后來,我們把這些都正規(guī)化,所以現(xiàn)在我們就有了一個團隊來做這些擴展工作。首先是聯(lián)系想要在產(chǎn)品中用到這些機器學習模型的團隊,他們會描述自己遇到的難題,一般情況下,我們團隊會說:“這似乎跟其他團隊所遇到的難題很像,我們的解決方案很有用,試試看我們的方案,然后給我們反饋”。
深度學習人才需求的指數(shù)級增長
從2015年開始,市場對深度學習人才的需求直線上漲,2016年下半年開始更是以超大幅度上漲。另外,2015年開始,我們也看到了大量的學術(shù)界頂尖人才流向產(chǎn)業(yè)界。
深度學習投資上的指數(shù)級增長
圖:最近幾年對AI技術(shù)企業(yè)的投資逐年增長
2016年二季度期間,融資交易量最多的地區(qū)是美國,共發(fā)生47起交易,融資額合計5.245億美金。
除美國以外,全球有15個國家和地區(qū)在2016年二季度發(fā)生了AI相關(guān)領(lǐng)域創(chuàng)業(yè)公司的股權(quán)投融資活動,包括中國(及香港)、印度、瑞典、烏克蘭、法國和加拿大等。
其中加拿大、英國、以色列、德國的AI領(lǐng)域投資相對較為活躍,尤其值得注意的幾筆交易是:在加拿大,GE Ventures兩次參與了BitStew Systems的C輪融資,該創(chuàng)業(yè)公司主要做工業(yè)物聯(lián)網(wǎng)(IIoT)的數(shù)據(jù)分析平臺;在英國倫敦,Lerer Hippeau Ventures,Bloomberg Beta和Salesforce Ventures參與了DigitalGenius的種子輪融資,該創(chuàng)業(yè)公司主要為客服領(lǐng)域提供AI解決方案;在以色列,阿里巴巴集團投資了電商搜索發(fā)現(xiàn)創(chuàng)業(yè)公司Twiggle的A輪融資,而包括Khosla Ventures和Marc Benioff在內(nèi)的投資機構(gòu)則支持了醫(yī)療創(chuàng)業(yè)公司Zebra Medical Vision的B輪融資;在德國,New Enterprise Associates參與了Konux的A輪融資,該創(chuàng)業(yè)公司面向產(chǎn)業(yè)界提供基于AI技術(shù)的傳感器解決方案。
大公司收購的指數(shù)級增長
人工智能企業(yè)并購歷史
2016年,每一個季度,都有至少10起關(guān)于人工智能的并購發(fā)生。這一指數(shù)級的增長趨勢從2014年開始,目前沒有任何下降的趨勢。
2016年內(nèi)在AI領(lǐng)域發(fā)生了一些非常高調(diào)的收購案,包括6月份公開的推特(Twitter)花費1.5億美金收購Magic Pony Technology,后者是一家專注視覺處理(visual processing)相關(guān)的機器學習(machine learning)算法技術(shù)公司。英特爾于今年8月以超過4以美元的金額收購 Nervana 等等。
其中,2016也成為英特爾向人工智能和深度學習發(fā)力的轉(zhuǎn)型之年,英特爾副總裁 Jason Waxman 在接受 Recode 采訪時表示,向人工智能轉(zhuǎn)型可能會有損英特爾向云計算進軍的努力。但 Waxman 也強調(diào)了機器學習的重要性,他表示在英特爾從一個用戶控制大量連網(wǎng)設(shè)備到世界向一個數(shù)十億件設(shè)備都相互連并相互對話的世界轉(zhuǎn)型之際,機器學習非常重要。
大眾在投資的指數(shù)級增長
人工智能特別是深度學習的發(fā)展,極大地推動了英偉達的股價的上漲。從2015年開始,英偉達的股價一直都高于納斯達克平均水平。
最新資料顯示, 英偉達了2016年第三財季財報報告當季公司營收實現(xiàn)大幅增長,遠超市場預期。財報公布后,英偉達股價大漲近30%至87.97美元,創(chuàng)歷史新高。英偉達股價自2015年9月以來持續(xù)走高,漲幅已超過三倍多。
今年8月,CEO黃仁勛在投資人會議上強調(diào),深度學習是英偉達十分重要的增長動力,也是公司一直持續(xù)大力投資的領(lǐng)域,“過去5年來,我們一直默默投資深度學習,因為我們相信深度學習未來對整個軟件產(chǎn)業(yè)、整個計算機產(chǎn)業(yè)都有著深遠的影響,我們把一切都賭在了深度學習上”。
黃仁勛還指出,英偉達數(shù)據(jù)中心業(yè)務,大約有一半都是深度學習系統(tǒng),這也是得益于公司在深度學習芯片方面的大力投入。
深度學習是 AI 的主要驅(qū)動力嗎?
上圖是在“Google Trend” 中分別查詢?nèi)斯ぶ悄芎蜕疃葘W習在過去5年的搜索趨勢,藍色是“深度學習”,紅色是“人工智能”?!吧疃葘W習”在總量上要少于“人工智能”,但是增長趨勢非常明顯,最近更是越來越接近。并且,從增長的趨勢來看,深度學習增長非常明顯。
最后是最重要的一個趨勢
人工智能的“智力”水平不斷增長,未來或許會超越人類,甚至是高智商的人類水平,但是,目前看來,人工智能的智力水平程度也還只比螞蟻好一些。(圖來自Wait Buy Why)。
評論
查看更多