從AI School到AI Lab,微軟一直在為推進人工智能普及化、降低AI開發(fā)門檻做出努力。在微軟亞洲研究院副院長、人工智能系統(tǒng)聯(lián)合中心負責(zé)人周禮棟博士看來,突破目前深度學(xué)習(xí)瓶頸的一大關(guān)鍵就在于系統(tǒng),系統(tǒng)的最高境界是“完全隱形”。為此,微軟亞洲研究院正著力打造一款針對深度學(xué)習(xí)的開源項目——深度學(xué)習(xí)智能探索Neural Network Intelligence (NNI),通過簡單易用的“隱形”系統(tǒng)、智能自動的學(xué)習(xí)幫助更多的開發(fā)者。
2017年微軟Build開發(fā)者大會上,微軟高級項目經(jīng)理Cornelia Carapcea展示了一項技術(shù):
用戶創(chuàng)建的自定義視覺API模型只需要一個訓(xùn)練數(shù)據(jù)樣例(只有幾十個攝影樣本),而Custom Vision則可以完成其余的工作。
一旦創(chuàng)建了這個模型(只需幾分鐘),用戶就可以通過安裝在微軟服務(wù)器上的REST API訪問。Carapcea說它可以用于識別食物和地標,甚至是應(yīng)用在零售環(huán)境中。
Custom Vision可以選擇最可能為模型增加最大增益的圖像,允許用戶手工標記圖像,然后繼續(xù)改進總體的準確性和可靠性。
微軟亞洲研究院副院長、人工智能系統(tǒng)聯(lián)合中心負責(zé)人周禮棟博士在接受AI前線記者采訪時說:Microsoft Custom Vision和Google Cloud AutoML都是針對視覺識別領(lǐng)域里的AutoML(自動學(xué)習(xí))的一個應(yīng)用,都非常的簡單易用。通過把復(fù)雜的模型選取、參數(shù)調(diào)優(yōu)的過程掩藏在了產(chǎn)品的背后,Microsoft Custom Vision可以給用戶提供一個非常簡單易用的體驗,使非專業(yè)人士也能零門檻的定制自己的模型。
同時,Microsoft Custom Vision也是微軟認知服務(wù)(Cognitive Services)中的一部分,微軟推出的認知服務(wù)包括視覺、語音、語言、知識和搜索等五大類別的二十多個API,如人臉識別、情緒識別、語音識別、拼寫檢查、語言理解等等。微軟認知服務(wù)的側(cè)重點是為用戶提供一個通用的服務(wù),用戶可以直接調(diào)用現(xiàn)成的智能API來開發(fā)出更智能、更有吸引力的產(chǎn)品,而不需要花費大量時間來自己訓(xùn)練模型。
而對于最近剛剛興起的AutoML技術(shù),周博士也發(fā)表了一些自己的看法:
近年來,“AutoML(自動學(xué)習(xí))”已經(jīng)成為了一個研究熱點。通過自動化的方式,機器試圖學(xué)習(xí)到最優(yōu)的學(xué)習(xí)策略,從而避免機器學(xué)習(xí)從業(yè)者低效的手動調(diào)整。經(jīng)典的AutoML方法包括用于超參數(shù)調(diào)節(jié)的貝葉斯優(yōu)化(Bayesian Optimization),以及用于優(yōu)化器和網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整的元學(xué)習(xí)技術(shù)(Meta learning/Learning-to-Learn)。除了在學(xué)術(shù)界引起了廣泛研究興趣,AutoML在工業(yè)界也已經(jīng)得到了實際應(yīng)用,例如此前提到的微軟Azure提供的自定義影像(Custom Vision)服務(wù),它能夠方便云計算用戶自動訓(xùn)練用于計算機視覺的機器學(xué)習(xí)模型。
AutoML讓用戶在沒有專業(yè)知識的情況下使用機器學(xué)習(xí)的門檻大大地降低,甚至可謂是零門檻。在沒有機器學(xué)習(xí)專家指導(dǎo)的情況下,用戶通過AutoML就能在一定情況下得到高質(zhì)量的模型,這使機器學(xué)習(xí)的行業(yè)應(yīng)用更加容易可行。周博士說,微軟亞洲研究院希望把這類技術(shù)的使用和研究更加普及化。微軟正在著力打造一款用于深度學(xué)習(xí)的項目,名曰:深度學(xué)習(xí)智能探索(Neural Network Intelligence),簡稱叫NNI。
開發(fā)NNI工具包的目的是為用戶提供智能化、自動化的深度學(xué)習(xí)工具包,可以幫助用戶或者開發(fā)者自動地進行數(shù)據(jù)分析,自動的幫他們搜索模型,進行參數(shù)調(diào)試和性能分析,通過這樣自動迭代的準備過程,用戶可以節(jié)省更多的時間,將精力放在探索更有深度的機器學(xué)習(xí)的道路上。
周禮棟博士表示,NNI集成了AutoML算法,是一個支持不同操作系統(tǒng)的,在本地也可以云端運行的工具包。它特別適合有一定人工智能基礎(chǔ)的科研人員更加有針對性、精準的選取模型。微軟為此制定了全新的語言,使得定義和描述搜索空間只需幾行代碼,所有的底層通信等復(fù)雜問題都被封裝起來,對使用者完全透明。NNI著重解決了一系列支持AutoML的系統(tǒng)問題,以開放的方式有效加速AutoML算法研究者在這一領(lǐng)域的創(chuàng)新。為了鼓勵更多人工智能的科研工作者一起加強這項研究,NNI計劃將在近期開源。
另辟行徑,打造智能系統(tǒng)
然而,微軟對降低人工智能門檻,提升深度學(xué)習(xí)普及化的想法可不止于此,AutoML技術(shù)只是其中的一環(huán),微軟要做的是智能系統(tǒng)。
周博士表示,AutoML是人工智能系統(tǒng)的一部分,它也對人工智能系統(tǒng)提出了包括資源管理、任務(wù)分配等一系列挑戰(zhàn)。簡單的說:靈活可擴展的好的人工智能系統(tǒng)能夠更好的支撐AutoML,使其更好更快的生成結(jié)果。而好的AutoML則能夠使人工智能系統(tǒng)更加完備,更方便使用。
智能時代,系統(tǒng)為先
周禮棟博士首先表示:人工智能如果沒有系統(tǒng)的話,就只是一個海市蜃樓——看上去很美,但一點都不真實。
他認為,系統(tǒng)就是把復(fù)雜的東西變得有序易用。而在計算機領(lǐng)域,系統(tǒng)的重要性是不言而喻的,在整個計算機發(fā)展的過程當中,我們感受到的每一次大的突破,背后實際上都有很多計算機系統(tǒng)的理論和設(shè)計作為推動力。
周博士分析了每一個時代下,系統(tǒng)的重要性:
互聯(lián)網(wǎng)時代,有很多非常新的系統(tǒng)出現(xiàn)在我們的生活中,其中最有代表性的一個系統(tǒng)就是搜索引擎。大家很多人都用搜索引擎搜索網(wǎng)上的信息,而搜索引擎背后就有很多系統(tǒng)領(lǐng)域的技術(shù)、理論。其中一個典型的系統(tǒng)理論就是分布式系統(tǒng)理論。
在大數(shù)據(jù)或者說大家都熟知的云計算時代,云計算的系統(tǒng)就是非常典型的系統(tǒng)?,F(xiàn)在我們看到很多公司都在提供云計算的服務(wù)。這里就用到了一些新的計算機系統(tǒng)的技術(shù),其中有虛擬機技術(shù)、容錯技術(shù)等,因為這些技術(shù)才使得這樣的服務(wù)和系統(tǒng)成為了可能。
如今的人工智能時代,我們看到越來越多深度學(xué)習(xí)在計算機視覺、語音識別、自然語言等領(lǐng)域都取得了突破,這就對系統(tǒng)產(chǎn)生了更大的需求。我們研究開發(fā)了很多大規(guī)模深度學(xué)習(xí)的平臺,這其中也依托了最近在系統(tǒng)方面的進展和研究成果,包括怎么利用異構(gòu)的硬件高效地執(zhí)行這些深度學(xué)習(xí)的任務(wù),也包括怎么進行高性能的并行計算。這些使得深度學(xué)習(xí),特別是非常有深度的模型的處理成為可能。
周博士說:“我們還可以設(shè)想,未來量子計算將成為主流的技術(shù)。但是我們也可以看到,現(xiàn)在在系統(tǒng)方面的發(fā)展還沒有到能夠讓它付諸實用的階段。雖然理論上很成熟了,但若要變成現(xiàn)實,還需要在系統(tǒng)方面進行很多創(chuàng)新、研究、實踐,才能促成這一步大的變革。”
深度學(xué)習(xí)的瓶頸
在演講中,周博士提到了深度學(xué)習(xí)目前已經(jīng)取得進一步的發(fā)展,但還是會遇到一些瓶頸,而且很多瓶頸還是產(chǎn)生在系統(tǒng)方面。他說:“現(xiàn)在,即便我們有很多不同的硬件加速,有很多不同的模型,我們能怎么解決把這個模型非常高效地映射到相應(yīng)的硬件上,并且有不同定制的優(yōu)化呢?整個深度學(xué)習(xí)領(lǐng)域里面的工作目前其實都是人工去做的,而不是用系統(tǒng)化的方法去完成的。”
此外,進行深度學(xué)習(xí)模型訓(xùn)練的時候,開發(fā)者們一般使用GPU來進行加速,當訓(xùn)練樣本只有百萬級別的時候,單卡GPU通常就能滿足我們的需求,但是當訓(xùn)練樣本量達到上千萬、上億級別之后,單卡訓(xùn)練的耗時會很長,所以這個時候通常需要采用多機多卡進行加速。在這種情況或者一些更復(fù)雜的情況下,我們就需要很多系統(tǒng)方面的設(shè)計和考慮。人工智能的實踐者不用再擔(dān)心是不是需要自己架一個GPU集群才可以做人工智能的事情。因為這是系統(tǒng)應(yīng)該完成的事情,周博士說:“我們應(yīng)該把這些事情都做了,那么人工智能方面的研究者就能被解放出來專注研究人工智能的問題了。”
人工智能領(lǐng)域的門檻非常高,所以人工智能從業(yè)者的身價也非常高。這也是因為系統(tǒng)層面的很多工作還不夠深入。周博士表示,他們推進自己的工作,就希望能夠把這個門檻降低,真正做到“人工智能普及化”。這將是非??尚?、且必行的下一步工作。
微軟的智能系統(tǒng)
周博士認為:系統(tǒng)最關(guān)鍵的創(chuàng)新,就是把抽象實現(xiàn)的非常完美。用戶其實“看不到”系統(tǒng),大家談起來,似乎看到的都是視覺等上層的突破,永遠看不到下面底層的進步。所以我們一直說,系統(tǒng)的最高境界就是完全不可見的,是隱形的。
他告訴我們:微軟一直認為,未來,整個世界就是一臺計算機?,F(xiàn)實世界也好,虛擬世界也罷,所有這些部分都將連接在一起。
周博士說:“微軟亞洲研究院對系統(tǒng)這個領(lǐng)域的理解是:首先,系統(tǒng)是一個跨領(lǐng)域、有廣度的研究,我們需要對從底層的硬件一直到上層的應(yīng)用,包括人工智能這樣新的應(yīng)用,都有非常廣博的了解,這樣才能夠設(shè)計出適合應(yīng)用的系統(tǒng)。其次,編譯器原理、編譯優(yōu)化、數(shù)據(jù)庫系統(tǒng)這些領(lǐng)域,我們也都需要有深入了解,這樣才能夠通過合理的系統(tǒng)設(shè)計充分利用硬件的能力,也就是說,系統(tǒng)方面的研究也一定要有深度,這也是非常重要的?!?/p>
據(jù)介紹,微軟亞洲研究院系統(tǒng)領(lǐng)域的研究成果在現(xiàn)實的商業(yè)場景中已經(jīng)有了廣泛的應(yīng)用,并產(chǎn)生了實際的商業(yè)效能,例如:
GraM分布式并行圖處理引擎,能夠在內(nèi)存里面通過集群處理具有超過10億條邊的圖;
Apollo大數(shù)據(jù)任務(wù)調(diào)度系統(tǒng),可以直接部署在10萬臺機器上,每天能夠調(diào)度幾百萬條的任務(wù),用來支持搜索引擎、廣告等部門的日常業(yè)務(wù);
StreamScope分布式流數(shù)據(jù)處理平臺,能夠?qū)崟r處理數(shù)十億的廣告信息;
KV-Direct Key/Value系統(tǒng),可處理每秒12億次以上的操作,相比同類最前沿的研究系統(tǒng)有至少一個數(shù)量級的提升。雖然這個系統(tǒng)還沒有得到部署,但它是微軟目前研究的最前沿的一個代表,發(fā)表在計算機系統(tǒng)的頂級會議SOSP 2017。這些只是冰山一角,據(jù)說微軟在智能系統(tǒng)方面的探索遠不止于此,智能時代的微軟似乎擁有著更多的可能性。
智能系統(tǒng)的未來
最后,周博士表達了他個人對智能系統(tǒng)發(fā)展趨勢的一些看法:
首先,現(xiàn)在很多深度學(xué)習(xí)的框架,將來都將互通統(tǒng)一。其實數(shù)據(jù)庫就是一個很好的例子——很久以前有各種各樣的數(shù)據(jù)庫,但最后大家發(fā)明了所謂的以Relational algebra(關(guān)系代數(shù))為基礎(chǔ)的數(shù)據(jù)庫,讓所有數(shù)據(jù)庫模型都成為一種統(tǒng)一的模型。在人工智能方面,這種互通的統(tǒng)一性,從系統(tǒng)角度來說也是肯定會發(fā)生的一件事情。
其次,系統(tǒng)的能力會越來越強,會有無界的資源。整個世界就是一臺計算機,所以我們最后希望能夠達到的目標就是,在資源無界的環(huán)境里,你所使用的資源,無論是來自于計算中心還是來自于自己的計算機,甚至是來自于一個不知道是什么的地方,都會被系統(tǒng)很好地隱藏起來。你只要把事情做好,而不用關(guān)心資源是從哪里來的。
最后,也是需要再強調(diào)的一點,在系統(tǒng)研究里最關(guān)鍵的創(chuàng)新在于要提出一種更簡約的抽象,并且用全新的工具和平臺來支持這個抽象,從而讓大家各方面的工作效率得到提升。
結(jié)尾
為了推進人工智能普及化、降低開發(fā)門檻,微軟正在不斷地努力和嘗試,相信用戶很快就能享受到這些努力的成果。就像周禮棟博士所說:系統(tǒng)的最高境界是無形的。也許技術(shù)的最高境界就是無形的,好的技術(shù)就是這樣在潛移默化中改變了我們的生活,雖然我們沒有感覺,但是它的確發(fā)生了。
以“系統(tǒng)|加速未來變革”為主題的2018微軟教育峰會將在北京時間8月1日至8月3日舉行,作為工業(yè)界與學(xué)術(shù)界公認的頂級對話平臺,本次大會將匯集來自全球?qū)W術(shù)界、微軟和微軟研究院的專家,共同探討如何構(gòu)建當今由“智能云+智能邊緣”組成的覆蓋全球的“AI超級計算機”。點擊二條推送了解本屆峰會的亮點與線上直播安排。
評論
查看更多