機(jī)器學(xué)習(xí)如今大獲成功的原因有哪些？如何才能取得進(jìn)一步的突破？

機(jī)器學(xué)習(xí)如今大獲成功的原因有哪些？如何才能取得進(jìn)一步的突破？南京大學(xué)周志華教授在AI WORLD 2018大會(huì)上分享他關(guān)于機(jī)器學(xué)習(xí)的一點(diǎn)思考：我們需要設(shè)計(jì)新的、神經(jīng)網(wǎng)絡(luò)以外的深度模型；讓智能體在弱監(jiān)督條件下也能夠?qū)W習(xí)，以及考慮開放動(dòng)態(tài)任務(wù)環(huán)境下的學(xué)習(xí)。

南京大學(xué)計(jì)算機(jī)系主任、人工智能學(xué)院院長(zhǎng)周志華分享了他《關(guān)于機(jī)器學(xué)習(xí)的一點(diǎn)思考》。周志華教授表示，當(dāng)前機(jī)器學(xué)習(xí)成功的背后，實(shí)際上離不開三點(diǎn)：1）有效的深度模型，現(xiàn)階段基本上就是深度神經(jīng)網(wǎng)絡(luò)；2）存在強(qiáng)監(jiān)督信息，也即數(shù)據(jù)都要有標(biāo)注，而且越精準(zhǔn)越好；3）學(xué)習(xí)的環(huán)境較為穩(wěn)定。

因此，如果未來機(jī)器學(xué)習(xí)要取得進(jìn)一步突破，就必須：1）設(shè)計(jì)新的、多樣化的深度模型；2）讓智能體能夠在弱監(jiān)督條件下學(xué)習(xí)；3）考慮開放動(dòng)態(tài)任務(wù)環(huán)境下的學(xué)習(xí)。

周志華教授說，機(jī)器學(xué)習(xí)界早就很清楚，“沒有免費(fèi)的午餐”，也即任何一個(gè)模型可能只適用于一部分的任務(wù)，而另外一些任務(wù)是不適用的。例如，Kaggle競(jìng)賽中有各種各樣的任務(wù)，但在圖像、視頻、語音之外的很多任務(wù)上，比如訂機(jī)票、訂旅館之類，還是傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)（如隨機(jī)森林或XGBoost）表現(xiàn)更好，尤其是涉及符號(hào)建模、離散建模、混合建模等問題。

周志華教授著重介紹了他帶領(lǐng)團(tuán)隊(duì)提出的“深度森林”，這是一種以決策樹為基礎(chǔ)構(gòu)建的深度模型。深度森林在超大型互聯(lián)網(wǎng)金融企業(yè)的非法套現(xiàn)檢測(cè)任務(wù)中，近2億的真實(shí)交易數(shù)據(jù)實(shí)測(cè)上，性能超越了包括深度神經(jīng)網(wǎng)絡(luò)在內(nèi)的其他模型。這也驗(yàn)證了周志華教授及其團(tuán)隊(duì)的猜想——在很多其他任務(wù)上，非神經(jīng)網(wǎng)絡(luò)的深度模型能找到用武之地。

不過，周志華教授也表示，任何一個(gè)理論的提出，都需要經(jīng)過長(zhǎng)時(shí)間的發(fā)展與完善。深度森林目前尚處于初級(jí)階段，好比打開了“深度學(xué)習(xí)”這間小黑屋的一扇門，還有更多需要去探索。

周志華：關(guān)于機(jī)器學(xué)習(xí)的一點(diǎn)思考

以下是南京大學(xué)計(jì)算機(jī)系主任、人工智能學(xué)院院長(zhǎng)周志華教授在AI WORLD 2018世界人工智能峰會(huì)上發(fā)表的演講。

周志華：各位朋友，大家上午好！謝謝新智元楊總的邀請(qǐng)，前面一直沒有機(jī)會(huì)參加，今天很高興有這個(gè)機(jī)會(huì)。我本人從事的是機(jī)器學(xué)習(xí)方面的研究，今天就和大家匯報(bào)一些關(guān)于機(jī)器學(xué)習(xí)方面粗淺的看法，談一談機(jī)器學(xué)習(xí)發(fā)展取得了哪些成功，后面會(huì)有哪些問題值得進(jìn)一步關(guān)注。

大家都知道，這一輪的人工智能熱潮很大程度上是由于機(jī)器學(xué)習(xí)，特別是其中深度學(xué)習(xí)技術(shù)取得了巨大的成功?？梢哉f今天每個(gè)人、每天都在談機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)已經(jīng)無所不在，各種各樣的智能應(yīng)用當(dāng)中如果離開了機(jī)器學(xué)習(xí)，基本上是不可想像的。

我們可能要問這樣一個(gè)問題：

機(jī)器學(xué)習(xí)取得了這么多的成功，這些成功的背后到底是什么呢？

大家常說，現(xiàn)在成功的智能應(yīng)用后面有三個(gè)重要的條件：一是現(xiàn)在有大數(shù)據(jù)了，二是現(xiàn)在有很強(qiáng)大的計(jì)算能力了，三是我們?cè)?a target="_blank">算法方面取得了很多突破。

這三個(gè)因素都特別重要，但今天我們將主要聚焦于機(jī)器學(xué)習(xí)技術(shù)本身，談一談機(jī)器學(xué)習(xí)技術(shù)本身取得這些進(jìn)展，背后到底有哪些原因。

其實(shí)，無外乎就是三個(gè)因素：

1、能找到有效的深度模型

2、存在很多很強(qiáng)的監(jiān)督信息

3、任務(wù)都是比較穩(wěn)定的環(huán)境

現(xiàn)在所有成功的機(jī)器學(xué)習(xí)應(yīng)用背后都離不開這三者，下面我們分別來看。

天下沒有免費(fèi)的午餐，深度神經(jīng)網(wǎng)絡(luò)必然有不適用的任務(wù)

首先是深度模型。

現(xiàn)在深度學(xué)習(xí)在圖像、視頻、語音這些數(shù)字信號(hào)建模任務(wù)當(dāng)中取得了巨大的成功。如果我們問一問大家，“深度學(xué)習(xí)”是什么？我想從絕大多數(shù)人那里得到的答案都會(huì)是：

深度學(xué)習(xí)就是深度神經(jīng)網(wǎng)絡(luò)，甚至認(rèn)為“深度學(xué)習(xí)”就是“深度神經(jīng)網(wǎng)絡(luò)”的同義詞，談到深度學(xué)習(xí)就要從深度神經(jīng)網(wǎng)絡(luò)或者從神經(jīng)網(wǎng)絡(luò)談起。

事實(shí)上，神經(jīng)網(wǎng)絡(luò)并不是新事物，我們已經(jīng)研究了半個(gè)多世紀(jì)，只不過以前我們通常研究的是有一個(gè)隱層或兩個(gè)隱層這種比較淺的神經(jīng)網(wǎng)絡(luò)，其中每個(gè)計(jì)算單元都是非常簡(jiǎn)單的模型。早在1943年，我們就已經(jīng)把它抽象成了這樣一個(gè)非常簡(jiǎn)單的數(shù)學(xué)公式，就是從外界收到輸入X，經(jīng)過W放大，總的輸入如果要比θ高，我們就會(huì)用激活函數(shù)處理進(jìn)行輸出。這樣的模型到今天依然在沿用。

深度神經(jīng)網(wǎng)絡(luò)帶來的最大區(qū)別是什么呢？雖然有各種各樣的模型，各種各樣的算法，但是最根本的差別就是現(xiàn)在我們用了很多很多層。

深度神經(jīng)網(wǎng)絡(luò)最著名、最早的成功來自2012年，在計(jì)算機(jī)視覺領(lǐng)域最著名的ImageNet比賽上獲勝。當(dāng)時(shí)這個(gè)獲勝的模型用了8層，2015年獲勝的模型用了152層，2016年就用到了1207層，今天幾千層的模型比比皆是。

實(shí)際上，這樣的模型當(dāng)中有大量參數(shù)需要計(jì)算，所以需要非常復(fù)雜、非常龐大的計(jì)算系統(tǒng)。雖然現(xiàn)在我們有了很強(qiáng)的計(jì)算設(shè)備和很巧妙的算法，但是我們能夠做到這一切，根本的原因之一是神經(jīng)網(wǎng)絡(luò)中基本計(jì)算單元激活函數(shù)是連續(xù)可微的。原來淺層神經(jīng)網(wǎng)絡(luò)用的是左邊的函數(shù)，也是連續(xù)可微的，深度學(xué)習(xí)的年代我們通常會(huì)用右邊這樣的函數(shù)或變體。

不管怎么樣，可微性給我們帶來了非常重要的結(jié)果，就是可以很容易地計(jì)算出梯度，基于梯度的調(diào)整就可以用著名的BP算法來訓(xùn)練整個(gè)模型。

這一點(diǎn)非常重要，因?yàn)槿绻皇菑氖聶C(jī)器學(xué)習(xí)研究的朋友會(huì)覺得，神經(jīng)網(wǎng)絡(luò)半個(gè)世紀(jì)之前就有了，到了今天我們之所以能夠做更深的神經(jīng)網(wǎng)絡(luò)，只不過是因?yàn)橛?jì)算能力強(qiáng)，現(xiàn)在能夠訓(xùn)練了。實(shí)際上不是這樣的。

2006年之前，可以說我們都不知道怎么訓(xùn)練出5層以上的神經(jīng)網(wǎng)絡(luò)，根本原因是一旦層數(shù)高了以后，用BP算法梯度就會(huì)消失，然后就不知道怎么學(xué)習(xí)下去。所以，2006年的時(shí)候Geoffrey Hinton做了很重要的工作，通過逐層訓(xùn)練來緩解梯度消失，使得深層模型能夠被訓(xùn)練出來。后來有了一系列深度學(xué)習(xí)的工作，包括到今天為止的很多前沿研究，都是在防止深層網(wǎng)絡(luò)中梯度消失，使得梯度更新搜索能持續(xù)下去使訓(xùn)練能夠完成。

神經(jīng)網(wǎng)絡(luò)取得了非常大的成功，但任何一個(gè)模型都必然存在缺陷，神經(jīng)網(wǎng)絡(luò)也是這樣。

常用神經(jīng)網(wǎng)絡(luò)的朋友知道，現(xiàn)在深度神經(jīng)網(wǎng)絡(luò)有很多問題。大家經(jīng)常說的一件事情就是要花大量的精力調(diào)整參數(shù)，參數(shù)實(shí)在太多了。不僅如此，這還會(huì)帶來另外一個(gè)嚴(yán)重的問題：哪怕我告訴你同樣的算法、用同樣的數(shù)據(jù)，如果不告訴你參數(shù)是怎么調(diào)的，可能就沒有辦法得到同樣的結(jié)果。

此外，還有很多別的問題，比如我們現(xiàn)在用的神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度是固定的，一旦先確定了一個(gè)模型，就把這個(gè)模型用下去。問題是，在解決一個(gè)現(xiàn)實(shí)問題之前，我們?cè)鯓硬拍苤朗裁礃拥哪Ｐ褪亲钋‘?dāng)?shù)哪?？我們不知道，所以通常?huì)用一個(gè)過度復(fù)雜的模型來做問題，做的過程當(dāng)中不斷把它簡(jiǎn)化。

最近如果大家關(guān)心深度學(xué)習(xí)方面的一些前沿研究，可能就會(huì)發(fā)現(xiàn)現(xiàn)在有大量的論文是關(guān)于模型壓縮、模型簡(jiǎn)化等等，事實(shí)上都是由這個(gè)原因?qū)е碌?。我們能不能在使用模型的最初不要使用那么?fù)雜的東西？先使用一個(gè)比較簡(jiǎn)單的，然后隨著數(shù)據(jù)和訓(xùn)練的過程讓它自適應(yīng)地、自動(dòng)地提升復(fù)雜度呢？很遺憾，我們對(duì)神經(jīng)網(wǎng)絡(luò)很難做到這一點(diǎn)，因?yàn)槲覀円坏┯肂P算法基于梯度搜索來做這件事情，如果事先結(jié)構(gòu)都完全不知道，那么求梯度的對(duì)象也就不知道了。

這里有很多的問題，更不用說還有其它的缺陷，比如大的訓(xùn)練數(shù)據(jù)、理論分析很困難、黑箱模型等等。

有些工業(yè)界的朋友可能會(huì)說，前面你們談到的這些缺陷都是從學(xué)術(shù)角度來說的，我關(guān)心實(shí)踐，只要性能好就行，至于學(xué)術(shù)上有什么缺點(diǎn)我不關(guān)心。實(shí)際上就算從這個(gè)角度來看，可能也還有很多的需求希望我們?nèi)パ芯科渌哪Ｐ汀?/p>

如果我們真正看一看今天的深度神經(jīng)網(wǎng)絡(luò)到底在哪些任務(wù)上取得了成功，其實(shí)我們可以看到無外乎主要就是圖像、視頻、語音，涉及到這些對(duì)象的任務(wù)。它們非常典型，都是一些數(shù)值信號(hào)建模的任務(wù)。而在很多其他的任務(wù)上，深度神經(jīng)網(wǎng)絡(luò)表現(xiàn)并沒有那么好，比如可能有的朋友接觸過Kaggle這個(gè)數(shù)據(jù)分析競(jìng)賽的網(wǎng)站，上面每天都有很多數(shù)據(jù)分析的任務(wù)，有訂機(jī)票的，有訂旅館的，到今天為止，雖然深度學(xué)習(xí)網(wǎng)絡(luò)這么成功，很多這樣的任務(wù)上我們可以看到獲勝的通常還是一些相對(duì)傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)，而不是深度神經(jīng)網(wǎng)絡(luò)。

事實(shí)上，機(jī)器學(xué)習(xí)界早就很清楚這件事情了，我們有一個(gè)經(jīng)過嚴(yán)格證明的定理，叫做“沒有免費(fèi)的午餐定理”，也就是任何一個(gè)模型可能只有一部分任務(wù)是適用的，另外一些任務(wù)是不適用的。

所以，雖然深度神經(jīng)網(wǎng)絡(luò)在有些任務(wù)上很成功，但對(duì)別的應(yīng)用來說，我們有沒有可能設(shè)計(jì)出新的模型，在這些任務(wù)取得以往沒有取得的效果？這可能也是非常值得關(guān)注的一件事情。

基于非可微構(gòu)件、非神經(jīng)網(wǎng)絡(luò)的深度模型，是下一步很值得探索的方向

如果我們重新審視深度模型自身的話，會(huì)發(fā)現(xiàn)今天我們所談的深度模型其實(shí)都是指深度神經(jīng)網(wǎng)絡(luò)，而用更學(xué)術(shù)的話來說，這是由多層參數(shù)化可微的非線性模塊搭建起來的模型，而它本身能夠用BP算法去訓(xùn)練。

最近有些深度學(xué)習(xí)網(wǎng)絡(luò)的研究在考慮怎樣用一些不可微的激活函數(shù)，但是實(shí)際上是怎么做的呢？先用了一個(gè)不可微的激活函數(shù)對(duì)現(xiàn)實(shí)建模，然后在優(yōu)化的過程當(dāng)中逐漸近似放松，最后還要把它變成一個(gè)可微的東西求解，所以最終還是離不開可微性。

但是，現(xiàn)實(shí)世界當(dāng)中并不是所有規(guī)律都是可微的，或者能夠利用可微構(gòu)件最優(yōu)建模的，而且另一方面我們機(jī)器學(xué)習(xí)界早就經(jīng)過了很多年的研究，也有很多不可微的構(gòu)件，這些構(gòu)件以后有沒有用呢？現(xiàn)在我們就在考慮這樣一個(gè)很基礎(chǔ)的問題，就是能不能基于不可微構(gòu)件進(jìn)行深度學(xué)習(xí)？

這個(gè)問題如果得到答案，我們可以得到一系列其它問題的答案，比如深度模型是不是只能用深度神經(jīng)網(wǎng)絡(luò)來做？我們有沒有可能不通過BP算法來做出這種深度模型？我們能不能在圖像、視頻、語音之外的任務(wù)也能夠獲得一些深度模型，幫助我們獲得更好的性能？

最近我們的課題組做了一些研究，提出了一個(gè)新的模型叫做“深度森林”，這是不基于神經(jīng)網(wǎng)絡(luò)來做的模型，它的基本構(gòu)件是決策樹，本身是不可微的，所以不能用BP訓(xùn)練，模型復(fù)雜度可以自己根據(jù)數(shù)據(jù)調(diào)整，超參數(shù)比深度神經(jīng)網(wǎng)絡(luò)要小。除了大規(guī)模的圖像類任務(wù)之外，很多的任務(wù)上它的性能已經(jīng)達(dá)到或者接近了深度神經(jīng)網(wǎng)絡(luò)的性能。從學(xué)術(shù)上來說，特別值得關(guān)注的就是它是第一個(gè)非神經(jīng)網(wǎng)絡(luò)，不使用BP算法訓(xùn)練的深度學(xué)習(xí)模型。

后來國際上關(guān)于這件事情也有一些反響和探討。Keras的創(chuàng)始人說，這種可微層是當(dāng)前深度學(xué)習(xí)模型的根本弱點(diǎn)，現(xiàn)在我們的模型本身是不使用可微層的；深度學(xué)習(xí)的奠基人Geoffrey Hinton說放棄BP從頭開始，現(xiàn)在我們的模型就完全沒有使用BP算法。這類模型不一定僅限于“深度森林”這樣的模型，基于非可微構(gòu)件、非神經(jīng)網(wǎng)絡(luò)的深度模型可能是下一步很值得探討的方向。大家知道深度神經(jīng)網(wǎng)絡(luò)已經(jīng)研究了二十多年，再往下研究的空間可能不見得那么大，但是其它的模型有沒有可能做深呢？一旦我們往前走了一步，可能會(huì)給我們帶來巨大的空間。

這只是學(xué)術(shù)上的意義，來自工業(yè)界做應(yīng)用的朋友可能會(huì)問，應(yīng)用上到底有什么東西用它做比較好？在圖像、視頻、語音這些純的數(shù)值建模之外，涉及到符號(hào)數(shù)據(jù)、離散數(shù)據(jù)、混合建模的問題，可能是這種不可微模型能夠發(fā)揮作用的地方。

比如最近我們和國內(nèi)一個(gè)非常大的互聯(lián)網(wǎng)金融公司合作，做在線支付的非法套現(xiàn)檢測(cè)。這個(gè)公司非常大，大家每天都在接觸它，每天有大量的網(wǎng)上交易，比如在2016年“雙11”這一天，一天就有1億多交易是通過網(wǎng)上支付來做的。非法套現(xiàn)是一個(gè)很大的問題。

我們給大家看個(gè)結(jié)果，訓(xùn)練數(shù)據(jù)用了1億3千多萬的真實(shí)交易，測(cè)試數(shù)據(jù)用了5千多萬真實(shí)交易，這可能是世界上最大的關(guān)于互聯(lián)網(wǎng)交易非法套現(xiàn)的數(shù)據(jù)。這家公司內(nèi)部有一個(gè)大型分布式機(jī)器學(xué)習(xí)系統(tǒng)，他們的工程師很厲害，做了深度森林的大規(guī)模分布式實(shí)現(xiàn)，實(shí)測(cè)結(jié)果來看比系統(tǒng)中以往的模型包括深度神經(jīng)網(wǎng)絡(luò)在內(nèi)的性能都還要更好一些。這也驗(yàn)證了我們所猜想的，在很多其它任務(wù)上，圖像、視頻、語音之外的任務(wù)上，非神經(jīng)網(wǎng)絡(luò)模型能找到用武之地。

另外一方面，這畢竟只是一個(gè)起點(diǎn)，因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)研究了20多年，深度神經(jīng)網(wǎng)絡(luò)經(jīng)過幾十萬上百萬研究實(shí)踐者這么多年的探索改進(jìn)，而非神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的研究才剛剛開始，只有幾個(gè)人做了一點(diǎn)點(diǎn)事情，未來有非常多可以探索的東西。任何一個(gè)新技術(shù)往前走的話都有很多工作要做。關(guān)于深度模型真正重要的意義是，以前我們以為深度學(xué)習(xí)只有深度神經(jīng)網(wǎng)絡(luò)，現(xiàn)在知道這里面可以有很多其它的東西。

當(dāng)前機(jī)器學(xué)習(xí)高度依賴于強(qiáng)監(jiān)督信息，弱監(jiān)督學(xué)習(xí)還有很大空白

關(guān)于監(jiān)督信息。對(duì)于一個(gè)機(jī)器來說，我們拿到很多數(shù)據(jù)之后，經(jīng)過訓(xùn)練得到模型，這個(gè)模型能夠發(fā)揮作用，能夠做精確預(yù)測(cè)。這里面很重要的是我們需要有很多數(shù)據(jù)，而且這些數(shù)據(jù)需要有監(jiān)督信息。

深度學(xué)習(xí)需要大量的樣本，2012年ImageNet獲勝的網(wǎng)絡(luò)已經(jīng)用到超過1500多萬樣本，而現(xiàn)在的網(wǎng)絡(luò)越來越大，所需要的樣本越來越多。大家可能會(huì)有一個(gè)誤解，大數(shù)據(jù)時(shí)代數(shù)據(jù)樣本是不是不成問題？

其實(shí)不是的。

樣本需要標(biāo)記，我們現(xiàn)在大量的人力物力都花在這件事上，比如前段時(shí)間有討論人工智能會(huì)不會(huì)使得一些職業(yè)消亡。是不是消亡我們沒看到，但是我們已經(jīng)看到一個(gè)新的職業(yè)，就是數(shù)據(jù)標(biāo)注已經(jīng)變成一個(gè)產(chǎn)業(yè)。這件事情不管它好還是不好，反正它就在那兒，至少告訴我們機(jī)器學(xué)習(xí)技術(shù)現(xiàn)在對(duì)強(qiáng)監(jiān)督信息是高度依賴的。

談到這件事可能有的朋友會(huì)想到前段時(shí)間很熱門的AlphaGo，最早的AlphaGo使用人類職業(yè)六段以上的所有棋局，超過16萬棋局進(jìn)行學(xué)習(xí)。后來發(fā)明了AlphaZero，不使用人類棋局，通過兩個(gè)程序直接對(duì)弈提升性能，這樣是不是不需要監(jiān)督信息了呢？

所謂的AlphaZero，DeepMind說它是“從零開始學(xué)習(xí)”，第一天沒有任何數(shù)據(jù)，第三天超過戰(zhàn)勝李世石的版本，第21天超過Alpha Master，第40天達(dá)到人類見到的最強(qiáng)能力。中間沒有用任何人類的棋局，這是不是意味著它背后的強(qiáng)化學(xué)習(xí)技術(shù)真的不需要監(jiān)督信息？

其實(shí)不是這樣的。因?yàn)榉浅Ｖ匾囊稽c(diǎn)，是當(dāng)兩個(gè)程序在對(duì)弈的時(shí)候，我們一定能夠判斷出勝負(fù)，而勝負(fù)規(guī)則是非常強(qiáng)的監(jiān)督信息，是上帝判斷。

打個(gè)比方來說，我要建一個(gè)能抵抗18級(jí)臺(tái)風(fēng)的橋，事先不知道怎么建，沒有人教我怎么建，不管怎么樣，如果我能建出一個(gè)東西來，就有一個(gè)“上帝”告訴我，你這個(gè)東西能扛過去、那個(gè)東西扛不過去，有了這個(gè)指導(dǎo)信息，經(jīng)過不斷摸索最后就可能把這個(gè)橋建出來。

真正的現(xiàn)實(shí)應(yīng)用中哪里能得到這樣的上帝規(guī)則？根本得不到。我們也不可能通過無成本探索像圍棋這樣獲得大量的樣本。我們沒有辦法去做真正的不需要任何數(shù)據(jù)，不需要任何標(biāo)記的學(xué)習(xí)。

我們現(xiàn)在能做的還是要往弱監(jiān)督學(xué)習(xí)上做。

所謂的弱監(jiān)督學(xué)習(xí)，就是希望監(jiān)督信息不用那么多了，稍微少一點(diǎn)，它還是能夠工作得很好。舉幾個(gè)典型的弱監(jiān)督學(xué)習(xí)的例子：在醫(yī)院里診斷乳腺圖像的影像，希望看到影像中有沒有鈣化點(diǎn)。一個(gè)醫(yī)院有很多數(shù)據(jù)，比如100萬幅圖像，但是醫(yī)生只標(biāo)注了一萬幅，有99萬幅沒有標(biāo)記，這種叫做監(jiān)督信息不完全。

第二種情況，可能醫(yī)生只告訴我們這個(gè)圖像里面有病灶，但是病灶在哪兒沒標(biāo)出來，這時(shí)候我們把它叫監(jiān)督信息不具體。

還有更多的情況，比如醫(yī)生由于疲勞、疏忽等標(biāo)注中間有錯(cuò)誤，我們就把它叫做監(jiān)督信息不精確，這是三種典型的情況。

事實(shí)上很多應(yīng)用里這些問題都普遍存在，大量的應(yīng)用都能看到這三種情況。對(duì)這些情況事實(shí)上機(jī)器學(xué)習(xí)界有一些探索，比如第一種情況我們做半監(jiān)督學(xué)習(xí)、主動(dòng)學(xué)習(xí)；第二種情況有多示例學(xué)習(xí)，有MIML；第三種有眾包學(xué)習(xí)、帶噪學(xué)習(xí)。這是好的一方面。

另一方面，強(qiáng)監(jiān)督學(xué)習(xí)我們已經(jīng)研究很多，非常典型的弱監(jiān)督學(xué)習(xí)也已經(jīng)有研究，但是還有更多的弱監(jiān)督狀態(tài)，例如這個(gè)圖中幾朵云之間的過渡狀態(tài)，這些狀態(tài)有的連學(xué)術(shù)探討的文獻(xiàn)都還很少見。

關(guān)于弱監(jiān)督學(xué)習(xí)，應(yīng)該說還有大量的事情需要我們?nèi)プ觥?/p>

開放環(huán)境下的機(jī)器學(xué)習(xí)研究是通往魯棒人工智能的重要環(huán)節(jié)

接下來談一談任務(wù)環(huán)境。

機(jī)器學(xué)習(xí)現(xiàn)在取得勝利，基本上都是在封閉靜態(tài)環(huán)境里面。我們要假定很多東西都是固定的，比如我們要假定所有的數(shù)據(jù)都來自于獨(dú)立同分布，數(shù)據(jù)分布恒定。

我們通常要假定樣本類別恒定，訓(xùn)練數(shù)據(jù)只能讓我識(shí)別蘋果和梨，以后給我的東西我就只會(huì)識(shí)別成蘋果和梨，給我一個(gè)菠蘿也會(huì)只從蘋果和梨當(dāng)中選擇一個(gè)，判斷到底是兩個(gè)中間的哪個(gè)。

樣本屬性也是恒定的。樣本里面用一百個(gè)屬性來描述我的數(shù)據(jù)，預(yù)測(cè)的時(shí)候也要把這一百個(gè)屬性給我，中間不能發(fā)生變化。

甚至我們的目標(biāo)也要恒定。一個(gè)模型好，我們就認(rèn)為它就是好的，不管對(duì)誰來說都應(yīng)該是一個(gè)好的模型。

事實(shí)上，我們現(xiàn)在越來越多地碰到所謂的開放動(dòng)態(tài)環(huán)境。在這樣的環(huán)境中可能一切都會(huì)發(fā)生變化。

現(xiàn)在有一條船開到海上去，我們不斷搜集海面的數(shù)據(jù)來做導(dǎo)航，可以知道今年在海上碰到的海冰分布和去年就是不一樣的，這個(gè)數(shù)據(jù)其實(shí)每年都在變。這就是數(shù)據(jù)分布發(fā)生變化。

我們碰到以前沒有見過的困難情況，這是新的類別。如果把船開到兩極地區(qū)，由于環(huán)境惡劣，接入困難等等，有的屬性丟失了拿不到，這時(shí)候我們?cè)趺崔k？是不是屬性不夠就不能做預(yù)測(cè)，不能用了呢？

最后，我們同時(shí)要兼顧很多目標(biāo)，只考慮一種目標(biāo)得出來的模型往往可能是不能用的模型，必須要多個(gè)目標(biāo)都不錯(cuò)才能用。

可能會(huì)出現(xiàn)很多的變化，但是不管什么樣的變化出現(xiàn)，我們都希望好的時(shí)候要好，壞的時(shí)候不能太壞。這時(shí)候模型的魯棒性是一個(gè)很根本的要求。

關(guān)于這個(gè)問題，可能有的朋友如果對(duì)機(jī)器學(xué)習(xí)比較熟悉的話，馬上就會(huì)想到，不是有一種強(qiáng)化學(xué)習(xí)技術(shù)嗎？這種強(qiáng)化學(xué)習(xí)技術(shù)是通過跟環(huán)境交互來進(jìn)行學(xué)習(xí)的，它不就自動(dòng)能適應(yīng)環(huán)境嗎？

事實(shí)上這可能是一個(gè)誤解，現(xiàn)在雖然已經(jīng)有很多強(qiáng)化學(xué)習(xí)的研究，包括用強(qiáng)化學(xué)習(xí)來打游戲，在很多游戲上獲得勝利等等，看起來是和環(huán)境交互，但事實(shí)上，在整個(gè)強(qiáng)化學(xué)習(xí)的經(jīng)典假定里面，它所考慮的是狀態(tài)在環(huán)境中的變化，但是環(huán)境本身的基本規(guī)則比如下圍棋的游戲規(guī)則，在游戲過程中是不變的。

絕對(duì)不是說在學(xué)習(xí)的過程中是一種環(huán)境，在用的時(shí)候環(huán)境變化了，我這個(gè)模型還能用，那是不行的。比方說訓(xùn)練下棋模型的時(shí)候原來是什么規(guī)則，以后模型使用的時(shí)候仍然是這樣一種規(guī)則環(huán)境。

這個(gè)問題使用傳統(tǒng)強(qiáng)化學(xué)習(xí)技術(shù)還遠(yuǎn)遠(yuǎn)解決不了。

國際上怎么看這件事？

在國際人工智能大會(huì)（AAAI）Tom Dietterich教授做了一個(gè)主席報(bào)告，叫“通往魯棒的人工智能”，特別提到現(xiàn)在人工智能技術(shù)取得巨大發(fā)展，越來越多地面臨高風(fēng)險(xiǎn)應(yīng)用。

所謂高風(fēng)險(xiǎn)應(yīng)用是指自動(dòng)駕駛汽車、自主武器、遠(yuǎn)程輔助外科手術(shù)等等，這一類應(yīng)用無一例外都是一旦出現(xiàn)了問題，會(huì)造成巨大的損失。所以，我們才希望不要出問題，希望學(xué)習(xí)過程必須有魯棒性。

他提出未來的人工智能系統(tǒng)需要能夠應(yīng)對(duì)未知情況，他給了一個(gè)說法，叫做“Unknown Unknowns”，指的就是開放環(huán)境。開放環(huán)境下機(jī)器學(xué)習(xí)研究是通往魯棒人工智能的非常重要的環(huán)節(jié)。

最近有另外一個(gè)消息，美國國防部宣布開發(fā)下一代人工智能技術(shù)，用一句話來說，“旨在開發(fā)能夠進(jìn)行學(xué)習(xí)并適應(yīng)不斷變化環(huán)境的機(jī)器”。這句話其實(shí)就是把所謂的開放動(dòng)態(tài)環(huán)境下的學(xué)習(xí)換了一個(gè)表述，并且用到軍事應(yīng)用里去。

從學(xué)術(shù)上來說，我們組里對(duì)這件事關(guān)注得比較早，有一些探索，前面Dietterich教授的報(bào)告也提到了我們的一點(diǎn)工作。這張片子里面是我們最近關(guān)于應(yīng)付各種變化的一些探索性工作。

最近OpenAI組織了一個(gè)強(qiáng)化學(xué)習(xí)的比賽，比賽內(nèi)容是打游戲。最近這段時(shí)間可能大家聽到關(guān)于人工智能技術(shù)來打游戲的消息有不少了，比如DeepMind的消息等等?，F(xiàn)在我們說的這件事和其他那些有什么不同呢？

以前打游戲的時(shí)候是把告訴你要打什么游戲，學(xué)習(xí)程序可以把整個(gè)游戲都玩一遍，玩夠之后再和人玩，也就是說訓(xùn)練的時(shí)候可以看到所有的場(chǎng)景。

而這個(gè)比賽和以前不太一樣的是，它給我們的訓(xùn)練場(chǎng)景和測(cè)試場(chǎng)景是完全不一樣的，訓(xùn)練場(chǎng)景58個(gè)關(guān)卡，測(cè)試11個(gè)關(guān)卡，環(huán)境變化非常明顯，最重要的是考驗(yàn)我們?cè)趺慈ミm應(yīng)環(huán)境變化的能力。

這個(gè)比賽我們組俞揚(yáng)博士和合作者在200多個(gè)隊(duì)伍里面獲得冠軍。他們最重要是使用了兩個(gè)小技術(shù)，都是我們自己做出來的技術(shù)。

第一個(gè)是2004年我們提出的叫“二次學(xué)習(xí)技術(shù)”，先學(xué)一個(gè)模型，再做第二次學(xué)習(xí)得到進(jìn)一步的加強(qiáng)。這個(gè)技術(shù)后來被Geoffrey Hinton重新命名為Knowledge Distillation。

另外一個(gè)技術(shù)是我們通過集成學(xué)習(xí)研究得到啟發(fā)，引入多樣性激勵(lì)。如果只使用傳統(tǒng)強(qiáng)化學(xué)習(xí)環(huán)境的激勵(lì)，進(jìn)去好的狀態(tài)之后就很難再探索了；而現(xiàn)在引入多樣性激勵(lì)之后，一個(gè)地方做得好，會(huì)自動(dòng)去探索別的地方。

我們這兩個(gè)原創(chuàng)的小技術(shù)結(jié)合起來得到一個(gè)好的結(jié)果，比拿別人發(fā)明的技術(shù)獲勝做起來更好玩。

總結(jié)一下，現(xiàn)在機(jī)器學(xué)習(xí)成功的背后主要有三個(gè)原因，有效的深度模型，存在強(qiáng)監(jiān)督信息以及學(xué)習(xí)環(huán)境比較穩(wěn)定。但是，現(xiàn)實(shí)應(yīng)用里面這三件事情都不成立，有的場(chǎng)合可能還沒有很適合的深度學(xué)習(xí)模型，監(jiān)督信息也不夠強(qiáng)，任務(wù)環(huán)境不斷變化等等。

所以下一步，機(jī)器學(xué)習(xí)的研究或者應(yīng)用特別要關(guān)注研究新型深度模型、弱監(jiān)督學(xué)習(xí)以及開放環(huán)境的學(xué)習(xí)。