機(jī)器學(xué)習(xí)自動(dòng)化（AutoML）:讓機(jī)器自己煉丹

但很有意思的事，解釋可能無(wú)法窮盡。

王立威教授提出一個(gè)有趣的例子。機(jī)器作出判斷，這是一只貓。如果我們要尋求解釋?zhuān)瑔?wèn)為什么這是一只貓，機(jī)器可能回答，因?yàn)樗衅っ?，有四只貓爪……我們?cè)賳?wèn)，那為什么這是皮毛？

當(dāng)然機(jī)器還可以繼續(xù)解釋?zhuān)墙忉尩慕Y(jié)果可能會(huì)更加復(fù)雜，比直接告訴你這是皮毛要曲折得多。

人類(lèi)大腦是非常有限的，而現(xiàn)在的數(shù)據(jù)太多了。我們沒(méi)有那么多腦容量去研究所有東西的可解釋性。世界上有那么多應(yīng)用、網(wǎng)站，我們每天用 Facebook、Google 的時(shí)候，也不會(huì)想著去尋求它們背后的可解釋性。

對(duì)于醫(yī)療行業(yè)的可解釋機(jī)器學(xué)習(xí)的應(yīng)用王立威教授也提出完全不同的想法，他認(rèn)為只有在開(kāi)始階段，醫(yī)生不夠信任系統(tǒng)的時(shí)候可解釋才重要。而當(dāng)系統(tǒng)性能足夠優(yōu)化，可解釋就不再重要。在不可解釋上做的能超過(guò)人類(lèi)，這就是未來(lái)機(jī)器學(xué)習(xí)的可為之處。

來(lái)自Geoffrey Hinton 的駁斥

Geoffrey Hinton 曾經(jīng)大膽宣稱(chēng)，糾結(jié)深度學(xué)習(xí)（可與不可）解釋性問(wèn)題根本是一個(gè)偽命題。為什么一定要存在識(shí)別數(shù)字的理論才能證明我們擅長(zhǎng)識(shí)別數(shù)字？難道非要通透騎車(chē)每一個(gè)細(xì)節(jié)的物理力學(xué)，才能證明自己會(huì)騎車(chē)？其實(shí)不是神經(jīng)網(wǎng)絡(luò)需要理論解釋?zhuān)侨祟?lèi)克制不住自己講故事的沖動(dòng)，理論再合理也只是主觀判斷，并不能幫助我們理解為什么。

王立威教授表示贊同，以歷史做類(lèi)比。歷史書(shū)上簡(jiǎn)單歸納出的勝敗輸贏難道就是真實(shí)的歷史嗎，不過(guò)是人類(lèi)編造出的故事。真實(shí)的歷史復(fù)雜，現(xiàn)實(shí)生活復(fù)雜，只言片語(yǔ)的解釋和理論不過(guò)是管窺蠡測(cè)。

通過(guò)神經(jīng)網(wǎng)絡(luò)反思人的思維，同一個(gè)網(wǎng)絡(luò)框架，初始點(diǎn)不同結(jié)果可能完全不同。解釋可能會(huì)有兩套截然不同的解釋?zhuān)拖駥?duì)同一件事不同的人可能會(huì)有不同的解釋。

一個(gè)人都無(wú)法完全理解另一個(gè)人，更何況與人的思維完全不同的機(jī)器？即使把a(bǔ)lpha go下圍棋中的所有數(shù)據(jù)告訴人也沒(méi)有用，因?yàn)闄C(jī)器每一步的判斷所用的數(shù)據(jù)是百萬(wàn)量級(jí)，而人最多處理到百的程度。就算打開(kāi)黑匣，一千個(gè)人可能會(huì)看到一千種解釋。

俞士綸教授認(rèn)為Hinton的說(shuō)法還是有些激進(jìn)，解釋不僅是為了說(shuō)服，解釋的形式和含義都非常之廣，就算是autoML我們還是要朝著可解釋的方向不斷推進(jìn)。

梅俏竹教授則認(rèn)為單純討論autoML還是XML是沒(méi)有意義的，就像我們判斷autoML好不好，怎么算是一個(gè)好的推薦算法？如果機(jī)器中午十二點(diǎn)推薦你去吃午飯，的確它的準(zhǔn)確率是百分之百，但是對(duì)于用戶(hù)來(lái)說(shuō)這是完全沒(méi)有意義的一個(gè)推薦。評(píng)判需要加入人的因素進(jìn)行考量，還是要看人機(jī)配合得怎么樣，加入用戶(hù)體驗(yàn)。

autoML的能耗問(wèn)題：ACL論文痛批其撿芝麻丟西瓜

最近一份提交到自然語(yǔ)言處理頂會(huì)ACL 2019的論文引起熱議，研究人員對(duì)幾種常見(jiàn)的NLP模型進(jìn)行碳排放評(píng)估后發(fā)現(xiàn)，像Transformer、GPT-2等流行的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程可以排放超過(guò)62.6萬(wàn)磅的二氧化碳當(dāng)量，幾乎是美國(guó)汽車(chē)平均壽命期內(nèi)排放量(包括制造過(guò)程)的五倍。

某些模型可能經(jīng)過(guò)了千百次的訓(xùn)練之后取得最優(yōu)成果，但是實(shí)際進(jìn)展非常微小，而背后的代價(jià)是不成比例的計(jì)算量和碳排放。

李文鈺提出業(yè)界現(xiàn)在的解決辦法有比如共享參數(shù)、熱啟動(dòng)，利用之前訓(xùn)練好的參數(shù)，避免再?gòu)念^訓(xùn)練一個(gè)模型。

真正的autoML應(yīng)該是在大型數(shù)據(jù)集上搜索，操作類(lèi)型，拓?fù)浣Y(jié)構(gòu)，加上人的先驗(yàn)知識(shí)，未來(lái)希望找到又小又高效的好的模型。我們希望用機(jī)器代替節(jié)約人力，但是人也要去限制一些盲目搜索，節(jié)約成本的約束。

未來(lái)之路：煉金，觀星，算命都不可取

幾位教授最后都同意autoML和XML在未來(lái)是可以結(jié)合的。不管是autoML還是XML，現(xiàn)在還是在底層信號(hào)的層面運(yùn)作，比如識(shí)別圖像、文本，關(guān)鍵還是在知識(shí)層面，我們需要的是對(duì)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)更高層、更進(jìn)一步的理解。

梅教授提出過(guò)猶不及，有三條走得太過(guò)的路是煉金、觀星和算命。

煉金就是走極端的autoML之路。不要為了全自動(dòng)就拋開(kāi)所有代價(jià)去追求自動(dòng)化，最后你也無(wú)法保證煉出來(lái)的是金子還是破鐵；

觀星，擴(kuò)大范圍，如果非要在一大堆的變量中拼命找聯(lián)系，總能找尋到一二；

而算命的原理是找一些你愿意聽(tīng)的說(shuō)，講你愛(ài)聽(tīng)的故事，觀星和算命都是在可解釋的道路上走得太遠(yuǎn)。

最后的最后，梅教授也提醒大家，解釋性可以解釋部分問(wèn)題，關(guān)于倫理，關(guān)于道德，但是它不是萬(wàn)能藥。不要糾結(jié)于理解，為了理解而理解。