解讀深度學(xué)習(xí)是否過分夸大

2012年左右，多倫多大學(xué)的研究人員首次使用深度學(xué)習(xí)來贏下了ImageNet，它是一項(xiàng)非常受歡迎的計(jì)算機(jī)圖像識(shí)別競(jìng)賽。對(duì)于那些參與AI行業(yè)的人來說，這是一個(gè)大問題，因?yàn)?a href="http://wenjunhu.com/v/tag/3744/" target="_blank">計(jì)算機(jī)視覺是使計(jì)算機(jī)能夠理解圖像背景的學(xué)科，也是人工智能中最具挑戰(zhàn)性的領(lǐng)域之一。

當(dāng)然，與任何其他產(chǎn)生巨大影響的技術(shù)一樣，深度學(xué)習(xí)成為炒作的焦點(diǎn)。不同的公司和組織開始應(yīng)用它來解決不同的問題（或假裝應(yīng)用它）。許多公司開始使用深度學(xué)習(xí)和先進(jìn)的人工智能技術(shù)重塑其產(chǎn)品和服務(wù)。

與此同時(shí)，媒體也經(jīng)常撰寫有關(guān)人工智能和深度學(xué)習(xí)的故事，這些故事充滿誤導(dǎo)性，并且大多是由那些對(duì)技術(shù)運(yùn)作方式?jīng)]有正確理解的人撰寫。他們大多使用關(guān)于人工智能的聳人聽聞的頭條來博眼球，這些也促成了圍繞深度學(xué)習(xí)的炒作。

經(jīng)過媒體的炒作后，許多專家認(rèn)為深度學(xué)習(xí)被夸大了，它最終會(huì)消退并可能導(dǎo)致另一個(gè)人工智能冬季，從而使人們對(duì)人工智能的興趣和資金投入大幅下降。其中一些著名專家也承認(rèn)，深度學(xué)習(xí)已經(jīng)觸底，其中包括一些深入學(xué)習(xí)的先驅(qū)者。

但根據(jù)著名數(shù)據(jù)科學(xué)家和深度學(xué)習(xí)研究員杰里米·霍華德的說法，“深度學(xué)習(xí)過度夸大”的論點(diǎn)有點(diǎn)夸張?；羧A德是fast.ai的創(chuàng)始人，fast.ai是一個(gè)非營(yíng)利性的在線深度學(xué)習(xí)課程。

今年，霍華德在USENIX Enigma會(huì)議上發(fā)表的演講中發(fā)表了許多反對(duì)深度學(xué)習(xí)的論點(diǎn)。整個(gè)視頻非常清楚地說明了深度學(xué)習(xí)究竟做了什么和不做什么，這個(gè)演講可以幫助你清楚地了解該領(lǐng)域。

以下是霍華德演講主要反駁的幾個(gè)論點(diǎn)：

深度學(xué)習(xí)只是一種時(shí)尚-明年它將是另一回事（NO!）

許多人認(rèn)為深度學(xué)習(xí)是突然冒出來，最終也會(huì)突然消失。

霍華德反駁解釋到：“你今天在深度學(xué)習(xí)中實(shí)際看到的是幾十年研究的結(jié)果，而這幾十年的研究終于達(dá)到了實(shí)際上給出最先進(jìn)成果的程度。”

人工神經(jīng)網(wǎng)絡(luò)的概念是深度學(xué)習(xí)算法的主要組成部分，它已存在數(shù)十年，第一個(gè)神經(jīng)網(wǎng)絡(luò)可以追溯到20世紀(jì)50年代。

Mark I Perceptron是1957年神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)

但是，由于數(shù)十年的研究以及數(shù)據(jù)和計(jì)算資源的可用性，深度學(xué)習(xí)的概念已經(jīng)從實(shí)驗(yàn)室走出并進(jìn)入實(shí)際領(lǐng)域。

霍華德說：“利用深度學(xué)習(xí)，人們可以減少很多復(fù)雜的繁瑣的事務(wù)，我們應(yīng)該期待看到[深度學(xué)習(xí)]繼續(xù)發(fā)展下去而不是消失。”

深度學(xué)習(xí)和機(jī)器學(xué)習(xí)是一回事（NO!）

濫用人工智能詞匯很容易導(dǎo)致了從業(yè)人員對(duì)行業(yè)的混淆和懷疑。有人說深度學(xué)習(xí)只是機(jī)器學(xué)習(xí)的另一個(gè)別稱，而其他人則認(rèn)為它與其他AI技術(shù)（如支持向量機(jī)（SVM），隨機(jī)森林和邏輯回歸）屬于同一水平。

但深度學(xué)習(xí)和機(jī)器學(xué)習(xí)并不相同，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集。通常，機(jī)器學(xué)習(xí)適用于基于訓(xùn)練數(shù)據(jù)的數(shù)學(xué)模型和行為規(guī)則的所有技術(shù)。ML技術(shù)已經(jīng)投入生產(chǎn)使用了很長(zhǎng)時(shí)間。

在深度學(xué)習(xí)之前，科學(xué)家們必須在編寫“功能”或模塊方面投入大量精力，這些功能可以執(zhí)行模型想要執(zhí)行的任務(wù)的一小部分。例如，如果你想創(chuàng)建一個(gè)可以檢測(cè)貓的圖像的AI模型，你將不得不編寫較小的程序來檢測(cè)貓的特征，如耳朵、尾巴、鼻子、皮毛。而且你必須使這些程序足夠強(qiáng)大，以便從不同角度和不同光照條件下檢測(cè)這些特征，并告訴不同貓種之間的差異。最后你才能在這些功能之上進(jìn)行機(jī)器學(xué)習(xí)。

如果你想解決更復(fù)雜的問題，如通過MRI掃描檢測(cè)乳腺癌，那么創(chuàng)建特征將變得更具挑戰(zhàn)性。霍華德說：“你將需要數(shù)十名領(lǐng)域?qū)＜遗c數(shù)十名計(jì)算機(jī)程序員和數(shù)學(xué)家合作，提出這些功能概念并對(duì)其進(jìn)行編程。最后使用一個(gè)經(jīng)典的機(jī)器學(xué)習(xí)模型，如邏輯回歸?！边@項(xiàng)工作大概需要數(shù)年的工作。

經(jīng)典的機(jī)器學(xué)習(xí)方法涉及許多復(fù)雜的步驟，需要數(shù)十名領(lǐng)域?qū)＜?、?shù)學(xué)家和程序員的合作

深度學(xué)習(xí)用神經(jīng)網(wǎng)絡(luò)取代了艱苦的經(jīng)典機(jī)器學(xué)習(xí)過程。霍華德將神經(jīng)網(wǎng)絡(luò)描述為“無限靈活的函數(shù)”。這意味著神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于機(jī)器學(xué)習(xí)解決的大多數(shù)問題，而無需通過以前必須執(zhí)行的所有特定于域的特征工程。

要想神經(jīng)網(wǎng)絡(luò)解決特定問題，你需要調(diào)整其參數(shù)。為此，深度學(xué)習(xí)使用“梯度下降”，這是一種通用優(yōu)化算法，可以將神經(jīng)網(wǎng)絡(luò)的參數(shù)與其想要解決的問題相匹配。

最后，深度學(xué)習(xí)利用了近年來可用的GPU和專用硬件的強(qiáng)大功能，以合理快速和可擴(kuò)展的方式執(zhí)行這些任務(wù)。

霍華德說：“只有在過去的幾年里，這三件事情才能讓我們真正使用神經(jīng)網(wǎng)絡(luò)來獲得最先進(jìn)的結(jié)果?！?/p>

因此，深度學(xué)習(xí)不是通過以前機(jī)器學(xué)習(xí)方法所涉及的專業(yè)知識(shí)密集型和容易出錯(cuò)的過程，而是提供樣本數(shù)據(jù)（例如標(biāo)記為貓圖片，標(biāo)記為癌癥或非癌癥的MRI掃描...）并訓(xùn)練神經(jīng)元使用梯度下降的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)比較并找到這些數(shù)據(jù)樣本中的常見模式，并學(xué)習(xí)應(yīng)用相同的知識(shí)來分類以前從未見過的新數(shù)據(jù)樣本。

這種方法在過去幾年中深入學(xué)習(xí)了最流行的人工智能技術(shù)，并引發(fā)了使用深度學(xué)習(xí)的應(yīng)用程序的爆炸式增長(zhǎng)。

深度學(xué)習(xí)只對(duì)圖像識(shí)別有益（NO!）

很多人都承認(rèn)深度學(xué)習(xí)是一種非常有用的人工智能技術(shù)，但很多批評(píng)者都抱怨它的使用僅限于解決涉及圖像分類的問題！

“圖像識(shí)別非常重要！”霍華德說。幾年前，霍華德和一組研究人員在肺部CT掃描上訓(xùn)練了一個(gè)深度神經(jīng)網(wǎng)絡(luò)，并創(chuàng)建了一種算法，可以檢測(cè)惡性癌癥腫瘤，這個(gè)算法的結(jié)果診斷的結(jié)果與四名人類放射科醫(yī)師相比，假陽性和陰性率更低。

霍華德還指出，許多問題可以重新理解為圖像識(shí)別問題。例如，在中國(guó)古代游戲圍棋中擊敗世界冠軍的深度學(xué)習(xí)算法AlphaGo實(shí)際上是一個(gè)圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)（CNN）。

“具體來說，AlphaGo所做的是看了很多在真人玩過的圍棋的例子”霍華德解釋道?！盎旧?，他們最終做了一個(gè)圖像識(shí)別神經(jīng)網(wǎng)絡(luò)，他們?cè)噲D學(xué)習(xí)的東西不是這張照片是貓還是狗，而是這是一張白子贏或黑贏的圍棋照片。”這種方法一直是AlphaGo和許多掌握不同棋盤和視頻游戲的AI算法成功的關(guān)鍵因素。

關(guān)鍵是，許多問題可以轉(zhuǎn)化為圖像識(shí)別問題，并通過深度學(xué)習(xí)解決。例如，霍華德深度學(xué)習(xí)課程的學(xué)生創(chuàng)建了一個(gè)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在鼠標(biāo)移動(dòng)和點(diǎn)擊的圖像行為上進(jìn)行訓(xùn)練。在這種情況下，他創(chuàng)建了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，試圖根據(jù)這些圖片預(yù)測(cè)欺詐行為。

深度學(xué)習(xí)可以將鼠標(biāo)移動(dòng)和點(diǎn)擊的視覺表示轉(zhuǎn)變?yōu)槠墼p檢測(cè)應(yīng)用程序

也就是說，深度學(xué)習(xí)也證明了其超越計(jì)算機(jī)視覺和圖像識(shí)別領(lǐng)域的價(jià)值。

霍華德指出，深度學(xué)習(xí)現(xiàn)在也適用于大多數(shù)自然語言處理（NLP）問題，這包括機(jī)器翻譯和文本摘要等領(lǐng)域。NLP是一個(gè)關(guān)鍵組件，它可以使Siri，Alexa和Cortana等AI助手理解你的命令。（有一點(diǎn)要知道：深度學(xué)習(xí)對(duì)人類語言的掌握有限）

深度學(xué)習(xí)還可以解決涉及結(jié)構(gòu)化數(shù)據(jù)的問題，例如電子表格中的行和列。例如，你可以為神經(jīng)網(wǎng)絡(luò)提供一組代表金融交易及結(jié)果（欺詐或正常）的行，并對(duì)其進(jìn)行訓(xùn)練以預(yù)測(cè)欺詐性交易。

霍華德指出，深度學(xué)習(xí)也可以應(yīng)用于時(shí)間序列和信號(hào)問題，例如連接到網(wǎng)絡(luò)的不同IP地址的事件順序或隨時(shí)間收集的傳感器數(shù)據(jù)。

深度學(xué)習(xí)的痛點(diǎn)

霍華德還指出了一些深度學(xué)習(xí)成效有限的領(lǐng)域，這些領(lǐng)域包括強(qiáng)化學(xué)習(xí)，對(duì)抗模型和異常檢測(cè)。

一些專家認(rèn)為強(qiáng)化學(xué)習(xí)是當(dāng)前人工智能的圣杯。強(qiáng)化學(xué)習(xí)涉及開發(fā)AI模型而不向他們提供大量標(biāo)記數(shù)據(jù)。在強(qiáng)化學(xué)習(xí)中，你為模型提供問題域的約束，并讓它開發(fā)自己的行為規(guī)則。AlphaGo的高級(jí)版AlphaGo Zero就是使用強(qiáng)化學(xué)習(xí)從頭開始訓(xùn)練自己，然后超過了AlphaGo。雖然深度強(qiáng)化學(xué)習(xí)是人工智能研究中比較有趣的領(lǐng)域之一，但它在解決現(xiàn)實(shí)問題方面沒有明顯的進(jìn)展。Google Brain AI研究員Alex Irpan在深度強(qiáng)化學(xué)習(xí)的極限上有一篇引人深思的文章。

對(duì)抗模型是霍華德提及的另一個(gè)深度學(xué)習(xí)痛點(diǎn)。對(duì)抗性示例是操縱輸入可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)以非理性方式運(yùn)行的實(shí)例。有很多研究人員展示了對(duì)抗性示例如何能夠成為對(duì)AI模型的攻擊者。雖然已經(jīng)做了一些努力來加強(qiáng)深層學(xué)習(xí)模式以對(duì)抗對(duì)抗性攻擊，但到目前為止，成功有限。部分挑戰(zhàn)源于神經(jīng)網(wǎng)絡(luò)非常復(fù)雜且難以解釋的事實(shí)。

異常檢測(cè)，霍華德談到的第三個(gè)深度學(xué)習(xí)痛點(diǎn)也非常具有挑戰(zhàn)性。一般概念是在基線數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并讓它確定偏離基線的行為。這是在網(wǎng)絡(luò)安全中使用AI的主要方法之一，一些公司正在探索這一概念。但是，它仍然無法將自己確立為對(duì)抗安全威脅的非常可靠的方法。

深度學(xué)習(xí)是一個(gè)黑盒子

這是一個(gè)真正令人擔(dān)憂的問題，尤其是在人工智能模型被賦予關(guān)鍵決策的領(lǐng)域，例如醫(yī)療保健、自動(dòng)駕駛汽車和刑事司法。那些愿意讓深度學(xué)習(xí)代表他們做出決定的人需要知道推動(dòng)這些決策的因素是什么？不幸的是，當(dāng)你在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)獲得的性能優(yōu)勢(shì)會(huì)降低你在決策過程中獲得的可見性。這就是深度學(xué)習(xí)通常被稱為“黑匣子”的原因。

但是，現(xiàn)在已經(jīng)有了很多有趣的研究來解釋AI決策，并幫助工程師和最終用戶理解影響神經(jīng)網(wǎng)絡(luò)輸出的元素。

深度學(xué)習(xí)需要大量數(shù)據(jù)

一般認(rèn)為，要?jiǎng)?chuàng)建一個(gè)新的深度學(xué)習(xí)模型，需要訪問數(shù)百萬和數(shù)十億個(gè)帶標(biāo)簽的示例，這就是為什么只有大型科技公司才能創(chuàng)建它。

“需要大量數(shù)據(jù)的說法通常不正確，因?yàn)榇蠖鄶?shù)人在實(shí)踐中使用遷移學(xué)習(xí)”霍華德說。

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一門學(xué)科，其中一個(gè)模型獲得的知識(shí)被轉(zhuǎn)移到執(zhí)行類似任務(wù)的另一個(gè)模型。與人類如何將知識(shí)從一個(gè)領(lǐng)域轉(zhuǎn)移到另一個(gè)領(lǐng)域相比，它非常原始。但是，遷移學(xué)習(xí)在深度學(xué)習(xí)領(lǐng)域是一個(gè)非常有用的工具，因?yàn)樗归_發(fā)人員能夠用更少的數(shù)據(jù)創(chuàng)建新模型。

霍華德解釋說：“你從一個(gè)預(yù)先訓(xùn)練好的[神經(jīng)]網(wǎng)絡(luò)開始，然后為你的特定任務(wù)微調(diào)權(quán)重。一般來說，如果你有大約1,000個(gè)示例，你應(yīng)該能夠建立一個(gè)良好的神經(jīng)網(wǎng)絡(luò)?！?/p>

你需要博士學(xué)位才能進(jìn)行核心深度學(xué)習(xí)

深度學(xué)習(xí)是一個(gè)非常復(fù)雜的計(jì)算機(jī)科學(xué)領(lǐng)域，它涉及許多高級(jí)數(shù)學(xué)概念。但是在過去幾年中，學(xué)術(shù)界已經(jīng)創(chuàng)建了大量的工具和庫來抽象出潛在的復(fù)雜性，并使你能夠無須解決過多的數(shù)學(xué)問題來開發(fā)深度學(xué)習(xí)模型。

Fast.ai和Keras就是兩個(gè)現(xiàn)成的庫，可用于快速開發(fā)深度學(xué)習(xí)應(yīng)用程序。還有很多在線課程，包括霍華德的fast.ai，Coursera和其他課程，使你能夠開始深入學(xué)習(xí)編程，只需要很少的編程知識(shí)。許多具有計(jì)算機(jī)科學(xué)以外背景的人已經(jīng)能夠?qū)⑦@些課程應(yīng)用于現(xiàn)實(shí)世界的問題。

需要明確的是，深度學(xué)習(xí)研究仍然是一個(gè)非常先進(jìn)和復(fù)雜的領(lǐng)域，人才既稀缺又昂貴。開發(fā)新的深度學(xué)習(xí)技術(shù)的人是一些最令人垂涎和收入極高的研究人員。但這并不意味著其他人需要擁有相同水平的知識(shí)才能在他們的應(yīng)用程序中使用這些研究項(xiàng)目的結(jié)果。

深度學(xué)習(xí)需要大量的計(jì)算能力

“你可能會(huì)擔(dān)心你需要一個(gè)充滿GPU的大房間，總的來說這并不是真的，我現(xiàn)在看到的絕大部分成功結(jié)果都是用一個(gè)GPU完成的?！?霍華德說

大型公司和組織進(jìn)行的大型研究項(xiàng)目需要大量的GPU，例如一款機(jī)器人手用6144 CPU和8個(gè)GPU進(jìn)行訓(xùn)練出來的。另一個(gè)例子是OpenAI Five，一個(gè)訓(xùn)練有素的AI模型，可以玩著名的Dota 2在線戰(zhàn)斗競(jìng)技游戲，OpenAI Five是用了128,000個(gè)CPU內(nèi)核和256個(gè)GPU的訓(xùn)練的結(jié)果。

但是，大多數(shù)實(shí)際問題都可以通過單個(gè)GPU解決。例如，你可以通過一個(gè)GPU來完成霍華德的Fast.ai課程。

總結(jié)：

我建議你觀看整個(gè)視頻，其中，霍華德深入研究了一些更專業(yè)的主題，例如你是否可以將深度學(xué)習(xí)應(yīng)用于信息安全。重要的是我們要了解深度學(xué)習(xí)的范圍和限制以及機(jī)會(huì)和優(yōu)勢(shì)，因?yàn)樗俏覀冞@個(gè)時(shí)代最有影響力的技術(shù)之一。深度學(xué)習(xí)不是過分夸大，也許它只是沒有很好地被理解。