深度學(xué)習(xí)比較火熱的情景下需要避免的三個(gè)坑

本文是人工智能專家George Seif撰寫的博文，介紹了在當(dāng)前深度學(xué)習(xí)比較火熱的情景下需要避免的三個(gè)坑。

Tweaking Neural Net Parameters

Three reasons that you should NOT use deep learning

深度學(xué)習(xí)在過去幾年一直是人工智能領(lǐng)域最熱門的話題。事實(shí)上，正是它激發(fā)了科學(xué)家、政府、大公司以及其他所有人對(duì)人工智能的極大新興趣！這是一門很酷的科學(xué)，具有潛在的巨大的實(shí)用性和積極的應(yīng)用。它正被用于金融、工程、娛樂、消費(fèi)產(chǎn)品和服務(wù)等領(lǐng)域。

但是，所有應(yīng)用都需要使用到深度學(xué)習(xí)嗎？當(dāng)我們開展一個(gè)新的項(xiàng)目時(shí)，我們需要不自覺地一開始就使用深度學(xué)習(xí)嗎？

在有些情況下，使用深度學(xué)習(xí)是不合適的，我們需要選擇一些別的方案。讓我們來探討一下這些情況吧。

（1）深度學(xué)習(xí)不適用于小數(shù)據(jù)集

為了獲得高性能，深度網(wǎng)絡(luò)需要非常大的數(shù)據(jù)集。標(biāo)注的數(shù)據(jù)越多，模型的性能就越好。獲得標(biāo)注良好的數(shù)據(jù)既昂貴又耗時(shí)。雇傭人工手動(dòng)收集圖片并標(biāo)記它們根本沒有效率可言。在深度學(xué)習(xí)時(shí)代，數(shù)據(jù)無疑是最有價(jià)值的資源。

最新的研究表明，實(shí)現(xiàn)高性能的網(wǎng)絡(luò)通常需要經(jīng)過數(shù)十萬甚至數(shù)百萬樣本的訓(xùn)練。對(duì)于許多應(yīng)用來說，這樣大的數(shù)據(jù)集并不容易獲得，并且獲取成本高且耗時(shí)。對(duì)于較小的數(shù)據(jù)集，傳統(tǒng)的ML算法(如回歸、隨機(jī)森林和支持向量機(jī))通常優(yōu)于深度網(wǎng)絡(luò)。

（2）深度學(xué)習(xí)運(yùn)用于實(shí)踐是困難且昂貴的

深度學(xué)習(xí)仍然是一項(xiàng)非常尖端的技術(shù)。您可以像許多人一樣獲得快速簡(jiǎn)便的解決方案，特別是使用廣泛使用的API，例如Clarifai和Google的AutoML。但如果你想做一些定制化的事情，這樣的一些服務(wù)是不夠的。除非你愿意把錢花在研究上，否則你就會(huì)局限于做一些和其他人稍微相似的事情。

這也是很昂貴，不僅是因?yàn)樾枰@取數(shù)據(jù)和計(jì)算能力所需的資源，還因?yàn)樾枰蛡蜓芯咳藛T。深度學(xué)習(xí)研究現(xiàn)在非常熱門，所以這三項(xiàng)費(fèi)用都非常昂貴。當(dāng)你做一些定制化的事情時(shí)，你會(huì)花費(fèi)大量的時(shí)間去嘗試和打破常規(guī)。

（3）深層網(wǎng)絡(luò)不易解釋

深層網(wǎng)絡(luò)就像是一個(gè)“黑盒子”，即使到現(xiàn)在，研究人員也不能完全理解深層網(wǎng)絡(luò)的“內(nèi)部”。深層網(wǎng)絡(luò)具有很高的預(yù)測(cè)能力，但可解釋性較低。由于缺乏理論基礎(chǔ)，超參數(shù)和網(wǎng)絡(luò)設(shè)計(jì)也是一個(gè)很大的挑戰(zhàn)。

雖然最近有許多工具，如顯著性映射（saliencymaps）和激活差異（activation differences），它們?cè)谀承╊I(lǐng)域非常有效，但它們并不能完全適用于所有應(yīng)用程序。這些工具的設(shè)計(jì)主要用于確保您的網(wǎng)絡(luò)不會(huì)過度擬合數(shù)據(jù)，或者將重點(diǎn)放在虛假的特定特性上。仍然很難將每個(gè)特征的重要性解釋為深層網(wǎng)絡(luò)的整體決策。

另一方面，經(jīng)典的ML算法，如回歸或隨機(jī)森林，由于涉及到直接的特征工程，就很容易解釋和理解。此外，調(diào)優(yōu)超參數(shù)和修改模型設(shè)計(jì)的過程也更加簡(jiǎn)單，因?yàn)槲覀儗?duì)數(shù)據(jù)和底層算法有了更深入的了解。當(dāng)必須將網(wǎng)絡(luò)的結(jié)果翻譯并交付給公眾或非技術(shù)受眾時(shí)，這些內(nèi)容尤其重要。我們不能僅僅說“我們賣了那只股票”或“我們?cè)谀莻€(gè)病人身上用了這藥”是因?yàn)槲覀兊纳顚泳W(wǎng)絡(luò)是這么說的，我們需要知道為什么。不幸的是，到目前為止，我們所掌握的關(guān)于深度學(xué)習(xí)的所有證據(jù)或者解釋都是經(jīng)驗(yàn)主義的。