神經(jīng)網(wǎng)絡(luò)技術(shù)解析：手寫數(shù)字識(shí)別項(xiàng)目解讀

手寫數(shù)字識(shí)別是很多人入門神經(jīng)網(wǎng)絡(luò)時(shí)用來練手的一個(gè)項(xiàng)目，但就是這么簡單的一個(gè)項(xiàng)目，最近在 reddit 上又火了一把，因?yàn)樵?MIT 計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室，有人挖到了一個(gè)「祖師爺」級別的視頻……

這段視頻錄制于 1993 年，主人公是圖靈獎(jiǎng)得主 Yann LeCun（楊立昆）。彼時(shí) LeCun 才 32 歲，剛剛進(jìn)入貝爾實(shí)驗(yàn)室工作，而視頻里機(jī)器學(xué)習(xí)識(shí)別的第一段數(shù)字 201-949-4038，是 LeCun 在貝爾實(shí)驗(yàn)室里的電話號(hào)碼。 從這段視頻中我們可以看到，LeCun 在 90 年代初創(chuàng)造的文本識(shí)別系統(tǒng)已經(jīng)達(dá)到了驚人的速度和準(zhǔn)確率，這在當(dāng)時(shí)的條件下是非常難能可貴的。

這段視頻由貝爾實(shí)驗(yàn)室自適應(yīng)系統(tǒng)研究部門主任 Larry Jackel 拍攝（Larry 當(dāng)時(shí)是 LeCun 的 boss，現(xiàn)任英偉達(dá)自動(dòng)駕駛顧問）。視頻中出鏡的還有實(shí)驗(yàn)室負(fù)責(zé)人 Rich Howard（Larry 的 boss）和研究工程師 Donnie Henderson。Yann LeCun 本人表示：「Donnie Henderson 將整個(gè)演示系統(tǒng)整合在了一起…… 整套系統(tǒng)在算力為 20MFLOPS 的 DSP 版上運(yùn)行?！?/p>

幾位工程師在視頻中洋溢的笑容也頗具感染力。

LeCun 表示，1993 年的文字識(shí)別系統(tǒng)已經(jīng)用上了卷積神經(jīng)網(wǎng)絡(luò)（CNN），自己在這套系統(tǒng)中編寫了一種網(wǎng)絡(luò)數(shù)據(jù)結(jié)構(gòu)的編譯器，并生成了可編譯的 C 語言代碼，在源代碼中以權(quán)重和網(wǎng)表（netlist）代表文字。 這段視頻的驚艷之處還在于，它比經(jīng)典手寫數(shù)字?jǐn)?shù)據(jù)集 MNIST 的問世還要早 6 年。

其實(shí)，早在 1989 年，LeCun 就已經(jīng)發(fā)表了「將反向傳播用于手寫郵政編碼識(shí)別」的相關(guān)研究，而且已經(jīng)在美國的郵政系統(tǒng)中成功應(yīng)用。隨后，這一系統(tǒng)的應(yīng)用范圍擴(kuò)展至銀行支票。90 年代末期，該系統(tǒng)已經(jīng)處理了美國 10％-20％的支票識(shí)別。

1999 年，LeCun 等人聯(lián)合發(fā)表了「MNIST」手寫數(shù)字?jǐn)?shù)據(jù)集。這一數(shù)據(jù)集包含數(shù)萬個(gè)樣本，被稱為「計(jì)算機(jī)視覺領(lǐng)域的 hello world 數(shù)據(jù)集」、「機(jī)器學(xué)習(xí)界的果蠅」，如今已經(jīng)作為基準(zhǔn)被使用了二十余年。

在看了這段視頻之后，有研究者感嘆，「不要再抱怨 GPU 算力不夠了」。

深度學(xué)習(xí)先驅(qū) Yann LeCun 說起 Yann LeCun，熟悉人工智能領(lǐng)域的人肯定不會(huì)陌生，Yann LeCun 現(xiàn)在是紐約大學(xué)教授、美國工程院院士、Facebook 副總裁和首席 AI 科學(xué)家。 在深度學(xué)習(xí)還未流行的 20 世紀(jì)八九十年代，LeCun 與另兩位先驅(qū)者 Yoshua Bengio、Geoffrey Hinton 一道探索了深度學(xué)習(xí)領(lǐng)域的概念基礎(chǔ)，并通過實(shí)驗(yàn)向人們展示了新方法的前景。此外，他們還貢獻(xiàn)了一系列工程進(jìn)展，展示了深度神經(jīng)網(wǎng)絡(luò)的實(shí)用優(yōu)勢。 雖然在二十世紀(jì)八十年代，研究者就開始試用人工神經(jīng)網(wǎng)絡(luò)幫助計(jì)算機(jī)識(shí)別模式、模擬人類智能，但直到二十一世紀(jì)的前幾年，這種方式仍未獲得廣泛認(rèn)同，LeCun 等研究者試圖重燃 AI 社區(qū)對神經(jīng)網(wǎng)絡(luò)興趣的努力曾經(jīng)一直被人們質(zhì)疑，但如今他們的想法帶來了重大的技術(shù)進(jìn)步，他們的方法也已成為該領(lǐng)域的主導(dǎo)范式。 自 2012 年以來，深度學(xué)習(xí)方法促進(jìn)計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理和機(jī)器人技術(shù)等應(yīng)用領(lǐng)域取得極大突破。 在 2019 年，美國計(jì)算機(jī)協(xié)會(huì) ACM 公布了上一年度的圖靈獎(jiǎng)，Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 三位深度學(xué)習(xí)巨頭同時(shí)獲獎(jiǎng)。

從左至右：Yoshua Bengio、Geoffrey Hinton、Yann LeCun。 ACM 表示，Yann LeCun 主要作出了三大貢獻(xiàn)：

• 提出卷積神經(jīng)網(wǎng)絡(luò)
• 改進(jìn)反向傳播算法
• 拓寬神經(jīng)網(wǎng)絡(luò)的視角

20 世紀(jì) 80 年代后期，LeCun 就職于多倫多大學(xué)和貝爾實(shí)驗(yàn)室，也是在這一時(shí)期，他利用手寫數(shù)字圖像訓(xùn)練了第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)。如今，卷積神經(jīng)網(wǎng)絡(luò)已成為計(jì)算機(jī)視覺、語音識(shí)別、語音合成、圖像合成和自然語言處理領(lǐng)域的行業(yè)標(biāo)準(zhǔn)。卷積神經(jīng)網(wǎng)絡(luò)有著廣泛的應(yīng)用，如自動(dòng)駕駛、醫(yī)學(xué)圖像分析、語音助手和信息過濾等。 這可不是搞定 MNIST 那么簡單 與我們通常為 MINIST 數(shù)據(jù)集構(gòu)建文字識(shí)別系統(tǒng)不同，Yann LeCun 在 1993 年展示的技術(shù)可是用攝像頭直接拍攝的，還需要搞定文字縮放、位置等問題，后來也確實(shí)在郵政系統(tǒng)里獲得了應(yīng)用。 如此看來在當(dāng)年就能實(shí)現(xiàn)這樣的效果確實(shí)不容易，更何況在 20 世紀(jì) 90 年代，研究者們是沒有 TensorFlow 可用的，全靠 C 語言手寫，這個(gè)問題求解的非機(jī)器學(xué)習(xí)部分與其說是困難，不如說是繁瑣。 在社交網(wǎng)絡(luò)中，人們對 LeCun 展示的算法除了感興趣，還有贊譽(yù)和膜拜，有人說道：「這并不是說他們在 1993 年就解決了 MNIST 上的問題，比那還要更進(jìn)一步。」 在深度學(xué)習(xí)被 GPU 帶動(dòng)開展大規(guī)模應(yīng)用以前，人工智能算法其實(shí)已經(jīng)實(shí)現(xiàn)了相當(dāng)?shù)穆斆鞒潭?。?1993 年的文字識(shí)別之后，昨天，人們又挖出了 LeCun 參與的另一項(xiàng)研究：人臉檢測。

在 2003 年，一個(gè)視頻展示了 Rita Osadchy、Matt Miller 以及 Yann LeCun 等人在 NEC 實(shí)驗(yàn)室的研究，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉檢測研究。 雖然只是人臉檢測而不是人臉識(shí)別，但這種技術(shù)的意義不言而喻，如今自動(dòng)駕駛汽車上的障礙物檢測方法使用的就是和它相同的技術(shù)。在推特上，LeCun 也點(diǎn)贊了這段視頻。

看來，如今我們在機(jī)器學(xué)習(xí)領(lǐng)域廣泛使用的方法，早在幾十年前就已完成了整體架構(gòu)。 不過與此同時(shí)，也有網(wǎng)友發(fā)出了直擊靈魂的提問：「既然 LeCun 在 1993 年就可以讓 AI 這樣識(shí)別文字了，為啥直到今天大多數(shù)網(wǎng)站仍然認(rèn)為文字驗(yàn)證碼是識(shí)別機(jī)器人的好辦法？」
編輯：hfy