DNN與邏輯回歸效果一樣？

谷歌用深度學(xué)習(xí)分析電子病例的重磅論文給出了一個(gè)意外的實(shí)驗(yàn)結(jié)果，DNN與邏輯回歸效果一樣，引發(fā)了熱烈討論。不僅如此，最近Twitter討論最多的論文，是UC戴維斯和斯坦福的一項(xiàng)合作研究，作者發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)本質(zhì)上就是多項(xiàng)式回歸。下次遇到機(jī)器學(xué)習(xí)問(wèn)題，你或許該想想，是不是真的有必要用深度學(xué)習(xí)。

近來(lái)，谷歌一篇關(guān)于使用深度學(xué)習(xí)進(jìn)行電子病例分析的論文，再次引發(fā)熱議。

起因是以色列理工學(xué)院工業(yè)工程與管理學(xué)院的助理教授 Uri Shalit 在 Twitter 上發(fā)文，指出這篇論文的補(bǔ)充材料里，有一處結(jié)果非常值得注意：標(biāo)準(zhǔn)化邏輯回歸實(shí)質(zhì)上與深度神經(jīng)網(wǎng)絡(luò)一樣好。

Uri Shalit 的研究方向是將機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)療領(lǐng)域，尤其是在向醫(yī)生提供基于大型健康數(shù)據(jù)的決策支持工具方面。其次，他也研究機(jī)器學(xué)習(xí)和因果推斷的交集，重點(diǎn)是使用深度學(xué)習(xí)方法進(jìn)行因果推斷。在加入以色列理工學(xué)院以前，他先后在 David Sontag 教授在紐約大學(xué)和在 MIT 的臨床機(jī)器學(xué)習(xí)實(shí)驗(yàn)室當(dāng)博士后。 Uri Shalit 說(shuō)的補(bǔ)充材料中的結(jié)果是指這個(gè)：

其中，基線 aEWS（augmented Early Warning Score）是一個(gè)有 28 個(gè)因子的邏輯回歸模型，在論文作者對(duì)預(yù)測(cè)患者死亡率的傳統(tǒng)方法 EWS 進(jìn)行的擴(kuò)展。而 Full feature simple baseline 則是 Uri Shalit 說(shuō)的標(biāo)準(zhǔn)化邏輯回歸。

注意到基線模型（紅框標(biāo)識(shí)）和深度模型在 AUCs 置信區(qū)間的重疊了嗎？

Uri Shalit 表示，他由此得出的結(jié)論是，在電子病例分析這類任務(wù)中，應(yīng)該選擇使用邏輯回歸，而不是深度學(xué)習(xí)，因?yàn)榍罢吒雍?jiǎn)單，更具可解釋性，這些優(yōu)點(diǎn)要遠(yuǎn)遠(yuǎn)勝過(guò)深度學(xué)習(xí)帶來(lái)的微小的精度提升。

或者，Uri Shalit 補(bǔ)充說(shuō)，這表明我們目前還沒(méi)有找到正確的深度學(xué)習(xí)結(jié)構(gòu)，能實(shí)現(xiàn)在圖像、文本和語(yǔ)音建模領(lǐng)域中那樣的性能提升。

谷歌首篇深度學(xué)習(xí)電子病歷分析論文，Jeff Dean等大?？付χ?，結(jié)果出人意料

谷歌的這篇論文“Scalable and Accurate Deep Learning for Electronic Health Records”，發(fā)表在自然出版集團(tuán)（NPG）旗下開(kāi)放獲取期刊 npJ Digital Medicine 上，由 Jeff Dean 率隊(duì)，聯(lián)合 UCSF、斯坦福、芝加哥大學(xué)眾多大牛，與全球頂級(jí)醫(yī)學(xué)院聯(lián)合完成，從題目到作者都吊足了大家的胃口。

實(shí)際上，早在今年初，新智元就介紹過(guò)這篇論文，當(dāng)時(shí)它還只是掛在 arXiv 上，康奈爾大學(xué)威爾醫(yī)學(xué)院助理教授王飛對(duì)當(dāng)時(shí)的 arXiv 版本進(jìn)行了解讀。

這項(xiàng)工作是在 UCSF 和 UChicago 這兩大醫(yī)院系統(tǒng)的電子病歷數(shù)據(jù)上，用深度學(xué)習(xí)模型預(yù)測(cè)四件事：1）住院期間的死亡風(fēng)險(xiǎn)；2）規(guī)劃之外的再住院風(fēng)險(xiǎn)；3）長(zhǎng)時(shí)間的住院天數(shù)；4）出院的疾病診斷。

文章仔細(xì)介紹了實(shí)驗(yàn)信息，例如如何構(gòu)建病人隊(duì)列、特征如何變換、算法如何評(píng)價(jià)等等。對(duì)于每一個(gè)預(yù)測(cè)任務(wù)，作者也都選取了臨床上常用的算法作為基線來(lái)進(jìn)行比較，例如評(píng)價(jià)死亡風(fēng)險(xiǎn)的 EWS 分?jǐn)?shù)，以及評(píng)價(jià)再住院風(fēng)險(xiǎn)的 HOSPITAL 分?jǐn)?shù)，并對(duì)這些模型做了微小的改進(jìn)。最終結(jié)果，作者提出的深度學(xué)習(xí)模型在各項(xiàng)任務(wù)中都顯著優(yōu)于傳統(tǒng)模型（AUC 普遍提高 0.1 左右）。

論文插圖：使用深度學(xué)習(xí)預(yù)測(cè)病人住院期間死亡風(fēng)險(xiǎn)，深度學(xué)習(xí)（實(shí)線）在前后24小時(shí)時(shí)間范圍內(nèi)，都比基線水平（虛線）準(zhǔn)確率更高。

如果說(shuō)這次在同行評(píng)議期刊發(fā)表出的論文與之前的 arXiv 版本有什么不同，最大的就是給出了 15 頁(yè)的補(bǔ)充資料，展示了深度學(xué)習(xí)方法與各種基線的具體數(shù)值。

谷歌這篇論文的初衷，是強(qiáng)調(diào)直接從 FHIR 數(shù)據(jù)中進(jìn)行機(jī)器學(xué)習(xí)（“我們提出了一種對(duì)病人整個(gè)基于 FHIR 格式的原始 EHR 的表示”）。正如論文中所寫的那樣，其方法的原創(chuàng)性并不僅僅在于對(duì)模型性能的提升，而是“這種預(yù)測(cè)性能是在沒(méi)有對(duì)專家認(rèn)為重要的那些變量進(jìn)行手動(dòng)選擇的情況下實(shí)現(xiàn)的……模型訪問(wèn)每位患者數(shù)以萬(wàn)計(jì)的預(yù)測(cè)因子，并從中確定哪些數(shù)據(jù)對(duì)于進(jìn)行特定的預(yù)測(cè)非常重要”。

但是，從論文的一些表述，尤其是標(biāo)題中，難免有宣傳深度學(xué)習(xí)的嫌疑，也是這次爭(zhēng)議重點(diǎn)所在。

UC戴維斯和斯坦福新研究，首次證明神經(jīng)網(wǎng)絡(luò) = 多項(xiàng)式回歸

現(xiàn)如今，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成了很多分析師進(jìn)行預(yù)測(cè)分析的首選。而在大眾媒體里，“深度學(xué)習(xí)”也幾乎可以算得上“人工智能”的同義詞。

深度學(xué)習(xí)的熱潮或許仍在持續(xù)，但很明顯，越來(lái)越多的人開(kāi)始冷靜下來(lái)思考并且質(zhì)疑。

在一篇最新公布的文章里，加州大學(xué)戴維斯分校和斯坦福的研究人員便指出，神經(jīng)網(wǎng)絡(luò)本質(zhì)上是多項(xiàng)式回歸模型。他們的文章取了一個(gè)謹(jǐn)慎的標(biāo)題《多項(xiàng)式回歸作為神經(jīng)網(wǎng)絡(luò)的代替方法》（Polynomial Regression As an Alternative to Neural Nets），對(duì)神經(jīng)網(wǎng)絡(luò)的眾多性質(zhì)進(jìn)行了討論。

作者在論文中列出了他們這項(xiàng)工作的主要貢獻(xiàn)，包括：

NNAEPR 原理：證明了任何擬合的神經(jīng)網(wǎng)絡(luò)（NN）與擬合的普通參數(shù)多項(xiàng)式回歸（PR）模型之間存在粗略的對(duì)應(yīng)關(guān)系；NN 就是 PR 的一種形式。他們把這種松散的對(duì)應(yīng)關(guān)系稱為 NNAEPR——神經(jīng)網(wǎng)絡(luò)本質(zhì)上是多項(xiàng)式模型（Neural Nets Are Essentially Polynomial Models）。

NN 具有多重共線性：用對(duì) PR 的理解去理解 NN，從而對(duì) NN 的一般特性提供了新的見(jiàn)解，還預(yù)測(cè)并且確認(rèn)了神經(jīng)網(wǎng)絡(luò)具有多重共線性（multicollinearity），這是以前未曾在文獻(xiàn)中報(bào)道過(guò)的。

很多時(shí)候 PR 都優(yōu)于 NN：根據(jù) NNAEPR 原理，許多應(yīng)用都可以先簡(jiǎn)單地?cái)M合多項(xiàng)式模型，繞過(guò) NN，這樣就能避免選擇調(diào)整參數(shù)、非收斂等問(wèn)題。作者還在不同數(shù)據(jù)集上做了實(shí)驗(yàn)，發(fā)現(xiàn)在所有情況下，PR 的結(jié)果都至少跟 NN 一樣好，在一些情況下，甚至還超越了 NN。

NNAEPR 原理——神經(jīng)網(wǎng)絡(luò)本質(zhì)上是多項(xiàng)式回歸

其中，作者重點(diǎn)論證了他們的 NNAEPR 原理。此前已經(jīng)有很多工作從理論和實(shí)踐角度探討了神經(jīng)網(wǎng)絡(luò)和多項(xiàng)式回歸的共性。但是，UC戴維斯和斯坦福的這幾名研究人員表示，他們的這項(xiàng)工作是首次證明了 NN 就是 PR 模型，他們從激活函數(shù)切入：

根據(jù)通用逼近定理，NN 可以無(wú)限逼近回歸函數(shù) r (t)，

假設(shè) p = 2，用 u 和 v 來(lái)表示特征，第一層隱藏層的輸入，包括“1”的節(jié)點(diǎn)，將是

設(shè)激活函數(shù)為，那么第一層的輸出將是 u 和 v 的二次函數(shù)。類似地，第二層將產(chǎn)生四次多項(xiàng)式，依此類推，可以生成在回歸函數(shù)空間中密集的多項(xiàng)式。

而對(duì)于更加實(shí)際的激活函數(shù)，其本身就常常被多項(xiàng)式逼近。因此，也適用于上述規(guī)則。

換句話說(shuō)，NN 可以被松散地視為多項(xiàng)式回歸的一種。

實(shí)驗(yàn)結(jié)果：多項(xiàng)式回歸在很多時(shí)候都優(yōu)于神經(jīng)網(wǎng)絡(luò)

作者進(jìn)行了很多實(shí)驗(yàn)來(lái)比較 PR 與 NN 的性能。在下面的各種結(jié)果中，PR 表示多項(xiàng)式回歸，PCA 表示在生成多項(xiàng)式之前用 90％總方差主成分分析降維。KF 表示通過(guò) Keras API 的神經(jīng)網(wǎng)絡(luò)，默認(rèn)配置是兩層，一層 256 個(gè)單元，一層 128 個(gè)單元（寫作 “256，128”），dropout 比例是 0.4。DN 表示通過(guò) R 語(yǔ)言包 deepnet 的神經(jīng)網(wǎng)絡(luò)。DN 會(huì)比 KF 快很多，因此在大一些的問(wèn)題里會(huì)用 DN，但兩者性能還是相似的。

硅谷程序員收入預(yù)測(cè)的結(jié)果

預(yù)測(cè)歌曲出版時(shí)間的結(jié)果

UCI 數(shù)據(jù)集字母預(yù)測(cè)的結(jié)果

Kaggle 數(shù)據(jù)集出租車旅途時(shí)長(zhǎng)預(yù)測(cè)結(jié)果

哈佛/MIT MOOC獲得證書(shū)預(yù)測(cè)結(jié)果

NCI 基因數(shù)據(jù)癌癥預(yù)測(cè)結(jié)果

男女運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè) Crossfit Open 排名

Crossfit Open 排名，數(shù)據(jù)集大小與預(yù)測(cè)精度的比較

總之，一系列實(shí)驗(yàn)結(jié)果表明，PR 至少不會(huì)比 NN 差，有些時(shí)候還超過(guò)了 NN。在實(shí)踐中，許多分析師只是一開(kāi)始就去擬合過(guò)大的模型，比如使用很多層，每層有數(shù)百個(gè)神經(jīng)元。他們發(fā)現(xiàn)，使用 PR，很少需要超越 2 級(jí)，NNAEPR 原理表示，只用一層或者兩層就夠了，每一層有少量的神經(jīng)元。

同時(shí)，作者也開(kāi)始懷疑，擬合大的 NN 模型通常導(dǎo)致大多數(shù)的權(quán)重為0，或接近于0。他們已經(jīng)開(kāi)始調(diào)查這一點(diǎn)，初步結(jié)果與 NNAEPR 原理相結(jié)合表明，在 NN 初始化中 configur 大型網(wǎng)絡(luò)可能是個(gè)糟糕的策略。

最后，他們開(kāi)源了一個(gè) R 語(yǔ)言的軟件包 polyreg（Python 的正在制作中），里面有很大源代碼可以實(shí)現(xiàn)很多功能。