一種分布式深度學(xué)習(xí)網(wǎng)絡(luò)，為不同機(jī)構(gòu)間的合作提供了新思路

數(shù)據(jù)包含重要的隱私，尤其是醫(yī)療數(shù)據(jù)。但在訓(xùn)練用于醫(yī)療的神經(jīng)網(wǎng)絡(luò)時(shí)，數(shù)據(jù)又是不可或缺的。為了解決數(shù)據(jù)共享帶來的隱私破壞問題，斯坦福大學(xué)的研究人員提出了一種分布式深度學(xué)習(xí)網(wǎng)絡(luò)，為不同機(jī)構(gòu)間的合作提供了新思路。

隨著強(qiáng)大的圖形處理單元的進(jìn)步，深度學(xué)習(xí)在主流任務(wù)中取得了很大突破，例如圖像分類、語音識別和自然語言處理。由于神經(jīng)網(wǎng)絡(luò)能高效處理形狀識別，深度學(xué)習(xí)也在臨床醫(yī)療診斷領(lǐng)域給與了一定支持。最近的研究表明，深度學(xué)習(xí)在檢測糖尿病視網(wǎng)膜病變、分辨皮膚病變、預(yù)測神經(jīng)膠質(zhì)瘤變異以及評估醫(yī)療記錄等方面都有很大潛力。深度學(xué)習(xí)模型可以輸入原始數(shù)據(jù)，然后經(jīng)過多層轉(zhuǎn)換，計(jì)算出分類標(biāo)簽。這些轉(zhuǎn)換通常有多個(gè)維度，也使得算法學(xué)習(xí)更多復(fù)雜的表示。

在醫(yī)療領(lǐng)域，想應(yīng)用深度學(xué)習(xí)，主要問題就是大量的訓(xùn)練數(shù)據(jù)，尤其是當(dāng)圖像之間的差別很細(xì)微，或者研究群體之間的差異性很大的時(shí)候，數(shù)據(jù)就更需要多樣化了。然而，來自病人的樣本數(shù)量通常很少，罕見病就更少了。樣本規(guī)模小，可能會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型的泛化能力降低。

針對上述問題，一種可能的解決方法就是進(jìn)行多中心研究（multicenter study），這種方法可以增加樣本規(guī)模，同時(shí)豐富樣本多樣性。理想情況下，病人的數(shù)據(jù)在研究中心是共享的，算法能利用這些數(shù)據(jù)訓(xùn)練。但是，這種方法有幾個(gè)問題。首先，如果病人的數(shù)據(jù)需要很大的存儲(chǔ)空間（例如高分辨率的圖像），要想分享這些數(shù)據(jù)就很麻煩了。其次，共享病人的數(shù)據(jù)還面臨著法律和道德的障礙，想要大規(guī)模傳播數(shù)據(jù)似乎不太可能。另外，病人的數(shù)據(jù)非常珍貴，很多機(jī)構(gòu)可能根本不想貢獻(xiàn)出去。

在這種情況下，與其直接分享病人數(shù)據(jù)，我們想到了更吸引人的方法，即對訓(xùn)練過的深度學(xué)習(xí)模型進(jìn)行分散。模型本身對存儲(chǔ)空間的需求比病人數(shù)據(jù)低得多，并且不需要存儲(chǔ)與病人有關(guān)的各類信息。因此，在多個(gè)機(jī)構(gòu)間的分布式深度學(xué)習(xí)模型可以克服分散的病人數(shù)據(jù)帶來的弱點(diǎn)。不過，據(jù)我們了解，能執(zhí)行這一任務(wù)的方法目前還沒有人研究過。

關(guān)于分布式訓(xùn)練，目前有好幾種方法。對模型取平均值指的是，分離的模型在不同的數(shù)據(jù)上進(jìn)行訓(xùn)練，模型每隔幾個(gè)mini-batches就會(huì)計(jì)算一次平均權(quán)重。在非同步的隨機(jī)梯度下降上，分離的模型在分離的數(shù)據(jù)上訓(xùn)練，而每隔分離模型的梯度就會(huì)轉(zhuǎn)移到中心模型上。然而，這些方法都是為了優(yōu)化訓(xùn)練速度而提出的。雖然在多個(gè)機(jī)構(gòu)間，對這些數(shù)據(jù)進(jìn)行平行訓(xùn)練是可能做到的，但同樣會(huì)出現(xiàn)重要的邏輯挑戰(zhàn)。如果各個(gè)機(jī)構(gòu)減的網(wǎng)絡(luò)連接速度不同，或者有不同的深度學(xué)習(xí)硬件，就會(huì)有挑戰(zhàn)性。雖然非平行的分布式訓(xùn)練方法會(huì)比平行式的要慢，但可以避免這些邏輯上的問題。

在這篇論文中，我們利用多種非平行的訓(xùn)練方法，模擬了在各機(jī)構(gòu)間分布的深度學(xué)習(xí)模型。我們比較了在中心數(shù)據(jù)上訓(xùn)練過的深度學(xué)習(xí)模型結(jié)果。我們在三個(gè)數(shù)據(jù)集上對這一模擬結(jié)果做出展示：視網(wǎng)膜眼底照片、乳房X光片和ImageNet。主要評估的目的有三點(diǎn)：

分布式深度學(xué)習(xí)模型的性能與共享病人數(shù)據(jù)有何不同；

當(dāng)向某個(gè)機(jī)構(gòu)發(fā)生變化時(shí)，分布式深度學(xué)習(xí)模型的性能會(huì)不會(huì)衰減；

當(dāng)機(jī)構(gòu)數(shù)量越來越大，分布式深度學(xué)習(xí)模型的性能會(huì)不會(huì)更好。

我們的方法

收集圖像

我們從Kaggle的糖尿病視網(wǎng)膜病變的挑戰(zhàn)賽中獲得了35126張彩色數(shù)字化的視網(wǎng)膜眼底照片，它們的質(zhì)量、像素各不相同。我們用挑戰(zhàn)賽冠軍Ben Graham的方法對其進(jìn)行了處理，尺寸改為256×256，打上表示病情嚴(yán)重程度的標(biāo)簽。

我們的網(wǎng)絡(luò)架構(gòu)是一個(gè)34層的殘差網(wǎng)絡(luò)，如圖1所示：

圖1

網(wǎng)絡(luò)在NVIDIA Tesla P100的圖形處理單元上運(yùn)行。網(wǎng)絡(luò)的權(quán)重通過一個(gè)隨機(jī)梯度下降算法進(jìn)行優(yōu)化，mini-batch的尺寸為32。

數(shù)據(jù)集是隨機(jī)采集的，來自四個(gè)不同的醫(yī)療結(jié)構(gòu)，每個(gè)機(jī)構(gòu)有n=1500名病人，類別分布的數(shù)量相同。

圖2

我們在多個(gè)不同的訓(xùn)練方法上進(jìn)行了測試，并比較了結(jié)果。第一種方法是讓神經(jīng)網(wǎng)絡(luò)在每個(gè)機(jī)構(gòu)上單獨(dú)訓(xùn)練，假設(shè)沒有其他機(jī)構(gòu)與之合作。第二種方法是通過將所有病人的數(shù)據(jù)共享（圖3A）。第三種方法是先將模型在各個(gè)機(jī)構(gòu)上單獨(dú)訓(xùn)練，然后計(jì)算輸出結(jié)果的平均值（圖3B）。第四種方法是將一個(gè)模型在單一機(jī)構(gòu)的數(shù)據(jù)上訓(xùn)練，直到達(dá)到驗(yàn)證損失不再下降，然后再訓(xùn)練下一個(gè)機(jī)構(gòu)（單一權(quán)重轉(zhuǎn)移，圖3C）。除此之外，還有一種方法是讓一個(gè)模型在每個(gè)機(jī)構(gòu)上訓(xùn)練一定次數(shù)之后在轉(zhuǎn)移到下一個(gè)機(jī)構(gòu)上（循環(huán)權(quán)重轉(zhuǎn)移，圖3D）。

圖3

實(shí)驗(yàn)結(jié)果

首先是模型在單一的機(jī)構(gòu)上的視網(wǎng)膜眼底數(shù)據(jù)集訓(xùn)練結(jié)果，表現(xiàn)的性能很不好，平均測試精度只有56.3%

其次，在中心共享數(shù)據(jù)集上訓(xùn)練后，網(wǎng)絡(luò)的性能有所提升，測試精度達(dá)到了78.7%

平均法下，模型的測試精度為60%，單一權(quán)重轉(zhuǎn)移下的精度為68.1%，循環(huán)權(quán)重轉(zhuǎn)移的精度為76.1%。

結(jié)論

在這項(xiàng)研究中，我們解決了如何在不共享病人數(shù)據(jù)的情況下訓(xùn)練深度學(xué)習(xí)模型的方法。最終發(fā)現(xiàn)，循環(huán)權(quán)重轉(zhuǎn)移方法和共享數(shù)據(jù)的方法結(jié)果差不多，說明共享病人數(shù)據(jù)并非是創(chuàng)建模型的唯一方法。這項(xiàng)發(fā)現(xiàn)對合作型的深度學(xué)習(xí)研究大有幫助。