“聯(lián)邦學(xué)習(xí)”或?qū)⑼苿覣I在醫(yī)療行業(yè)加速落地？

AI正在各個行業(yè)掀起漸進式的變革，醫(yī)療一直是其中的熱門領(lǐng)域，被業(yè)界認(rèn)為有可能盡快實現(xiàn)產(chǎn)業(yè)化。

AI+醫(yī)療的快速發(fā)展，離不開迅速增長的醫(yī)學(xué)大數(shù)據(jù)規(guī)模、快速提升的算力和理論基礎(chǔ)的進展。進一步分析，從資本層面來看，AI+醫(yī)療有較好的投資盈利預(yù)期，受到了資本的追捧；從技術(shù)和人才角度來看，醫(yī)療AI的研究機構(gòu)眾多，包括科研單位、高校、大型企業(yè)、創(chuàng)業(yè)企業(yè)等，造就了一大批奮戰(zhàn)在一線的科研機構(gòu)，相應(yīng)的技術(shù)和人才水平較高；具體到細(xì)分應(yīng)用，特別是在醫(yī)學(xué)圖像識別領(lǐng)域，擁有豐富的技術(shù)和設(shè)備等資源。

醫(yī)療影像面臨的數(shù)據(jù)挑戰(zhàn)

AI在醫(yī)療產(chǎn)業(yè)的發(fā)展，最初是數(shù)據(jù)收集，主要是通過多種工具或設(shè)備來收集人體的健康數(shù)據(jù)，醫(yī)療影像是其中之一，也是迄今為止AI在醫(yī)療行業(yè)落地最為成熟的應(yīng)用之一。隨著醫(yī)療信息化和生物技術(shù)不斷地發(fā)展，醫(yī)療數(shù)據(jù)的類型和規(guī)模正以前所未有的速度快速增長。

在醫(yī)療AI領(lǐng)域，獲取高質(zhì)量的醫(yī)學(xué)影像數(shù)據(jù)難度較大。一方面來自于醫(yī)學(xué)影像數(shù)據(jù)前處理和標(biāo)注所需的投入，占據(jù)了開發(fā)成本的絕大部分，工作量巨大；其次，隨著現(xiàn)代醫(yī)學(xué)影像技術(shù)的發(fā)展，醫(yī)學(xué)影像數(shù)據(jù)的產(chǎn)生技術(shù)也變得越來越復(fù)雜，客觀上加大了數(shù)據(jù)的獲取和使用難度；同時，由于醫(yī)學(xué)影像數(shù)據(jù)絕對的私密性，數(shù)據(jù)的擁有方采取高度保護措施，也加大了AI研發(fā)機構(gòu)獲取數(shù)據(jù)的難度。

只有獲取更多的數(shù)據(jù)進行訓(xùn)練，AI模型才能更強健。而眼下這些現(xiàn)狀，顯然有礙于深度學(xué)習(xí)理論下AI模型的進展。

“聯(lián)邦學(xué)習(xí)”——打破數(shù)據(jù)壁壘，保護隱私數(shù)據(jù)

日前，在全球高端的醫(yī)學(xué)影像會議MICCAI召開期間，NVIDIA攜手倫敦國王學(xué)院推出了用于醫(yī)學(xué)影像分析、且具有隱私保護能力的聯(lián)邦學(xué)習(xí)系統(tǒng)( federated learning system)。據(jù)了解，該實驗基于取自BraTS 2018數(shù)據(jù)集的腦腫瘤分割數(shù)據(jù)而實施，包含了285位腦腫瘤患者的MRI掃描結(jié)果，采用了NVIDIA V100 Tensor Core GPU用于訓(xùn)練與推理。

NVIDIA醫(yī)療副總裁Kimberly Powell與NVIDIA資深研究科學(xué)家Nicola Rieke介紹了聯(lián)邦學(xué)習(xí)系統(tǒng)的技術(shù)細(xì)節(jié)、實施前景及研究背景。

聯(lián)邦學(xué)習(xí)(federated learning)是一種能夠讓開發(fā)者與各企業(yè)機構(gòu)利用分散在多個位置的訓(xùn)練數(shù)據(jù)，對中心深度神經(jīng)網(wǎng)絡(luò)（DNN）進行訓(xùn)練的學(xué)習(xí)范式，該方法可以支持各企業(yè)機構(gòu)針對共享模型開展協(xié)作，而無需共享任何臨床數(shù)據(jù)。

NVIDIA最新發(fā)布的論文中，對這一數(shù)據(jù)訓(xùn)練方式表述為：“聯(lián)邦學(xué)習(xí)在無需共享患者數(shù)據(jù)的情況下，即可實現(xiàn)協(xié)作與分散化的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。各節(jié)點負(fù)責(zé)訓(xùn)練其自身的本地模型，并定期提交給參數(shù)服務(wù)器。該服務(wù)器不斷累積并聚合各自的貢獻，進而創(chuàng)建一個全局模型，分享給所有節(jié)點?！?br />
一言蔽之，“聯(lián)邦學(xué)習(xí)系統(tǒng)”最大的突破，在于它的運行方式是——模型找數(shù)據(jù)，而非數(shù)據(jù)找模型。如下圖所示，最左邊的“全局AI模型”可以分散到各個醫(yī)院或研究中心，利用它們本地的數(shù)據(jù)進行訓(xùn)練，之后再將訓(xùn)練后的模型回傳，而數(shù)據(jù)始終保存在本地。通過各個醫(yī)院、研究中心等機構(gòu)不斷地訓(xùn)練，“全局AI模型”不斷壯大，再分享給各個節(jié)點，實現(xiàn)了數(shù)據(jù)與模型訓(xùn)練的“雙贏”。

由于無需上傳病人的隱私數(shù)據(jù)，大大打消了數(shù)據(jù)擁有方對于隱私數(shù)據(jù)的顧慮。但是，這一系統(tǒng)是否足夠安全？有無被通過“反推”方式破解數(shù)據(jù)的風(fēng)險？

Nicola Rieke對<電子發(fā)燒友>表示，通過模型反演、設(shè)法使數(shù)據(jù)重現(xiàn)的手段已在研究考量中，因為如果知道底層的運行邏輯，不排除會有一些反推手段。為了提高聯(lián)邦學(xué)習(xí)的安全性，研究人員試驗了使用ε-差分隱私框架的可行性。該框架是一種正式定義隱私損失的方法，該方法可以借助其強大的隱私保障性來保護患者與機構(gòu)數(shù)據(jù)。據(jù)Nicola Rieke介紹，相當(dāng)于完成模型訓(xùn)練之后，加入“噪點”使數(shù)據(jù)變得模糊，改變了原有數(shù)據(jù)的顆粒度，使得反推更加困難。

“聯(lián)邦學(xué)習(xí)”VS.“集中化數(shù)據(jù)處理”

Kimberly Powell進一步談到了聯(lián)邦學(xué)習(xí)系統(tǒng)的價值所在。她提到，在當(dāng)前很多AI的研究或項目中，大量的工作離不開“數(shù)據(jù)收集”，各個國家都在進行相應(yīng)的工作。但是涉及跨國或是跨區(qū)域的合作，大家?guī)缀醪豢赡芄步ㄒ粋€數(shù)據(jù)池進行分享，因此數(shù)據(jù)壁壘愈發(fā)凸顯。這時“聯(lián)邦學(xué)習(xí)系統(tǒng)”就能夠發(fā)揮作用了。

通過深度學(xué)習(xí)從數(shù)據(jù)中自動提取知識，再運用“聯(lián)邦學(xué)習(xí)”有效聚合各機構(gòu)從私有數(shù)據(jù)中本地習(xí)得的知識，能夠進一步提高深度模型的準(zhǔn)確性、穩(wěn)健性與通用化能力。

與集中化的數(shù)據(jù)處理方式相比，聯(lián)邦學(xué)習(xí)所提供的方法可以在不共享機構(gòu)數(shù)據(jù)的情況下實現(xiàn)相當(dāng)大的分割性能。試驗結(jié)果顯示，隱私保護與受訓(xùn)模型質(zhì)量之間產(chǎn)生了自然折中。而且，通過使用稀疏向量技術(shù)，聯(lián)邦學(xué)習(xí)系統(tǒng)可以實現(xiàn)嚴(yán)格隱私保護，且對模型性能僅產(chǎn)生合理的輕微影響。

另外就是集中化的數(shù)據(jù)處理方式，相當(dāng)于將數(shù)據(jù)量增加了一倍。例如1TB 的CT圖象，將它集中起來進行訓(xùn)練，需要把這1TB數(shù)據(jù)進行拷貝再做轉(zhuǎn)接傳輸，給整個系統(tǒng)增加了額外的數(shù)據(jù)負(fù)擔(dān)，對于系統(tǒng)的算力、存儲、帶寬都是更為嚴(yán)峻的考驗。

目前什么樣的系統(tǒng)能夠采用“聯(lián)邦學(xué)習(xí)”？ Kimberly Powell表示，NVIDIA 的GPU硬件基本上對于每個服務(wù)器供應(yīng)商來說都是可以使用的，入門級的投入1萬美金即可。NVIDIA與美國放射科學(xué)會已經(jīng)共同打造了一個參考架構(gòu)，可以應(yīng)用到各個醫(yī)院中，如果僅是試用性的訓(xùn)練，用這個架構(gòu)的第一層就可以了。如果有相對高層級的需求，可能需要從頭去打造全新的算法應(yīng)用。

Kimberly Powell強調(diào)，“聯(lián)邦學(xué)習(xí)系統(tǒng)”是目前在醫(yī)療健康A(chǔ)I領(lǐng)域的突破性進展，該研究為部署安全聯(lián)邦學(xué)習(xí)方面做出了巨大的推動，并將廣泛推動數(shù)據(jù)驅(qū)動型精準(zhǔn)醫(yī)學(xué)的進步。

崛起的醫(yī)療AI，進擊的NVIDIA

根據(jù)公開數(shù)據(jù)，到2020年醫(yī)療數(shù)據(jù)量將達(dá)40萬億GB，數(shù)據(jù)生成和共享的速度將迅速增長，其中80%以上的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)。面對如此迅速增長的醫(yī)療數(shù)據(jù)量，不借助AI的提升很難進行甄別和處理。

Kimberly Powell以2017年獲得諾獎的一臺記錄人體蛋白質(zhì)數(shù)據(jù)的機器舉例，這臺機器可以在原子層面記錄人體的蛋白質(zhì)數(shù)據(jù)，這種新型的探測技術(shù)每天收集超過3T數(shù)據(jù)，可以用于很多醫(yī)療研究領(lǐng)域，例如基因組學(xué)等等。在接下來的幾年中，它所生成的數(shù)據(jù)會比Facebook、YouTube的數(shù)據(jù)總和還要多。想象一下全世界范圍之內(nèi)，所有的醫(yī)院、供應(yīng)商所產(chǎn)生的數(shù)據(jù)。

另一方面，就放射科而言，實際的醫(yī)生數(shù)量與需求之間并不匹配，存在著巨大的人員缺口，在美國這一缺口達(dá)到50%。Kimberly Powell稱，正因為如此，需要將一些工作實現(xiàn)自動化，降低AI的應(yīng)用門檻。

她認(rèn)為，2018年是AI在放射科應(yīng)用的拐點，除了通過AI大幅降低成本，提升圖像質(zhì)量，真正將醫(yī)療工作與AI整合在了一起。例如CT設(shè)備通過AI實時算法縮短成像時間，生成更多更安全、準(zhǔn)確的實時圖像；以及探測顱內(nèi)出血的設(shè)備，可以根據(jù)實際情況及時幫助醫(yī)生根據(jù)工作優(yōu)先級調(diào)整工作流程等。

根據(jù)億歐智庫的研究顯示，國內(nèi)疾病風(fēng)險預(yù)測、醫(yī)學(xué)影像場景下的公司數(shù)量最多，占醫(yī)療AI公司總數(shù)的一半以上，相關(guān)產(chǎn)品相對成熟。

也正是看到了AI在醫(yī)學(xué)影像領(lǐng)域的巨大潛力，NVIDIA不斷加大在這一細(xì)分領(lǐng)域的投入。今年春天，NVIDIA正式發(fā)布了Clara。和CUDA一樣，Clara的推出是NVIDIA在GPU易用性方面做出的又一努力。但不同于CUDA，Clara面向醫(yī)療領(lǐng)域的垂直細(xì)分應(yīng)用，從軟件層面幫助開發(fā)者在GPU平臺部署計算密集型醫(yī)療AI應(yīng)用程序。

由于標(biāo)記數(shù)據(jù)對于構(gòu)建安全可靠的AI至關(guān)重要，但放射科醫(yī)生無法花費數(shù)小時來標(biāo)記數(shù)據(jù)集。因此Clara具備輔助注釋功能，可以加速結(jié)構(gòu)化數(shù)據(jù)集的創(chuàng)建，從而在幾分鐘內(nèi)完成注釋。

此外，Clara還具有遷移學(xué)習(xí)的功能，能夠?qū)σ延心Ｐ瓦M行調(diào)整，從而適應(yīng)本地變量。它能夠使用包含本地人口統(tǒng)計的數(shù)據(jù)和本地影像設(shè)備對深度學(xué)習(xí)算法進行定制，且無需移動或共享患者數(shù)據(jù)。因此，醫(yī)生可為自己的患者創(chuàng)建模型，而無需使用10倍的數(shù)據(jù)量從頭開始。

對于初創(chuàng)公司來說，Clara這種可以在官網(wǎng)免費下載的SDK很受歡迎。NVIDIA也在增加更多的加速引擎，幫助他們提升效率，加速方案的部署。此外，Clara也面向針對醫(yī)療設(shè)備公司、醫(yī)院等企業(yè)客戶。

截至目前，這一平臺的開發(fā)者數(shù)量已經(jīng)增長了4倍。據(jù)了解，最新發(fā)布的“聯(lián)邦學(xué)習(xí)系統(tǒng)” 也會整合到Clara工具平臺中。而不論是聯(lián)邦學(xué)習(xí)系統(tǒng)還是Clara，都是NVIDIA使AI在醫(yī)療行業(yè)更為落地的鋪墊。作為底層技術(shù)賦能者，NVIDIA正在通過軟件+硬件的方式，雄心勃勃地進發(fā)著。

Kimberly Powell表示，得益于之前在消費級AI的良好基礎(chǔ)，NVIDIA能夠在醫(yī)療AI領(lǐng)域提供面向更復(fù)雜應(yīng)用的開發(fā)工具。下一步，針對自動化AI將進行更為深入的研究和投入。