谷歌使用深度學(xué)習(xí)分析視網(wǎng)膜圖像來(lái)識(shí)別心臟病

谷歌大腦研究人員剛剛在官博上宣布了他們的最新研究成果，使用深度學(xué)習(xí)分析視網(wǎng)膜圖像，以此預(yù)測(cè)心血管疾病突發(fā)的風(fēng)險(xiǎn)。使用深度學(xué)習(xí)來(lái)獲得人體解剖學(xué)和疾病變化之間的聯(lián)系，這是人類醫(yī)生此前完全不知道的診斷和預(yù)測(cè)方法，不僅能幫助科學(xué)家生成更有針對(duì)性的假設(shè)，還可能代表了科學(xué)發(fā)現(xiàn)的新方向。

谷歌AI發(fā)現(xiàn)了人類醫(yī)生尚未發(fā)現(xiàn)的診斷方法：用深度學(xué)習(xí)找到視網(wǎng)膜圖像與心血管疾病聯(lián)系

心臟病發(fā)作、中風(fēng)和其他心血管疾病仍是最重要的公共衛(wèi)生問(wèn)題。評(píng)估這種風(fēng)險(xiǎn)是未來(lái)減少患者遭受心血管疾病的第一步。為了做這個(gè)評(píng)估，醫(yī)生將各種風(fēng)險(xiǎn)因素納入考慮，例如：遺傳因素（如年齡和性別），生活方式因素（如吸煙和血壓）。雖然可以通過(guò)簡(jiǎn)單詢問(wèn)患者來(lái)獲得大多數(shù)上述信息，但其他因素（如膽固醇）則需要抽血。醫(yī)生還要考慮患者是否患有其他疾病，如糖尿病，這與心血管疾病風(fēng)險(xiǎn)顯著增加有關(guān)。

最近，我們看到了很多用深度學(xué)習(xí)技術(shù)幫助提高醫(yī)學(xué)成像診斷準(zhǔn)確性的案例，尤其是糖尿病眼病。在《自然》子刊 Nature Biomedical Engineering中發(fā)表的《使用深度學(xué)習(xí)從視網(wǎng)膜基底照片中預(yù)測(cè)心血管危險(xiǎn)因子》中，我們展示了除了檢測(cè)眼病外，眼睛的醫(yī)學(xué)圖像還可以非常準(zhǔn)確地預(yù)測(cè)心血管健康的其他指標(biāo)。這一發(fā)現(xiàn)令人異常興奮，因?yàn)樗砻魍ㄟ^(guò)視網(wǎng)膜圖像，我們可能會(huì)發(fā)現(xiàn)更多診斷疾病的方法。

通過(guò)在來(lái)自284335名患者數(shù)據(jù)上訓(xùn)練的深度學(xué)習(xí)算法，我們能夠從12026名和999名患者的兩個(gè)獨(dú)立數(shù)據(jù)集中患者的視網(wǎng)膜圖像，以驚人的高準(zhǔn)確度預(yù)測(cè)病人的心血管疾病風(fēng)險(xiǎn)因子。例如，我們的算法通過(guò)視網(wǎng)膜圖像區(qū)分吸煙者與不吸煙者的準(zhǔn)確率有71%。此外，雖然醫(yī)生通?？梢詤^(qū)分嚴(yán)重高血壓患者和正?；颊叩囊暰W(wǎng)膜圖像，但我們的算法可以進(jìn)一步預(yù)測(cè)在11 mmHg以內(nèi)的患者平均收縮壓，包括患有或不患有高血壓的患者血壓。

左圖：眼球背部圖像顯示斑疹（中間的黑點(diǎn)），視盤(pán)（右側(cè)亮點(diǎn)）和血管（右側(cè)亮點(diǎn)旁的深紅線）。右圖：視網(wǎng)膜圖像呈灰色，使用了深度學(xué)習(xí)算法的像素可以預(yù)測(cè)血壓（綠色陰影高亮顯示）。我們發(fā)現(xiàn)每個(gè)心血管風(fēng)險(xiǎn)因子預(yù)測(cè)使用不同模式，例如血管用于血壓，視盤(pán)用于其他預(yù)測(cè)。

除了從視網(wǎng)膜圖像預(yù)測(cè)各種風(fēng)險(xiǎn)因素（年齡，性別，吸煙史，血壓等），我們的算法在直接預(yù)測(cè)心血管疾病風(fēng)險(xiǎn)方面準(zhǔn)確率很高。算法使用整個(gè)圖像來(lái)量化圖像與心臟病發(fā)作／中風(fēng)之間的關(guān)聯(lián)。基于兩張視網(wǎng)膜圖像，一張是（最多5年后）經(jīng)歷過(guò)重大心血管疾病（例如心臟病發(fā)作）患者的視網(wǎng)膜圖像，另一張是沒(méi)有突發(fā)心血管疾病的患者的視網(wǎng)膜圖像，我們的算法能夠以70%的準(zhǔn)確率識(shí)別出罹患心血管疾病的患者。這一數(shù)字接近需要抽血測(cè)量膽固醇的其他心血管疾病風(fēng)險(xiǎn)計(jì)算器的準(zhǔn)確性。

更重要的是，我們通過(guò)使用Attention技術(shù)打開(kāi)了“黑匣子”，以查看算法如何進(jìn)行預(yù)測(cè)。這些技術(shù)使我們生成一個(gè)熱圖，顯示哪些像素對(duì)于預(yù)測(cè)特定的心血管風(fēng)險(xiǎn)因子最為重要。例如，如上圖所示，該算法更注重血管情況來(lái)預(yù)測(cè)血壓。解釋算法如何進(jìn)行預(yù)測(cè)，可以讓醫(yī)生對(duì)算法本身更有信心。此外，這項(xiàng)技術(shù)有助于為將來(lái)對(duì)心血管風(fēng)險(xiǎn)和視網(wǎng)膜進(jìn)行科學(xué)研究生成假設(shè)。

在最廣泛的層面上，我們對(duì)這項(xiàng)工作感到興奮，因?yàn)樗赡艽砹丝茖W(xué)發(fā)現(xiàn)的新方法。傳統(tǒng)上，醫(yī)學(xué)發(fā)現(xiàn)通常是通過(guò)一種復(fù)雜的猜測(cè)和測(cè)試形式：通過(guò)觀察得出假設(shè)，然后設(shè)計(jì)和運(yùn)行實(shí)驗(yàn)來(lái)測(cè)試假設(shè)。然而，對(duì)于醫(yī)學(xué)圖像，由于實(shí)際圖像中存在的各種特征、圖案、顏色、值和形狀，觀察和量化關(guān)聯(lián)是困難的。我們使用深度來(lái)獲得人體解剖學(xué)和疾病變化之間的聯(lián)系，類似于醫(yī)生學(xué)會(huì)將體征和癥狀與診斷新疾病聯(lián)系起來(lái)。這可以幫助科學(xué)家生成更有針對(duì)性的假設(shè)，并推動(dòng)未來(lái)的廣泛研究。

有了這些結(jié)果，還有很多科學(xué)工作需要去做。我們的數(shù)據(jù)集有許多標(biāo)注有吸煙狀況、收縮壓、年齡、性別和其他變量的圖像，但只有幾百個(gè)心血管疾病的例子。我們期待在更大和更全面的數(shù)據(jù)集上開(kāi)發(fā)和測(cè)試算法。為了確保這對(duì)患者有用，我們將試圖了解干預(yù)措施的效果，如生活方式改變或在風(fēng)險(xiǎn)預(yù)測(cè)基礎(chǔ)上的藥物治療，我們將生成新的假設(shè)和理論來(lái)測(cè)試。

谷歌使用深度學(xué)習(xí)分析視網(wǎng)膜圖像的里程碑事件

以上的最新突破，與谷歌在使用深度學(xué)習(xí)分析視網(wǎng)膜圖像方面的長(zhǎng)期積累進(jìn)展分不開(kāi)。

16年11月，谷歌在《美國(guó)醫(yī)學(xué)會(huì)雜志》發(fā)表題為 “Development and Validation of a Deep Learning Algorithm for Detection of Diabetic RetinoPathy in Retinal Fundus Photographs”的論文，谷歌研究人員提出的一種基于深度學(xué)習(xí)的算法，該算法能夠在視網(wǎng)膜造影中對(duì)糖尿病視網(wǎng)膜病變的跡象做出解釋，幫助醫(yī)生克服資源短缺資困難，為更多的病人做出更專業(yè)的診斷。

任務(wù)：糖尿病性視網(wǎng)膜病變是致盲的主要成因之一，主要由眼睛后部細(xì)小血管損傷引起。這是通過(guò)觀察眼睛的背面，可以看到血管。所以這是一個(gè)感知任務(wù)。他們訓(xùn)練了一個(gè)深度學(xué)習(xí)系統(tǒng)，執(zhí)行與糖尿病視網(wǎng)膜病變?cè)u(píng)估相關(guān)的幾項(xiàng)工作。文章標(biāo)題中所提到的結(jié)果是評(píng)估“可參考”的糖尿病性視網(wǎng)膜病變，其正在檢測(cè)中度或更差的眼睛疾?。ㄔ摻M患者的治療方式與“不可參考”眼病患者的治療方式不同）。他們還評(píng)估了識(shí)別嚴(yán)重視網(wǎng)膜病變并檢測(cè)黃斑水腫的能力。

數(shù)據(jù)：他們對(duì)13萬(wàn)個(gè)視網(wǎng)膜照片進(jìn)行了訓(xùn)練，每個(gè)級(jí)別由3到7名眼科醫(yī)生進(jìn)行評(píng)估，最終的標(biāo)簽以多數(shù)票決定。圖像來(lái)自使用各種相機(jī)的4個(gè)位置（美國(guó)EyePACS和3家印度醫(yī)院）的康復(fù)臨床數(shù)據(jù)集。

網(wǎng)絡(luò)模型：他們使用了Google Inception-v3深層神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練版本，這是目前使用最好的圖像分析系統(tǒng)之一。預(yù)訓(xùn)練通常意味著他們已經(jīng)接受過(guò)訓(xùn)練的網(wǎng)絡(luò)來(lái)檢測(cè)非醫(yī)療物體（如貓和汽車的照片），然后進(jìn)一步對(duì)特定醫(yī)學(xué)圖像進(jìn)行了訓(xùn)練。這就是為什么網(wǎng)絡(luò)只能接受229 x 299像素的圖像。

結(jié)果：這篇論文我認(rèn)為是醫(yī)學(xué)深度學(xué)習(xí)的第一個(gè)大突破。他們的AI系統(tǒng)獲得了與單個(gè)眼科醫(yī)生相同水平的表現(xiàn)，在于眼科醫(yī)生的平均水平相比時(shí)，也不落下風(fēng)。

圖：彩色的點(diǎn)是人類眼科醫(yī)生，黑線是谷歌的深度學(xué)習(xí)系統(tǒng)

與人類以上相比，他們的系統(tǒng)在檢測(cè)黃斑水腫上做到了相同的水平，但是在更嚴(yán)重視網(wǎng)膜病變絕對(duì)值（AUC值）上要差一些。

關(guān)于這一研究的10點(diǎn)總結(jié)

Google（和合作者）訓(xùn)練了一個(gè)系統(tǒng)，以檢測(cè)糖尿病視網(wǎng)膜病變（其導(dǎo)致全世界5％的失明），系統(tǒng)的表現(xiàn)與一組眼科醫(yī)生的表現(xiàn)相當(dāng)。

這是一個(gè)有用的臨床任務(wù)，這可能不會(huì)節(jié)省大量資金，也不會(huì)在自動(dòng)化的時(shí)候取代醫(yī)生，但具有很強(qiáng)的人道主義動(dòng)機(jī)。

他們使用130,000個(gè)視網(wǎng)膜圖像進(jìn)行訓(xùn)練，比公開(kāi)的數(shù)據(jù)集大1到2個(gè)數(shù)量級(jí)。

他們用更多陽(yáng)性的案例豐富了他們的訓(xùn)練集，大概是為了抵消訓(xùn)練對(duì)不平衡數(shù)據(jù)的影響（一個(gè)沒(méi)有共識(shí)性的解決解決方案的問(wèn)題）。

由于大多數(shù)深度學(xué)習(xí)模型都針對(duì)小型照片進(jìn)行了優(yōu)化，所以圖像被大量采樣，丟棄了90％以上的像素。目前看來(lái)，我們還不知道這是不是件好事。

他們使用一組眼科醫(yī)生來(lái)標(biāo)注數(shù)據(jù)，很可能花費(fèi)了數(shù)百萬(wàn)美元。這是為了獲得比任何單個(gè)醫(yī)生的解釋更準(zhǔn)確的“真正的真相”。

第5點(diǎn)和第6點(diǎn)是所有當(dāng)前醫(yī)學(xué)深度學(xué)習(xí)系統(tǒng)的錯(cuò)誤來(lái)源，而且人們對(duì)這些話題知之甚少。

深度學(xué)習(xí)系統(tǒng)比醫(yī)生有優(yōu)勢(shì)，因?yàn)樗鼈兛梢杂糜诟鞣N“操作點(diǎn)”。相同的系統(tǒng)可以執(zhí)行高靈敏度篩選和高特異性診斷，而無(wú)需再訓(xùn)練。所涉及的trade-off是透明的（不像醫(yī)生）。

這是一個(gè)很好的研究。它在可讀性上是令人難以置信的，并在文本和補(bǔ)充中包含了大量有用的信息。

該研究似乎符合目前FDA對(duì)510（k）法案的要求。雖然這項(xiàng)技術(shù)不太可能要通過(guò)這一手續(xù)，但是該系統(tǒng)或衍生物完全可能在未來(lái)一兩年內(nèi)成為臨床實(shí)踐的一部分。

另一主力DeepMind，用機(jī)器學(xué)習(xí)診斷三大眼疾，或幾年后進(jìn)入臨床試驗(yàn)

而早在2016年6月，谷歌醫(yī)療的另一大主力DeepMind，就開(kāi)始在視網(wǎng)膜醫(yī)療圖像方面，使用機(jī)器學(xué)習(xí)發(fā)力。

視網(wǎng)膜3D掃描圖

那也是DeepMind開(kāi)展的第一個(gè)純粹以研究為基礎(chǔ)的（research-based）健康項(xiàng)目。此前，NHS旗下眼科醫(yī)院已經(jīng)讓DeepMind全權(quán)訪問(wèn)超過(guò)160萬(wàn)患者的病例和數(shù)據(jù)。研究計(jì)劃通過(guò)篩選100萬(wàn)眼部掃描圖像，幫助醫(yī)生發(fā)現(xiàn)視覺(jué)衰退的早期跡象。最初聚焦如何讓AI自動(dòng)診斷糖尿病視網(wǎng)膜病變和年齡相關(guān)黃斑變性。原因是這兩種疾病都是影響大，而且一旦成功就收效很高的案例——相比其他患者，糖尿病患者更可能遭受視力喪失，而年齡相關(guān)性黃斑變性是英國(guó)失明最常見(jiàn)的原因；這兩種視力問(wèn)題，如果能在早期診斷出來(lái)，都能提供更有效的治療。

現(xiàn)在，與英國(guó)NHS和倫敦的摩爾菲爾茲眼科醫(yī)院（世界上最著名的眼科醫(yī)院之一）合作了兩年后，該研究已經(jīng)展現(xiàn)出希望，成果也預(yù)計(jì)在醫(yī)學(xué)期刊發(fā)表。具體說(shuō)，DeepMind的算法使用摩爾菲爾茲提供的匿名3D視網(wǎng)膜掃描進(jìn)行訓(xùn)練，訓(xùn)練使用的圖像都經(jīng)過(guò)了醫(yī)生的嚴(yán)格標(biāo)記。由于圖像提供了數(shù)百萬(wàn)像素的豐富數(shù)據(jù)信息，該算法使用機(jī)器學(xué)習(xí)分析三種最嚴(yán)重的眼?。呵喙庋?、糖尿病性視網(wǎng)膜病變和年齡相關(guān)性黃斑變性的征兆。

就在2月5日，DeepMind Health的臨床主管Dominic King告訴英國(guó)《金融時(shí)報(bào)》，如果通過(guò)同行評(píng)審，這項(xiàng)技術(shù)可以在幾年內(nèi)進(jìn)入臨床試驗(yàn)階段。King表示：“在像醫(yī)學(xué)影像這樣的特定領(lǐng)域，你可以看到未來(lái)幾年內(nèi)我們用人工智能取得巨大的進(jìn)步……機(jī)器學(xué)習(xí)處理更敏感、更具體的問(wèn)題?！?/p>

DeepMind表示，下一階段將通過(guò)與倫敦大學(xué)醫(yī)院和倫敦帝國(guó)理工學(xué)院合作，分別培訓(xùn)分析放射線掃描和乳房X光的算法。

醫(yī)療是最容易受到AI影響的行業(yè)，獨(dú)立的AI診斷中心前景可期

普華永道去年10月發(fā)布的名為“探索 AI 革命”的全球AI報(bào)告，特別推出了“AI 影響指數(shù)”，對(duì)最容易受到 AI 影響的行業(yè)進(jìn)行了排名。其中，醫(yī)療和汽車并列第一位。

AI影響評(píng)分從1-5（1是最低的影響，5最高），醫(yī)療和汽車都是3.7分，并列第一：

而實(shí)際上，從 2011 年開(kāi)始，醫(yī)療領(lǐng)域一直高居 AI 行業(yè)應(yīng)用前列。CB Insights 曾發(fā)布過(guò) AI 應(yīng)用的“行業(yè)熱圖”，可以直觀地看出智能醫(yī)療的火熱程度。

從全球范圍來(lái)看，IDC 在其《全球半年度認(rèn)知/人工智能支出指南》中將醫(yī)療人工智能統(tǒng)列為2016年吸引最多投資的領(lǐng)域之一，并表示在未來(lái)五年內(nèi)，包括醫(yī)療人工智能+診斷和治療系統(tǒng)的使用案例將獲得最大的發(fā)展。在五年期間，它預(yù)測(cè)醫(yī)療健康人工智能投資的年復(fù)合增長(zhǎng)率為69.3%。

說(shuō)回到普華永道的最新報(bào)告。該報(bào)告以“基于數(shù)據(jù)的診斷支持”作為智能醫(yī)療的高潛力用例，認(rèn)為“人工智能最初可能被作為人類醫(yī)生的輔助來(lái)采納，而不是替代人類醫(yī)生。這將改善醫(yī)生的診斷，但此過(guò)程也為 AI 學(xué)習(xí)提供了有價(jià)值的見(jiàn)解，讓其可以不斷學(xué)習(xí)和改進(jìn)。人類醫(yī)生和 AI 驅(qū)動(dòng)的診斷之間的這種持續(xù)的相互作用將提高系統(tǒng)的準(zhǔn)確性，并且隨著時(shí)間的推移，人類將有足夠的信心完全授權(quán) AI 系統(tǒng)進(jìn)行自主操作?！?/p>

實(shí)際上，這一美好前景已展現(xiàn)出了些許萌芽。如依靠計(jì)算機(jī)視覺(jué)的智能醫(yī)療影像識(shí)別，已經(jīng)隨著深度學(xué)習(xí)等技術(shù)的使用，來(lái)到了“超越人類水平”的臨界點(diǎn)。同時(shí)，2017 年 8 月，國(guó)家衛(wèi)計(jì)委在新聞發(fā)布會(huì)上也傳達(dá)出一個(gè)重要信息：將在已有的 5 類可獨(dú)立設(shè)置的醫(yī)療機(jī)構(gòu)上，再增加 5 類獨(dú)立設(shè)置的醫(yī)療機(jī)構(gòu)類別（包括病理診斷中心、康復(fù)醫(yī)療中心等等）。隨著支持社會(huì)辦醫(yī)的政策落實(shí)，醫(yī)療的“牌照”價(jià)值正在下降，未來(lái)很有可能出現(xiàn)獨(dú)立的 AI 診斷中心，直接為患者提供診斷服務(wù)。