弱監(jiān)督學(xué)習(xí)解鎖醫(yī)學(xué)影像洞察力

人工智能 (AI) 通過(guò)比人類專家更快、更準(zhǔn)確地檢測(cè)和測(cè)量異常情況，從圖像中進(jìn)行先進(jìn)的醫(yī)學(xué)診斷。構(gòu)建適用于人群的高質(zhì)量 AI 模型對(duì)于改善患者預(yù)后和個(gè)性化治療至關(guān)重要。然而，人工智能模型最近需要大量數(shù)據(jù)，以及機(jī)器可以從中學(xué)習(xí)的復(fù)雜數(shù)據(jù)集標(biāo)簽。

今天，被稱為弱監(jiān)督學(xué)習(xí)的深度學(xué)習(xí) (DL) 的一個(gè)分支正在幫助醫(yī)生通過(guò)減少對(duì)完整、準(zhǔn)確和準(zhǔn)確數(shù)據(jù)標(biāo)簽的需求，以更少的努力獲得更多的洞察力。弱監(jiān)督學(xué)習(xí)通過(guò)利用更容易獲得的粗略標(biāo)簽（例如在圖像級(jí)別而不是圖像中感興趣的分割）來(lái)工作，并允許使用預(yù)先訓(xùn)練的模型和常見(jiàn)的可解釋性方法。在下文中，我們將研究管理數(shù)據(jù)如何在弱監(jiān)督學(xué)習(xí)中發(fā)揮作用。

標(biāo)記在醫(yī)學(xué)成像中很困難

標(biāo)記圖像在醫(yī)療行業(yè)中尤其具有挑戰(zhàn)性。首先，標(biāo)記數(shù)據(jù)既有限又難以獲得，因?yàn)獒t(yī)學(xué)圖像和有關(guān)結(jié)果/結(jié)果的數(shù)據(jù)通常存儲(chǔ)在單獨(dú)的系統(tǒng)中。例如，來(lái)自計(jì)算機(jī)斷層掃描 (CT) 或磁共振成像 (MRI) 的圖像可能在醫(yī)院數(shù)據(jù)中可用，但活檢或腫瘤切除的結(jié)果通常存儲(chǔ)在病理實(shí)驗(yàn)室——通常是醫(yī)院外的私人診所。盡管可以協(xié)調(diào)某些數(shù)據(jù)的數(shù)據(jù)和標(biāo)簽，但訪問(wèn)和匯總數(shù)據(jù)可能會(huì)變得非常耗時(shí)，尤其是在涉及多個(gè)私人診所時(shí)。

此外，在圖像中發(fā)現(xiàn)和標(biāo)記疾病及其進(jìn)展的跡象（稱為生物標(biāo)志物）一直非常耗時(shí)且復(fù)雜，因?yàn)楸仨氈饌€(gè)像素地標(biāo)記數(shù)據(jù)，從而產(chǎn)生數(shù)千個(gè)標(biāo)簽。在期望算法分割圖像區(qū)域或產(chǎn)生區(qū)域的特定定位（例如病變或手術(shù)邊界）的應(yīng)用中尤其如此。這通常成本高昂，因?yàn)橥ǔＰ枰獙I(yè)知識(shí)，并且需要三個(gè)維度的標(biāo)簽，如 MRI 和 CT 圖像體積。將這兩個(gè)缺點(diǎn)加在一起，為成像數(shù)據(jù)生成標(biāo)簽就成了一項(xiàng)昂貴的工作。這也限制了能夠外包標(biāo)簽過(guò)程的可能性。

由于需要專業(yè)知識(shí)，標(biāo)簽的質(zhì)量可能會(huì)有所不同，并會(huì)影響 DL 模型的最終性能。標(biāo)簽的準(zhǔn)確性是這里的一個(gè)問(wèn)題。通常，經(jīng)驗(yàn)不足的放射科醫(yī)生或住院醫(yī)師必須對(duì)數(shù)據(jù)進(jìn)行注釋以進(jìn)行培訓(xùn)。與具有數(shù)十年工作經(jīng)驗(yàn)的臨床醫(yī)生相比，結(jié)果并不準(zhǔn)確。讀者間和讀者內(nèi)的可變性也發(fā)揮了作用。前者描述了讀者之間的注釋將如何略有不同。后者指的是當(dāng)單個(gè)讀者要求在兩個(gè)不同的時(shí)間點(diǎn)分割圖像時(shí)，也會(huì)產(chǎn)生略有不同的結(jié)果。

最后，人工標(biāo)記也會(huì)限制結(jié)果。機(jī)器學(xué)習(xí)的一個(gè)好處是該模型可以得出人類永遠(yuǎn)無(wú)法獲得的見(jiàn)解，并且將標(biāo)簽限制在人類輸入的內(nèi)容上可能會(huì)限制結(jié)果。例如，人工智能只會(huì)學(xué)習(xí)復(fù)制人類對(duì)某些任務(wù)的想法，這意味著它們可以無(wú)意中復(fù)制特定人類的偏見(jiàn)。此外，輸入數(shù)據(jù)的其他區(qū)域中的其他特征可以預(yù)測(cè)但被丟棄，因?yàn)樗鼈儾恢苯勇湓谶x定的感興趣區(qū)域內(nèi)。例如，疾病跡象可能在周?chē)M織或附近的不同器官中很明顯。

利用弱監(jiān)督學(xué)習(xí)

在這些情況下，使用更粗略的標(biāo)簽通常更有益，例如圖像是否包含癌癥或其他感興趣的疾病，并允許模型找到最具辨別力的特征（圖 1）。這就是弱監(jiān)督學(xué)習(xí)的用武之地。

圖 1：使用弱監(jiān)督學(xué)習(xí)的自動(dòng)注釋示例，其中 AI 發(fā)現(xiàn)了病理學(xué)家未檢測(cè)到的預(yù)測(cè)特征。（來(lái)源：病理信息學(xué)團(tuán)隊(duì)，RIKEN 高級(jí)智能項(xiàng)目中心）

弱監(jiān)督學(xué)習(xí)描述了 DL 的一個(gè)分支，旨在減少生成性能良好的 DL 模型所需的標(biāo)簽數(shù)量或詳細(xì)程度。這種方法可以大致分為三大類：不完整、不準(zhǔn)確和不準(zhǔn)確的標(biāo)簽。此處使用“大致”一詞是因?yàn)榭梢栽趩蝹€(gè)數(shù)據(jù)集中使用多種標(biāo)記方法，并且弱監(jiān)督標(biāo)記旨在幫助根據(jù)需要進(jìn)行任何組合：

當(dāng)數(shù)據(jù)集的一部分被標(biāo)記時(shí)，通常會(huì)出現(xiàn)不完整的標(biāo)簽，而其余部分則沒(méi)有。

不精確的標(biāo)簽包括使用圖像的整體結(jié)果而不需要分割特定的感興趣區(qū)域。

不準(zhǔn)確的標(biāo)簽，源于人類缺乏專業(yè)知識(shí)以及某些疾病指標(biāo)之間的模糊或不確定性。

有趣的是，如果可以使用更粗略、更容易獲得的標(biāo)簽來(lái)產(chǎn)生良好的結(jié)果，那么不精確的標(biāo)簽可能比不完整或不準(zhǔn)確的標(biāo)簽更有用。不精確的標(biāo)簽更容易正確，因?yàn)樗鼈儾恍枰c其他標(biāo)簽相同的詳細(xì)程度，而且它們通常更容易獲得，例如從報(bào)告中提取癌癥階段作為標(biāo)簽，以指示掃描中有癌癥作為與手動(dòng)突出顯示 3D 成像上的癌變區(qū)域相反。對(duì)于不精確的標(biāo)簽，數(shù)據(jù)集可能會(huì)有更多可用的標(biāo)簽，并且準(zhǔn)確度更高。特別是，這減少了對(duì)高水平專業(yè)知識(shí)的需求來(lái)突出所有相關(guān)像素。

在最常見(jiàn)的醫(yī)學(xué)成像用例（例如檢測(cè)和定位感興趣區(qū)域）中利用此類不精確標(biāo)簽的流行方法使用兩步過(guò)程：

主干，例如訓(xùn)練 DL 模型以預(yù)測(cè)由不精確標(biāo)簽描述的類。

一旦開(kāi)發(fā)用于預(yù)測(cè)特定掃描，使用像素歸因方法（也稱為顯著性或可解釋性方法）來(lái)突出模型決策的最相關(guān)區(qū)域。

圖 2說(shuō)明了不同的基于梯度的像素歸因方法的示例。

圖 2：兩個(gè)輸入圖像（金魚(yú)和熊）以及可用于在弱監(jiān)督學(xué)習(xí)期間執(zhí)行分割的基于梯度的像素歸因方法示例。（來(lái)源：Github 上的 TF Keras Vis）

卷積神經(jīng)網(wǎng)絡(luò)作為主干

由于醫(yī)療用例經(jīng)常使用成像數(shù)據(jù)，因此卷積神經(jīng)網(wǎng)絡(luò) (CNN) 是用作弱監(jiān)督學(xué)習(xí)基礎(chǔ)的主要 DL 框架也就不足為奇了。CNN 通過(guò)學(xué)習(xí)減少醫(yī)學(xué)掃描中的數(shù)百萬(wàn)像素來(lái)工作——通常將 3D 體積減少為低維表示——然后將其映射到類標(biāo)簽。

在弱監(jiān)督學(xué)習(xí)中，可以組合方法。例如，可以在您的數(shù)據(jù)集上訓(xùn)練一個(gè)新網(wǎng)絡(luò)（這提供了其他類似數(shù)據(jù)源的好處）。預(yù)訓(xùn)練的網(wǎng)絡(luò)可用于對(duì)新任務(wù)執(zhí)行遷移學(xué)習(xí)。例如，ResNet50 和 VGG16 是在日常生活中發(fā)現(xiàn)的數(shù)百萬(wàn)張圖像上訓(xùn)練的兩種 CNN 架構(gòu)。盡管它們沒(méi)有在醫(yī)學(xué)圖像上進(jìn)行過(guò)訓(xùn)練，但它們?nèi)匀缓苡杏茫驗(yàn)樵谀Ｐ偷脑缙趯又袑W(xué)習(xí)到的卷積濾波器往往是通用特征，例如線條、形狀和紋理，這對(duì)醫(yī)學(xué)成像很有用。

使用這些模型之一進(jìn)行遷移學(xué)習(xí)就像移除最終的類預(yù)測(cè)層并使用代表新醫(yī)學(xué)成像任務(wù)的類的層重新初始化它一樣簡(jiǎn)單。盡管最終目標(biāo)是獲得突出圖像中相關(guān)對(duì)象和感興趣區(qū)域的輸出，但第一步只是首先預(yù)測(cè)圖像中是否存在這些感興趣區(qū)域。

弱監(jiān)督本地化的 AI 可解釋性

一旦 DL 主干經(jīng)過(guò)訓(xùn)練并且可以準(zhǔn)確地預(yù)測(cè)感興趣的類別，下一步將是使用眾多 AI 可解釋性方法中的一種來(lái)生成感興趣區(qū)域的分割。開(kāi)發(fā)這些可解釋性方法（也稱為像素歸因方法）是為了深入了解深度學(xué)習(xí)模型在做出特定預(yù)測(cè)時(shí)在圖像中查看的內(nèi)容。輸出是某種形式的可視化——通常稱為顯著性圖——可以根據(jù)最終目標(biāo)以幾種不同的方式計(jì)算。

最流行的方法之一是使用基于梯度的顯著圖。在其核心，這涉及進(jìn)行輸出預(yù)測(cè)并檢查構(gòu)成該輸出的所有神經(jīng)元。根據(jù)方法的不同，這種檢查可以一直追溯到第一個(gè)輸入層——Vanilla Gradients?；蛘咚梢酝Ｖ乖谏院蟮哪硞€(gè)層，例如神經(jīng)網(wǎng)絡(luò)架構(gòu)中的最后一個(gè)卷積層——GradCAM（圖 3）。其他變體做不同的事情，例如產(chǎn)生更平滑的感興趣區(qū)域，改善簡(jiǎn)單變體的限制，或者圍繞所需特征生成更緊密的分割。

圖 3：GradCAM 是一種 ML 可解釋性方法，可用于在弱監(jiān)督學(xué)習(xí)中分割特征，它采用與最后一個(gè)卷積層有關(guān)的輸出類的梯度。（來(lái)源：麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的 Zhou 等人）

結(jié)論

直到最近，識(shí)別醫(yī)學(xué)圖像中的生物標(biāo)志物還需要大量復(fù)雜標(biāo)記的成像數(shù)據(jù)。然而，弱監(jiān)督學(xué)習(xí)等技術(shù)減少了對(duì)完整、準(zhǔn)確和準(zhǔn)確的數(shù)據(jù)標(biāo)簽的需求，并減少了在時(shí)間和專業(yè)知識(shí)方面成本太高而無(wú)法獲得的洞察力。弱監(jiān)督學(xué)習(xí)通過(guò)利用更容易獲得的粗標(biāo)簽來(lái)工作——例如在圖像級(jí)別而不是圖像中感興趣的分割。它允許重復(fù)使用預(yù)訓(xùn)練的 CNN 模型，然后使用常見(jiàn)的可解釋性方法根據(jù)預(yù)測(cè)的類突出顯示感興趣的區(qū)域。這兩點(diǎn)允許在沒(méi)有廣泛的像素級(jí)注釋的情況下為各種應(yīng)用程序?qū)︶t(yī)學(xué)成像數(shù)據(jù)進(jìn)行訓(xùn)練的模型。

編輯6.20
審核編輯 黃昊宇