AI基礎(chǔ)模型提升癌癥診斷精確度,實現(xiàn)個性化治療方案定制

斯坦福大學(xué)研究人員正在通過一項新研究和一個新 AI 模型簡化癌癥診斷、治療規(guī)劃和預(yù)后預(yù)測。這項名為“多模態(tài)統(tǒng)一掩碼建模 Transformer”（MUSK）的研究旨在推進精準腫瘤學(xué)的發(fā)展，以便根據(jù)每位患者特有的醫(yī)療數(shù)據(jù)為其量身定制治療方案。

該研究的資深學(xué)者、放射腫瘤學(xué)副教授李瑞江表示：“多模態(tài)基礎(chǔ)模型是醫(yī)學(xué) AI 研究的一個新領(lǐng)域。最近已經(jīng)出現(xiàn)了一些醫(yī)學(xué)領(lǐng)域的視覺語言基礎(chǔ)模型，尤其是病理學(xué)領(lǐng)域，但當前研究使用的仍是現(xiàn)有的基礎(chǔ)模型，這些模型需要使用配對圖像-文本數(shù)據(jù)進行預(yù)訓(xùn)練。盡管在付出巨大的努力后，已整理出 100 萬對病理圖像-文本，但仍不足以完全覆蓋整個疾病譜的多樣性。”

腫瘤學(xué)家在考慮患者病情和規(guī)劃最佳治療方案時需要參考許多數(shù)據(jù)來源。但整合和解釋復(fù)雜的醫(yī)療數(shù)據(jù)對于醫(yī)生和 AI 模型來說仍然十分困難。最近發(fā)表在《自然》上的這項研究解釋了 MUSK 如何幫助醫(yī)生做出更加準確、明智的決定并解決醫(yī)療 AI 領(lǐng)域這一長期存在的難題。

通過使用深度學(xué)習(xí)，MUSK 可以處理臨床文本數(shù)據(jù)（例如醫(yī)生筆記）和病理圖像（例如組織學(xué)切片），識別醫(yī)生可能無法立刻察覺的模式，從而獲得更好的臨床洞察。

為此，MUSK 使用了一個兩階段多模態(tài) Transformer 模型。該模型首先學(xué)習(xí)大量未配對的數(shù)據(jù)，從文本和圖像中提取有用的特征，然后通過連接成對的圖像和文本數(shù)據(jù)調(diào)整對數(shù)據(jù)的理解。這有助于它識別不同類型的癌癥、預(yù)測生物標志物并提出有效的治療方案。

研究人員在該領(lǐng)域最大的數(shù)據(jù)集之一上對該 AI 模型進行了預(yù)訓(xùn)練，共使用了來自 11577 名患者的 5000 萬張病理圖像，涉及 33 種腫瘤類型和 10 億病理相關(guān)文本數(shù)據(jù)。

據(jù)該研究的第一作者、放射物理學(xué)博士后 Jinxi Xiang 介紹，此次預(yù)訓(xùn)練歷時 10 天，使用了 8 個節(jié)點共計 64 顆 NVIDIA V100 Tensor Core GPU 幫助 MUSK 高效處理海量病理圖像和臨床文本。二次預(yù)訓(xùn)練階段和消融研究使用了 NVIDIA 80 gb Tensor Core GPU。研究人員還使用 NVIDIA RTX GPU 評估下游任務(wù)，并使用NVIDIA CUDA和NVIDIA cuDNN庫加速整個框架以提高性能。

在 23 項病理學(xué)基準測試中，MUSK 在幾個關(guān)鍵領(lǐng)域的表現(xiàn)優(yōu)于現(xiàn)有的 AI 模型。該模型擅長將病理圖像與相關(guān)醫(yī)學(xué)文本進行匹配，從而更有效地收集相關(guān)患者信息。它還能解釋病理學(xué)相關(guān)問題，例如識別癌變區(qū)域或預(yù)測生物標志物的存在，準確率達到 73%。

圖 1 MUSK 可以執(zhí)行的視覺問題解答示例

MUSK 可將乳腺癌、肺癌和結(jié)直腸癌等癌癥亞型的檢測和分類的準確率提高 10%，為早期診斷和治療規(guī)劃提供了幫助。它還能檢測出乳腺癌生物標記物，AUC（一項衡量模型準確性的指標）為 83%。

此外，MUSK 預(yù)測癌癥生存結(jié)果的準確率為 75%，預(yù)測肺癌和胃食管癌對免疫療法反應(yīng)的準確率為 77%，準確率明顯高于通過標準臨床生物標志物進行預(yù)測，該預(yù)測的準確率僅為60-65%。

李瑞江表示：“整合了多模態(tài)數(shù)據(jù)的 AI 模型明顯優(yōu)于那些僅基于圖像或文本數(shù)據(jù)的模型，這凸顯了多模態(tài)方法的強大威力。MUSK 的真正價值在于它能夠利用大規(guī)模的非配對圖像和文本數(shù)據(jù)進行預(yù)訓(xùn)練，相比當前需要配對數(shù)據(jù)的模型有了明顯的提升?！?/p>

這項研究的核心優(yōu)勢在于只需少量訓(xùn)練就能適應(yīng)不同的臨床環(huán)境。這可以提高腫瘤學(xué)工作流的效率，幫助醫(yī)生更快地診斷癌癥，同時為患者量身定制療效更好的治療方案。

該研究組之后的工作重點是在不同機構(gòu)、不同人群的患者隊列以及治療決策等高風(fēng)險用途中驗證該模型。研究人員表示要獲得監(jiān)管部門的批準，還需要在臨床試驗中進行預(yù)期驗證。

李瑞江表示：“我們還在努力將數(shù)字病理學(xué)的 MUSK 方法擴展到其他類型的數(shù)據(jù)，例如放射學(xué)圖像和基因組數(shù)據(jù)等?！?/p>

現(xiàn)在可在 GitHub 上獲得該研究組的研究成果，包括安裝說明、模型權(quán)重、評估代碼和樣本數(shù)據(jù)：

https://github.com/lilab-stanford/ MUSK