通用AI大模型Segment Anything在醫(yī)學(xué)影像分割的性能究竟如何？

近半年來，ChatGPT、DALL·E等引發(fā)了大規(guī)?；A(chǔ)AI模型的狂潮。4月初，Meta AI 發(fā)布第一個(gè)用于圖像分割的大規(guī)?；A(chǔ)模型Segment Anything Model (SAM)。SAM最大的亮點(diǎn)是它對(duì)未知的數(shù)據(jù)集和任務(wù)具有良好的零樣本（zero-shot）分割性能。分割過程可全自動(dòng)（Everything模式）或由不同的手工提示（Prompt模式）驅(qū)動(dòng)，例如，文字、點(diǎn)和方框。

雖然SAM在各種自然圖像分割任務(wù)上取得了令人印象深刻的結(jié)果，但醫(yī)學(xué)圖像分割由于多樣的成像模式、精細(xì)的解剖結(jié)構(gòu)、不明確且復(fù)雜的邊界以及廣泛的物體尺度等而具有極大的挑戰(zhàn)性，其在大型醫(yī)學(xué)影像數(shù)據(jù)集上的表現(xiàn)還有待驗(yàn)證。深圳大學(xué)生物醫(yī)學(xué)工程學(xué)院倪東教授智能超聲團(tuán)隊(duì)聯(lián)合蘇黎世聯(lián)邦理工學(xué)院、深圳市人民醫(yī)院、浙江大學(xué)和深圳度影醫(yī)療科技等單位整理了一個(gè)有55.3萬(wàn)張圖像，包含16種影像模態(tài)、68種生物醫(yī)學(xué)領(lǐng)域分割目標(biāo)的超大規(guī)模醫(yī)學(xué)影像分割數(shù)據(jù)集COSMOS 553K，并基于該數(shù)據(jù)集率先對(duì)SAM進(jìn)行了全面、多角度、大規(guī)模的細(xì)致評(píng)估，旨在促進(jìn)醫(yī)學(xué)影像分析的發(fā)展，并回答一個(gè)重要問題：SAM對(duì)醫(yī)學(xué)影像分割的性能究竟如何？數(shù)據(jù)集展示

為了全面評(píng)估分析SAM在醫(yī)學(xué)影像分割上的表現(xiàn)，團(tuán)隊(duì)收集并標(biāo)準(zhǔn)化了52個(gè)公共數(shù)據(jù)集，最終整理構(gòu)建了一個(gè)包含16種影像模態(tài)和68種生物醫(yī)學(xué)領(lǐng)域分割目標(biāo)（表1）的大型醫(yī)學(xué)影像分割數(shù)據(jù)集COSMOS 553K，數(shù)據(jù)集的展示見圖1，統(tǒng)計(jì)信息見圖2。

表1 COSMOS 553K包含的分割目標(biāo)。H：頭頸部；C：胸部；A：腹部；P：盆部；B：骨頭；O：其它。

圖1 COSMOS 553K涵蓋了大多數(shù)醫(yī)學(xué)影像模態(tài)和生物醫(yī)學(xué)領(lǐng)域分割目標(biāo)。例如，腦腫瘤、眼底血管、甲狀腺結(jié)節(jié)、脊柱、肺、心臟、腹部器官或腫瘤、細(xì)胞、息肉和手術(shù)儀器等。人體圖像來自Freepik，作者為brgfx(網(wǎng)址https://www.freepik.com/free-vector/anatomical-structure-human-body 27539420.htm)。

圖2 COSMOS 553K的統(tǒng)計(jì)信息。(a)收集到的公開數(shù)據(jù)集處理后的數(shù)據(jù)量；(b)目標(biāo)類別的直方圖分布；(c)影像模態(tài)的直方圖分布；(d)圖像分辨率的直方圖分布。 方法展示

SAM提供不同類型的分割提示Prompt，包括點(diǎn)和方框等。點(diǎn)的提示包括表示前景的正樣本和表示背景的負(fù)樣本點(diǎn)。方框表示需要分割的物體的區(qū)域。我們的測(cè)試策略包括Everything模式：自動(dòng)分割(S1H,S1B)以及Prompt模式：?jiǎn)蝹€(gè)正樣本點(diǎn)(S2)、五個(gè)正樣本點(diǎn)(S3)、五個(gè)正樣本點(diǎn)和五個(gè)負(fù)樣本點(diǎn)(S4)、單個(gè)方框(S5)、單個(gè)方框和單個(gè)正樣本點(diǎn)(S6)，圖3展示了我們?cè)O(shè)計(jì)的SAM測(cè)試框架。

圖3 本研究設(shè)計(jì)的SAM詳細(xì)測(cè)試框架。 結(jié)果分析

本研究全面地評(píng)估了SAM的各種模式在大規(guī)模、多樣化的醫(yī)學(xué)影像數(shù)據(jù)集上的分割性能，DICE指標(biāo)評(píng)估結(jié)果如圖4所示。

圖4 不同測(cè)試策略的DICE箱線圖。從上到下：S1H、S2、S3、S4、S5、S6。 基于實(shí)驗(yàn)分析，我們的主要結(jié)論如下：

Everything模式不適用于大多數(shù)醫(yī)學(xué)影像分割任務(wù)。在這種模式下，SAM對(duì)醫(yī)學(xué)分割目標(biāo)的感知能力較差，會(huì)輸出大量的假陽(yáng)性預(yù)測(cè)掩膜（圖5）。

在Everything模式下，作為提示的網(wǎng)格采樣點(diǎn)數(shù)量會(huì)在一定程度上影響分割性能，如圖6所示。這是一個(gè)分割性能和測(cè)試效率的權(quán)衡。

在Prompt模式下，加入更多前景點(diǎn)可顯著提高SAM的分割結(jié)果。但醫(yī)學(xué)影像中的前景和背景很容易混淆，隨機(jī)加入負(fù)樣本點(diǎn)可能會(huì)引起分割性能下降。此外，方框提示（S5）包含豐富的物體位置信息。因此，在我們的研究中，方框提示在大多數(shù)醫(yī)學(xué)分割任務(wù)中比點(diǎn)提示表現(xiàn)好。在目前的研究中，混合策略（同時(shí)加入點(diǎn)提示和方框提示）的性能沒有明顯提升。這可能與SAM對(duì)混合提示的編碼能力有關(guān)。圖7和圖8展示了SAM在各種測(cè)試策略下的可視化結(jié)果。

分割目標(biāo)的不同屬性可能影響SAM對(duì)醫(yī)學(xué)分割目標(biāo)的感知能力。特別是，SAM可能會(huì)對(duì)具有復(fù)雜形狀、小面積或低對(duì)比度的目標(biāo)分割效果不好。圖9展示了DICE與目標(biāo)的不同屬性之間的關(guān)系。

圖5 Everything模式的可視化結(jié)果。

圖6 Everything模式下網(wǎng)格采樣點(diǎn)數(shù)量對(duì)分割性能的影響。

圖7 典型的SAM良好案例。

圖8 典型的SAM失敗案例。

圖9 DICE與目標(biāo)不同屬性的散點(diǎn)圖。 總的來說，盡管SAM有可能成為一個(gè)通用的醫(yī)學(xué)影像分割模型，但它在醫(yī)學(xué)影像分割任務(wù)中的表現(xiàn)目前還不穩(wěn)定。因此，未來的研究重點(diǎn)應(yīng)該在如何有效地使用少量醫(yī)學(xué)影像來微調(diào)SAM以提高模型的可靠性，搭建屬于醫(yī)學(xué)影像的Segment Anything模型。此外，拓展3D-SAM, 并探索其對(duì)三維容積數(shù)據(jù)的分割性能也是一個(gè)有趣的方向。我們希望這份報(bào)告能較為詳盡地幫助讀者和社區(qū)更好地了解SAM在醫(yī)學(xué)影像分割中的性能優(yōu)劣，并最終促進(jìn)新一代醫(yī)學(xué)影像分割基礎(chǔ)大模型的發(fā)展。 真誠(chéng)感謝所有公開數(shù)據(jù)集的組織者和所有者的開源貢獻(xiàn)，我們也將籌備開源所整理的數(shù)據(jù)集，以促進(jìn)領(lǐng)域和社區(qū)發(fā)展。同時(shí)，也非常感謝Meta AI公開發(fā)布了SAM的源代碼。 源碼鏈接：https://github.com/facebookresearch/segment-anything

審核編輯 ：李倩