基于視覺Transformer的監(jiān)督視頻異常檢測架構(gòu)進(jìn)行腸息肉檢測的研究

本文提出一種有效的基于視覺Transformer的弱監(jiān)督視頻異常檢測架構(gòu)來實現(xiàn)精準(zhǔn)檢測結(jié)直腸息肉。這也是首篇利用弱監(jiān)督視頻標(biāo)簽來進(jìn)行腸息肉檢測的研究， 文章基于之前數(shù)據(jù)集整理合并提出了一個全新的大型結(jié)直腸視頻數(shù)據(jù)集用于息肉檢測的研究。性能表現(xiàn)SOTA！代碼和數(shù)據(jù)即將開源！

結(jié)直腸鏡是一種有效的檢測手段來早起篩查結(jié)直腸癌。然后， 在腸鏡過程中醫(yī)生往往會遺漏細(xì)小的不引人注意的腸息肉， 給病人的健康留下嚴(yán)重的隱患。所以利用AI系統(tǒng)來輔助醫(yī)生精準(zhǔn)檢測是十分重要的。

比較常用的方法是利用全監(jiān)督的方法來逐幀標(biāo)注。這種方法需要專業(yè)醫(yī)生很多的精力和時間， 所以之前的論文通常利用無監(jiān)督異常檢測來解決。無監(jiān)督異常檢測只需要利用正常數(shù)據(jù)來進(jìn)行訓(xùn)練， 然后通過對比正常和異常的特征區(qū)別達(dá)到檢測腸息肉的功能。這些工作因為沒有利用異常數(shù)據(jù)訓(xùn)練 往往很容易忽略掉很多微笑的或者只有部分可見的腸息肉。所以本文首次提出利用弱監(jiān)督視頻異常檢測的方法來解決這個問題， 即只使用視頻級的標(biāo)注而不需要逐幀標(biāo)注。這樣做大大減少了標(biāo)注的繁瑣過程和時間 并且能夠有效的檢測細(xì)微不引人注意的息肉。

之前的弱監(jiān)督視頻異常檢測方法通常利用multiple instance learning， 即正常視頻中所有幀視為正常幀， 異常視頻內(nèi)至少有一或多幀為異常?；贛IL的方法經(jīng)常很難準(zhǔn)確檢測出異常視頻中哪一幀存在異常， 尤其是當(dāng)異常幀和正常幀很像的時候。

在這篇文章， 我們首次探索了利用弱監(jiān)督異常檢測如何在結(jié)腸鏡視頻中檢測異常幀 通過一個新穎的基于視覺transformer的架構(gòu)。為了evaluate我們方法的準(zhǔn)確性， 我們整理了已知的幾種結(jié)腸鏡數(shù)據(jù)集 整合成了一個大型的視頻結(jié)腸鏡數(shù)據(jù)集來測試弱監(jiān)督和全監(jiān)督視頻幀異常檢測。這個新數(shù)據(jù)集為后面的研究提供一個全新的benchmark去測試和發(fā)展。

實驗結(jié)果

實驗結(jié)果表明，我們的方法在這個全新的結(jié)腸鏡視頻數(shù)據(jù)集上明顯優(yōu)于其他網(wǎng)絡(luò)。例如， 我們的方法超過RTFM和MIST 10%-15% AP， 證明了方法的穩(wěn)定性和準(zhǔn)確性。

下圖可以看出我們方法可以有效的降低正常幀的異常分?jǐn)?shù)并且提高異常幀（帶息肉）的異常分?jǐn)?shù)。