本文提出一種有效的基于視覺(jué)Transformer的弱監(jiān)督視頻異常檢測(cè)架構(gòu)來(lái)實(shí)現(xiàn)精準(zhǔn)檢測(cè)結(jié)直腸息肉。這也是首篇利用弱監(jiān)督視頻標(biāo)簽來(lái)進(jìn)行腸息肉檢測(cè)的研究， 文章基于之前數(shù)據(jù)集整理合并提出了一個(gè)全新的大型結(jié)直腸視頻數(shù)據(jù)集用于息肉檢測(cè)的研究。性能表現(xiàn)SOTA！代碼和數(shù)據(jù)即將開(kāi)源！

結(jié)直腸鏡是一種有效的檢測(cè)手段來(lái)早起篩查結(jié)直腸癌。然后， 在腸鏡過(guò)程中醫(yī)生往往會(huì)遺漏細(xì)小的不引人注意的腸息肉， 給病人的健康留下嚴(yán)重的隱患。所以利用AI系統(tǒng)來(lái)輔助醫(yī)生精準(zhǔn)檢測(cè)是十分重要的。

比較常用的方法是利用全監(jiān)督的方法來(lái)逐幀標(biāo)注。這種方法需要專業(yè)醫(yī)生很多的精力和時(shí)間， 所以之前的論文通常利用無(wú)監(jiān)督異常檢測(cè)來(lái)解決。無(wú)監(jiān)督異常檢測(cè)只需要利用正常數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練， 然后通過(guò)對(duì)比正常和異常的特征區(qū)別達(dá)到檢測(cè)腸息肉的功能。這些工作因?yàn)闆](méi)有利用異常數(shù)據(jù)訓(xùn)練 往往很容易忽略掉很多微笑的或者只有部分可見(jiàn)的腸息肉。所以本文首次提出利用弱監(jiān)督視頻異常檢測(cè)的方法來(lái)解決這個(gè)問(wèn)題， 即只使用視頻級(jí)的標(biāo)注而不需要逐幀標(biāo)注。這樣做大大減少了標(biāo)注的繁瑣過(guò)程和時(shí)間 并且能夠有效的檢測(cè)細(xì)微不引人注意的息肉。

之前的弱監(jiān)督視頻異常檢測(cè)方法通常利用multiple instance learning， 即正常視頻中所有幀視為正常幀， 異常視頻內(nèi)至少有一或多幀為異常。基于MIL的方法經(jīng)常很難準(zhǔn)確檢測(cè)出異常視頻中哪一幀存在異常， 尤其是當(dāng)異常幀和正常幀很像的時(shí)候。

在這篇文章， 我們首次探索了利用弱監(jiān)督異常檢測(cè)如何在結(jié)腸鏡視頻中檢測(cè)異常幀 通過(guò)一個(gè)新穎的基于視覺(jué)transformer的架構(gòu)。為了evaluate我們方法的準(zhǔn)確性， 我們整理了已知的幾種結(jié)腸鏡數(shù)據(jù)集 整合成了一個(gè)大型的視頻結(jié)腸鏡數(shù)據(jù)集來(lái)測(cè)試弱監(jiān)督和全監(jiān)督視頻幀異常檢測(cè)。這個(gè)新數(shù)據(jù)集為后面的研究提供一個(gè)全新的benchmark去測(cè)試和發(fā)展。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，我們的方法在這個(gè)全新的結(jié)腸鏡視頻數(shù)據(jù)集上明顯優(yōu)于其他網(wǎng)絡(luò)。例如， 我們的方法超過(guò)RTFM和MIST 10%-15% AP， 證明了方法的穩(wěn)定性和準(zhǔn)確性。

下圖可以看出我們方法可以有效的降低正常幀的異常分?jǐn)?shù)并且提高異常幀（帶息肉）的異常分?jǐn)?shù)。