DTG-SSOD：最新半監(jiān)督檢測(cè)框架，Dense Teacher（附論文下載）

發(fā)布人：CV研究院時(shí)間：2022-10-19 來(lái)源：工程師

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對(duì)面交流
  海量資料庫(kù)查詢(xún)

論文地址：https://arxiv.org/pdf/2207.05536.pdf

計(jì)算機(jī)視覺(jué)研究院專(zhuān)欄

作者：Edison_G

“從稀疏到密集”的范式使SSOD的流程復(fù)雜化，同時(shí)忽略了強(qiáng)大的直接、密集的教師監(jiān)督

概述

Mean-Teacher (MT) 方案在半監(jiān)督目標(biāo)檢測(cè) (SSOD) 中被廣泛采用。在MT中，由教師的最終預(yù)測(cè)（例如，在非極大抑制 (NMS) 后處理之后）提供的稀疏偽標(biāo)簽通過(guò)手工制作的標(biāo)簽分配對(duì)學(xué)生進(jìn)行密集監(jiān)督。然而，“從稀疏到密集”的范式使SSOD的流程復(fù)雜化，同時(shí)忽略了強(qiáng)大的直接、密集的教師監(jiān)督。在今天分享中，研究者嘗試直接利用教師的密集指導(dǎo)來(lái)監(jiān)督學(xué)生的訓(xùn)練，即“密集到密集”范式。具體來(lái)說(shuō)，研究者提出了逆NMS聚類(lèi)(INC)和秩匹配(RM)來(lái)實(shí)例化密集監(jiān)督，而無(wú)需廣泛使用的傳統(tǒng)稀疏偽標(biāo)簽。INC引導(dǎo)學(xué)生在NMS中像老師一樣將候選框分組到集群中，這是通過(guò)學(xué)習(xí)在老師的NMS程序中顯示的分組信息來(lái)實(shí)現(xiàn)的。在通過(guò)INC獲得與教師相同的分組方案后，學(xué)生通過(guò)Rank Matching進(jìn)一步模仿教師在聚類(lèi)候選人中的排名分布。通過(guò)提出的INC和RM，將Dense Teacher Guidance集成到半監(jiān)督目標(biāo)檢測(cè)（稱(chēng)為“DTG-SSOD”）中，成功地放棄了稀疏偽標(biāo)簽，并在未標(biāo)記數(shù)據(jù)上實(shí)現(xiàn)了更多信息學(xué)習(xí)。在COCO基準(zhǔn)測(cè)試中，新方法的DTG-SSOD在各種標(biāo)記比率下實(shí)現(xiàn)了最先進(jìn)的性能。例如，在10%的標(biāo)注率下，DTG-SSOD將監(jiān)督基線(xiàn)從26.9提高到35.9mAP，比之前的最佳方法Soft Teacher高19個(gè)百分點(diǎn)。

新框架

教師監(jiān)督信號(hào)的比較：下圖(a)之前的方法對(duì)教師進(jìn)行NMS和分?jǐn)?shù)過(guò)濾以獲得稀疏的偽標(biāo)簽，通過(guò)標(biāo)簽分配進(jìn)一步轉(zhuǎn)換為對(duì)學(xué)生的密集監(jiān)督；下圖(b)提出的DTG-SSOD直接采用教師的密集預(yù)測(cè)作為學(xué)生的密集指導(dǎo)。

Sparse-to-dense ParadigmTask FormulationSSOD的框架如下圖(a)所示。Mean-Teacher方案是以前技術(shù)的常見(jiàn)做法，實(shí)現(xiàn)了端到端的訓(xùn)練，每次訓(xùn)練迭代后通過(guò)EMA從學(xué)生構(gòu)建教師。教師將弱增強(qiáng)（例如翻轉(zhuǎn)和調(diào)整大?。﹫D像作為輸入以生成偽標(biāo)簽，而學(xué)生則應(yīng)用強(qiáng)增強(qiáng)（例如剪切、幾何變換）進(jìn)行訓(xùn)練。強(qiáng)大且適當(dāng)?shù)臄?shù)據(jù)增強(qiáng)起著重要作用，它不僅增加了學(xué)生任務(wù)的難度并緩解了過(guò)度自信的問(wèn)題，而且還使學(xué)生能夠?qū)Ω鞣N輸入擾動(dòng)保持不變，從而實(shí)現(xiàn)魯棒的表征學(xué)習(xí)。

Sparse-to-dense Baseline所有以前的SSOD方法都是基于稀疏到密集的機(jī)制，其中生成帶有類(lèi)別標(biāo)簽的稀疏偽框，以充當(dāng)學(xué)生訓(xùn)練的基本事實(shí)。它帶有基于置信度的閾值，其中僅保留具有高置信度（例如，大于0.9）的偽標(biāo)簽。這使得對(duì)未標(biāo)記數(shù)據(jù)的前景監(jiān)督比對(duì)標(biāo)記數(shù)據(jù)的監(jiān)督要稀疏得多，因此，類(lèi)不平衡問(wèn)題在SSOD中被放大，嚴(yán)重阻礙了檢測(cè)器的訓(xùn)練。

為了緩解這個(gè)問(wèn)題，研究者借鑒了之前工作的一些優(yōu)勢(shì)：Soft Teacher將混合比r設(shè)置為1/4，以便在每個(gè)訓(xùn)練批次中采樣更多未標(biāo)記數(shù)據(jù)，這使得未標(biāo)記數(shù)據(jù)上的前景樣本數(shù)接近標(biāo)記數(shù)據(jù)；Unbiased Teacher用Focal loss代替了交叉熵?fù)p失，從而減少了簡(jiǎn)單示例的梯度貢獻(xiàn)。

這兩個(gè)改進(jìn)，即適當(dāng)?shù)幕旌媳萺(1/4)和Focal loss，都被用于稀疏到稠密的基線(xiàn)和研究者的稠密到稠密的DTG 方法。因?yàn)槔蠋熤惶峁?/span>稀疏偽標(biāo)簽，進(jìn)一步轉(zhuǎn)化為對(duì)學(xué)生訓(xùn)練的密集監(jiān)督，這些方法被稱(chēng)為“稀疏到密集”范式。理論上，新提出的SSOD方法獨(dú)立于檢測(cè)框架，可以適用于單級(jí)和兩級(jí)檢測(cè)器。為了與以前的作品進(jìn)行公平比較，使用Faster RCNN作為默認(rèn)檢測(cè)框架。

實(shí)驗(yàn)

作為表顯示，在完全標(biāo)記數(shù)據(jù)設(shè)置下，新提出的DTG-SSOD大大超過(guò)了以前的方法，超越至少1.2mAP。按照之前的的做法，研究者還對(duì)標(biāo)記數(shù)據(jù)應(yīng)用了弱增強(qiáng)，并獲得了40.9mAP的強(qiáng)監(jiān)督基線(xiàn)。即使基于如此強(qiáng)的基線(xiàn)，DTG-SSOD仍然獲得了+4.8mAP的最大改進(jìn)，達(dá)到了45.7mAP，這驗(yàn)證了新方法在標(biāo)記數(shù)據(jù)量較大時(shí)的有效性。

研究者在30k迭代處采用一個(gè)檢查點(diǎn)進(jìn)行分析。稀疏偽標(biāo)簽提供的學(xué)生訓(xùn)練標(biāo)簽和研究者密集的教師指導(dǎo)進(jìn)行了精心比較。(a)sparse-to dense范式和研究者的dense-to-dense范式為學(xué)生樣本帶來(lái)了不同的訓(xùn)練標(biāo)簽。(b)老師給高質(zhì)量的候選者分配更高的分?jǐn)?shù)，從而保留精確的框。

一些可視化的例子來(lái)展示新提出的方法相對(duì)于傳統(tǒng)的稀疏到密集范式的優(yōu)勢(shì)。(a-b)對(duì)于相同的學(xué)生提案，新的密集到密集范式和傳統(tǒng)的稀疏到密集范式將分配不同的標(biāo)簽。很明顯，新的密集到密集范式可以分配更精確和合理的訓(xùn)練標(biāo)簽。(c)教師比學(xué)生更擅長(zhǎng)對(duì)集群候選者的關(guān)系建模。