大年初一也不忘檢測(cè)新框架！CBNetV2：復(fù)合主干網(wǎng)絡(luò)的目標(biāo)檢測(cè)

現(xiàn)代性能最佳的目標(biāo)檢測(cè)器在很大程度上依賴(lài)于主干網(wǎng)絡(luò)，其進(jìn)步通過(guò)探索更有效的網(wǎng)絡(luò)結(jié)構(gòu)帶來(lái)一致的性能提升。然而，設(shè)計(jì)或搜索新的主干并在ImageNet上對(duì)其進(jìn)行預(yù)訓(xùn)練可能需要大量的計(jì)算資源，這使得獲得更好的檢測(cè)性能成本很高。

論文：

https://arxiv.org/pdf/2107.00420.pdf

1 簡(jiǎn)要

現(xiàn)代性能最佳的目標(biāo)檢測(cè)器在很大程度上依賴(lài)于主干網(wǎng)絡(luò)，其進(jìn)步通過(guò)探索更有效的網(wǎng)絡(luò)結(jié)構(gòu)帶來(lái)一致的性能提升。然而，設(shè)計(jì)或搜索新的主干并在ImageNet上對(duì)其進(jìn)行預(yù)訓(xùn)練可能需要大量的計(jì)算資源，這使得獲得更好的檢測(cè)性能成本很高。

今天分享中，研究者通過(guò)構(gòu)建現(xiàn)有開(kāi)源預(yù)訓(xùn)練主干的組合，提出了一種新的主干網(wǎng)絡(luò)，即 CBNetV2。特別是，CBNetV2 架構(gòu)將多個(gè)相同的主干分組，這些主干通過(guò)復(fù)合連接連接。研究者還為基于CBNet的檢測(cè)器提出了一個(gè)更好的訓(xùn)練策略與輔助監(jiān)督。無(wú)需額外的預(yù)訓(xùn)練，CBNetV2可以集成到主流檢測(cè)器中，包括一級(jí)和兩級(jí)檢測(cè)器，以及基于Anchor和Anchor Free的檢測(cè)器，并在COCO的基線上顯著提高其性能3.0%以上。此外，實(shí)驗(yàn)提供了強(qiáng)有力的證據(jù)，表明復(fù)合主干比預(yù)訓(xùn)練的更廣泛和更深的網(wǎng)絡(luò)更高效和資源友好，包括基于手動(dòng)和基于NAS的網(wǎng)絡(luò)，以及基于CNN和基于Transformer。

2背景

如上圖所示，研究者的解決方案名為Composite Backbone Network V2 (CBNetV2)，將多個(gè)相同的主干網(wǎng)絡(luò)組合在一起。具體而言，并行主干網(wǎng)絡(luò)（稱(chēng)為輔助主干和引導(dǎo)主干）通過(guò)復(fù)合連接連接。在上圖中從左到右，輔助主干中每個(gè)階段的輸出流向其后續(xù)主干的并行和較低級(jí)別的階段。最后，將主干的特征饋送到neck和檢測(cè)頭，用于邊界框回歸和分類(lèi)。與簡(jiǎn)單的網(wǎng)絡(luò)深化或拓寬相反，CBNetV2 整合了多個(gè)主干網(wǎng)絡(luò)的高低層特征，逐漸擴(kuò)大感受野以更高效地進(jìn)行目標(biāo)檢測(cè)。

3 新框架

Same Level Composition (SLC)

一種直觀而簡(jiǎn)單的復(fù)合風(fēng)格是融合來(lái)自主干同一階段的輸出特征。

Adjacent Higher-Level Composition (AHLC)

受特征金字塔網(wǎng)絡(luò)的啟發(fā)，自上而下的pathway引入了空間上更粗糙但語(yǔ)義上更強(qiáng)大的高級(jí)特征，以增強(qiáng)自下而上pathway中的低級(jí)特征。在之前的CBNet中，研究者進(jìn)行了相鄰的高級(jí)組合（AHLC），將前一個(gè)主干的相鄰更高級(jí)別階段的輸出饋送到后續(xù)的主干。

Adjacent Lower-Level Composition (ALLC)

與AHLC不同，研究者引入了一種自下而上的pathway，將前一個(gè)主干的相鄰低級(jí)階段的輸出提供給后續(xù)主干。

Dense Higher-Level Composition (DHLC)

在DenseNet中，每一層都連接到所有后續(xù)層以構(gòu)建綜合特征。受此啟發(fā)，研究者在CBNet架構(gòu)中利用密集復(fù)合連接。

Full-connected Composition (FCC)

與DHLC不同，研究者將輔助主干網(wǎng)絡(luò)的所有階段的特征組合起來(lái)，并將它們饋送到主干中的每個(gè)階段。如上圖e所示，在比較DHLC的情況下，在低層次的情況下添加連接。

新提出的CBNet架構(gòu)（K = 2）與RCNN的展開(kāi)架構(gòu)之間的比較。

CBNetV2的一個(gè)例子如上圖b所示。除了使用主干特征訓(xùn)練檢測(cè)頭1的原始損失外，另一個(gè)檢測(cè)頭2將輔助主干特征作為輸入來(lái)產(chǎn)生輔助監(jiān)督。請(qǐng)注意，檢測(cè)頭1和檢測(cè)頭2是權(quán)重共享。輔助監(jiān)督有助于優(yōu)化學(xué)習(xí)過(guò)程，而開(kāi)始的主干原始損失承擔(dān)了最多的責(zé)任。 研究者增加權(quán)重來(lái)平衡助理監(jiān)督，其中總損失表示為：

4 實(shí)驗(yàn)

新提出的方法與最先進(jìn)的檢測(cè)器在COCO目標(biāo)檢測(cè)和實(shí)例分割方面的比較結(jié)果。

Visualization of class activation APping, using ResNet50 and Dual-ResNet50 as backbone. The baseline detector is Faster R-CNN ResNet50 with 800 × 500 input size. For each backbone, we visualize the stage 2 viewed in color.