目標(biāo)檢測新框架CBNet | 多Backbone網(wǎng)絡(luò)結(jié)構(gòu)用于目標(biāo)檢測

前言  在現(xiàn)有的基于CNN的檢測器中，骨干網(wǎng)絡(luò)是基本特征提取的重要組成部分，檢測器的性能在很大程度上取決于它。 

在今天分享中，作者的目標(biāo)是通過建立一個更強(qiáng)大的骨干網(wǎng)絡(luò)，如ResNet和ResNeXt，以獲得更好的檢測性能。具體來說，提出了一種新的策略，通過相鄰骨干之間的復(fù)合連接來組裝多個相同的骨干，以形成一個更強(qiáng)大的骨干稱為復(fù)合骨干網(wǎng)絡(luò)(CBNet)。 通過這種方式，CBNet迭代地將前一個骨干的輸出特征，即高級特征，作為輸入特征的一部分，以逐階段的方式提供給后續(xù)骨干，最后使用最后一個骨干的特征映射（稱為領(lǐng)導(dǎo)骨干）進(jìn)行目標(biāo)檢測。 最后證明CBNet可以非常容易地集成到大多數(shù)先進(jìn)的檢測器中，并顯著提高它們的性能。

CBNet通過相鄰骨干的并行階段之間的復(fù)合連接組合多個相同的骨干(助理骨干和領(lǐng)導(dǎo)骨干）。通過這種方式，CBNet以一種逐階段的方式迭代地將骨干的輸出特征作為輸入特征的一部分反饋給后續(xù)骨干，最后輸出最后一個骨干的特征，即用于對象檢測的領(lǐng)導(dǎo)骨干。紅色箭頭表示復(fù)合連接。

背景

Recurrent Convolution Neural Network：

如上圖所示，所提出的復(fù)合骨干網(wǎng)絡(luò)體系結(jié)構(gòu)與未展開的遞歸卷積神經(jīng)網(wǎng)絡(luò)(RCNN)體系結(jié)構(gòu)有點相似。然而，所提出的CBNet與該網(wǎng)絡(luò)有很大的不同。

首先，如上圖所示，CBNet的體系結(jié)構(gòu)實際上是完全不同的，特別是對于并行階段之間的連接。第二，在RCNN中，不同時間步驟的并行階段共享參數(shù)，而在所提出的CBNet中，骨干的并行階段不共享參數(shù)。

此外，如果我們使用RCNN作為檢測器的主干，我們需要在Image Net上對其進(jìn)行預(yù)訓(xùn)練。然而，當(dāng)我們使用CBNet時，我們不需要對其進(jìn)行預(yù)訓(xùn)練。

Architecture of CBNet

所提出的CBNet的體系結(jié)構(gòu)由K個相同的骨干(K≥2)組成)。特別是，為了簡單起見，將K=2的情況(如上圖a所示)稱為雙骨干(DB)，K=3的情況稱為三骨干(TB)。如下圖所示，CBNet體系結(jié)構(gòu)包含兩種類型的骨干：領(lǐng)導(dǎo)骨干BK和助理骨干B1、B2、...、BK?1。每個骨干包括L級(一般為L級=5級)，每個級由幾個具有相同大小特征映射的卷積層組成。骨干的第l階段實現(xiàn)了一個非線性變換Fl（·）。

在傳統(tǒng)的只有一個骨干的卷積網(wǎng)絡(luò)中，第l階段以前一個l?第1階段的輸出(表示為xl?1)作為輸入，可以表示為：

CBNet就不完全于此：

 此外，CBNet中的B1、B2、...、BK?1可以采用各種骨干結(jié)構(gòu)，并且可以直接從預(yù)先訓(xùn)練好的模型中初始化單個骨干。

Other possible composite styles

實驗 

CBNet (Dual-ResNet101) 與ResNet101可視化比較

COCO數(shù)據(jù)集上檢測器的mAP增加了約1.5%至3%，通過簡單地將CBNet集成到Cascade Mask R-CNN基線中，在COCO上獲得了一個新的最先進(jìn)的結(jié)果，mAP為53.3。

同時，實驗結(jié)果表明，提高實例分割性能也是非常有效的。額外的研究進(jìn)一步證明了所提出的結(jié)構(gòu)和復(fù)合連接模塊的有效性。