CVPR小樣本檢測(cè)：蒸餾&上下文助力小樣本檢測(cè)

目標(biāo)檢測(cè)現(xiàn)在的框架越來(lái)越多，我們“計(jì)算機(jī)視覺(jué)研究院”最近也分享了眾多的目標(biāo)檢測(cè)框架！今天我們繼續(xù)分享一個(gè)最新的檢測(cè)框架——YOLOR。

論文：https://arxiv.org/pdf/2103.17115.pdf
開(kāi)源代碼： https://github.com/hzhupku/DCNet

前言

傳統(tǒng)的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法需要大量的邊界框標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，獲得如此高質(zhì)量的標(biāo)注數(shù)據(jù)成本很高。少樣本目標(biāo)檢測(cè)，學(xué)習(xí)適應(yīng)只有少數(shù)帶注釋的例子的新類，非常具有挑戰(zhàn)性，因?yàn)樾履繕?biāo)的細(xì)粒度特征很容易被忽略，而只有少數(shù)可用數(shù)據(jù)。

為了充分利用帶注釋的新目標(biāo)的特征并捕獲查詢對(duì)象的細(xì)粒度特征，研究者提出了具有稠密關(guān)系蒸餾與上下文感知聚合來(lái)解決Few-Shot檢測(cè)問(wèn)題。Dense Relation Distillation 模塊建立在基于元學(xué)習(xí)的框架之上，旨在充分利用支持特征，其中支持特征和查詢特征密集匹配，以前向傳播方式覆蓋所有空間位置。引導(dǎo)信息大量使用賦予了模型處理常見(jiàn)挑戰(zhàn)（例如外觀變化和遮擋）的能力。此外，為了更好地捕捉尺度感知特征，上下文感知聚合模塊自適應(yīng)地利用來(lái)自不同尺度的特征以獲得更全面的特征表示。

2

背景

先前對(duì)Few-Shot物體檢測(cè)的研究主要由兩組組成。他們中的大多數(shù)采用基于元學(xué)習(xí)的框架來(lái)為特定于類的預(yù)測(cè)執(zhí)行特征重新加權(quán)。而【Frustratingly simple few-shot object detection】采用兩階段微調(diào)方法，僅微調(diào)最后一層檢測(cè)器并實(shí)現(xiàn)最先進(jìn)的性能?！?/span>Multi-scale positive sample refinement for few-shot object detection】也使用類似的策略并專注于小樣本檢測(cè)中的尺度變化問(wèn)題。

然而，由于小樣本對(duì)象檢測(cè)的挑戰(zhàn)性，上述方法通常存在一些缺點(diǎn)。首先，在之前的小樣本檢測(cè)工作中，支持特征和查詢特征之間的關(guān)系幾乎沒(méi)有被充分探索，其中支持特征的全局池化操作主要用于調(diào)制查詢分支，這容易丟失詳細(xì)的局部上下文。具體來(lái)說(shuō)，物體的外觀變化和遮擋很常見(jiàn)，如上圖所示。如果沒(méi)有提供足夠的判別信息，模型就無(wú)法學(xué)習(xí)類別和邊界框預(yù)測(cè)的關(guān)鍵特征。其次，盡管尺度變化問(wèn)題在之前的工作中得到了廣泛的研究，但它仍然是小樣本檢測(cè)任務(wù)中的一個(gè)嚴(yán)重障礙。在少樣本設(shè)置下，具有尺度感知改變的特征提取器傾向于過(guò)度擬合，導(dǎo)致基類和新類的性能下降。

Few-Shot Object Detection

小樣本目標(biāo)檢測(cè)旨在僅提供一些帶注釋的訓(xùn)練示例，從新類別中檢測(cè)目標(biāo)。LSTD和RepMet采用通用的遷移學(xué)習(xí)框架，通過(guò)將預(yù)訓(xùn)練的檢測(cè)器適應(yīng)少數(shù)場(chǎng)景來(lái)減少過(guò)度擬合。

Meta YOLO

最近，Meta YOLO使用YOLO v2設(shè)計(jì)了一種新穎的小樣本檢測(cè)模型，該模型學(xué)習(xí)可泛化的元特征，并通過(guò)從支持示例中生成特定于類的激活系數(shù)來(lái)自動(dòng)重新加權(quán)新類的特征。

Meta R-CNN

Meta R-CNN和FsDetView使用基礎(chǔ)檢測(cè)器執(zhí)行與Faster RCNN類似的過(guò)程。TFA通過(guò)僅在第二階段微調(diào)分類器來(lái)簡(jiǎn)單地執(zhí)行兩階段微調(diào)方法，并獲得更好的性能。MPSR提出了多尺度正樣本細(xì)化來(lái)處理尺度方差問(wèn)題。CoAE提出了非局部RPN，并通過(guò)與其他跟蹤方法進(jìn)行比較，從跟蹤的角度專注于單次檢測(cè)。

而今天分享的方法以更直接的方式對(duì)主干提取的特征進(jìn)行交叉注意，目標(biāo)在Few-Shot檢測(cè)任務(wù)。FSOD提出了注意力RPN、多關(guān)系檢測(cè)器和對(duì)比訓(xùn)練策略來(lái)檢測(cè)新對(duì)象。在新框架工作中，采用了與Meta R-CNN類似的基于元學(xué)習(xí)的框架，并進(jìn)一步提高了性能。此外，使用提出的方法，可以成功刪除特定于類的預(yù)測(cè)過(guò)程，從而簡(jiǎn)化整個(gè)過(guò)程。

3

新框架

DCNet

如下圖所示，展示了具有上下文感知特征聚合 (CFA) 模塊的密集關(guān)系蒸餾 (DRD) 模塊，以充分利用支持特征并捕獲必要的上下文信息。這兩個(gè)提出的組件構(gòu)成了最終模型DCNet。研究者將首先描述所提出的DRD模塊的架構(gòu)。然后將帶出CFA模塊的細(xì)節(jié)。

Dense Relation Distillation Module

給定查詢圖像和支持集，通過(guò)將它們輸入共享特征提取器來(lái)生成查詢和支持特征。密集關(guān)系蒸餾（DRD）模塊的輸入是查詢特征和支持特征。這兩個(gè)部分首先通過(guò)專用的深度編碼器編碼成鍵和值映射對(duì)。查詢編碼器和支持編碼器采用相同的結(jié)構(gòu)，但不共享參數(shù)。

Relation Distillation。在獲取查詢和支持特征的鍵/值映射后，進(jìn)行關(guān)系蒸餾。如上圖所示，支持特征值映射的軟權(quán)重是通過(guò)測(cè)量查詢特征的關(guān)鍵映射和支持特征之間的相似性來(lái)計(jì)算的。

Context-aware Feature Aggregation

如上圖所示，研究者為每個(gè)由兩個(gè)塊組成的特征添加一個(gè)注意力分支。第一個(gè)塊包含全局平均池化。第二個(gè)包含兩個(gè)連續(xù)的fc層。之后，向生成的權(quán)重添加softmax歸一化，以平衡每個(gè)特征的貢獻(xiàn)。那么聚合特征的最終輸出就是三個(gè)特征的加權(quán)求和。

 Learning Strategy

4

實(shí)驗(yàn)及可視化

Few-shot object detection performance on VOC 2007 test set of PASCAL VOC dataset

(a). Visualizations of features before and after dense relation distillation module. (b). Visualizations of effect of context-aware feature aggregation module.

消融研究以評(píng)估提出的方法中不同組件的有效性

Few-shot object detection performance on COCO minival of MS COCO dataset

在coco中篩選了少量的數(shù)據(jù)集，基于源碼訓(xùn)練10個(gè)epoch，效果還是不行?。】赡芪覕?shù)據(jù)集選的太少了還有就是訓(xùn)練啥都沒(méi)有改，主要想快速看下具體效果及檢測(cè)精度。有興趣的同學(xué)自行去操作實(shí)踐下！