什么促使了候選目標(biāo)的有效檢測？

今天想說的其實(shí)也是一個(gè)老一點(diǎn)的知識(shí)，但是讀了幾遍感覺靈感很大，得到了很多想法和去實(shí)踐的思路，所以今天就給大家來分享下這篇經(jīng)典好文。

 背景

今天想說的其實(shí)也是一個(gè)老一點(diǎn)的知識(shí)，但是讀了幾遍感覺靈感很大，得到了很多想法和去實(shí)踐的思路，所以今天就給大家來分享下這篇經(jīng)典好文。該文錄用于：“ IEEE transactions on pattern analysis and machine intelligence”。

閱讀完全文，您會(huì)知道大概基本內(nèi)容就如下所示：

回顧Object Proposal（以下簡稱為OP）的各種方法，將其分類；

論不同OP在圖片被擾動(dòng)之后在復(fù)現(xiàn)上的魯棒性；

討論不同OP在PASCAL和ImageNet上的Recall，并提出了Average Recall（簡稱AR）的一種新的標(biāo)準(zhǔn)；

討論不同OP對(duì)于實(shí)際分類的性能比較（用了DPM和RCNN這兩個(gè)著名detector進(jìn)行比較），以及說明了AR是一個(gè)跟性能相當(dāng)相關(guān)的標(biāo)準(zhǔn)。

2 各種OP方法的回顧

作者大致將OP方法分成了兩類，一類叫g(shù)rouping method，一類叫window scoring method。前者是指先將圖片打散，然后再聚合的一種方法，比如selective search。后者是生成大量window并打分，然后過濾掉低分的一種方法，比如objectness。另外還有一些介乎兩者之間的方法，比如multibox。

Grouping proposal methods

作者將grouping的方法繼續(xù)細(xì)分為三個(gè)小類。SP，對(duì)superpixel進(jìn)行聚合；GC，使用種子點(diǎn)然后groupcut進(jìn)行分割；EC，從邊緣圖提取proposal。下面分別一一進(jìn)行介紹：

SelectiveSearch (SP): 無需學(xué)習(xí)，首先將圖片打散為superpixel，然后根據(jù)人為定義的距離進(jìn)行聚合。

CPMC (GC): 隨機(jī)初始化種子點(diǎn)，然后做graphcut進(jìn)行分割，反復(fù)多次，然后定義了某個(gè)很長的特征進(jìn)行排序。（所以速度超級(jí)慢）

MCG (EC): 首先用現(xiàn)成方法快速得到一個(gè)層次分割的結(jié)果，然后利用邊緣信息進(jìn)行聚合。

Window scoring proposal methods

不同于前者需要通過聚合小塊來生成候選框，這里的方法是先生成候選框，然后直接打分排序來過濾掉低分的候選框。介紹兩種比較出名的方法：

Bing: 訓(xùn)練了一個(gè)簡單的線性分類器來通過類似滑窗的方式來過濾候選框，速度驚人地快。但是被其他文獻(xiàn)攻擊說分類性能不是來自于學(xué)習(xí)而是幾何學(xué)。

EdgeBoxes: 跟selective search一樣，是一個(gè)不需要學(xué)習(xí)的方法，結(jié)合滑窗，通過計(jì)算窗口內(nèi)邊緣個(gè)數(shù)進(jìn)行打分，最后排序。

Aliternate proposal methods

Multibox，目前所知唯一基于CNN提取proposal的方法，通過CNN回歸N個(gè)候選框的位置并進(jìn)行打分，目前在ImageNet的dectection track上應(yīng)該是第一的。

Baseline proposal methods

這里用了Uniform，Gaussian，Sliding Window和Superpixels作為baseline，不是重點(diǎn)就不展開說了。

3 各種OP方法對(duì)于復(fù)現(xiàn)的魯棒性的討論

這里作者提出這樣的假設(shè)：一個(gè)好的OP方法應(yīng)該具有比較好的復(fù)現(xiàn)能力，也就是相似的圖片中檢索出來的object應(yīng)該是具有一致性的。驗(yàn)證的方法是對(duì)PASCAL的圖片做了各種擾動(dòng)（如下圖），然后看是否還能檢測出來相同的object的recall是多少，根據(jù)IoU的嚴(yán)格與否能夠得到一條曲線，最后計(jì)算曲線下面積得到repeatability。

本次推送的圖表很多具體請(qǐng)看原論文，這里直接給出大概重點(diǎn)和結(jié)論，Bing和Edgeboxes在repeatability上表現(xiàn)最好。

4 各種OP方法的Recall

這里提出了好的OP方法應(yīng)該有著較高的recall，不然就要漏掉檢測的物體了。這里討論了三種衡量recall的方式：

Recall versus IoU threshold：固定proposal數(shù)量，根據(jù)不同的IoU標(biāo)準(zhǔn)來計(jì)算recall

Recall versus number of proposal windows：跟1互補(bǔ)，這里先固定IoU，根據(jù)不同的proposal數(shù)目來計(jì)算recall

Average recall(AR)：作者提出的，這里只是根據(jù)不同的proposal數(shù)目，計(jì)算IoU在0.5到1之間Recall。

數(shù)據(jù)集方面，作者在PASCAL VOC07和ImagNet Detection dataset上面做了測試。

MCG， EdgeBox，SelectiveSearch, Rigor和Geodesic在不同proposal數(shù)目下表現(xiàn)都不錯(cuò)。

如果只限制小于1000的proposal，MCG,endres和CPMC效果最好；

如果一開始沒有較好的定位好候選框的位置，隨著IoU標(biāo)準(zhǔn)嚴(yán)格，recall會(huì)下降比較快的包括了Bing, Rahtu, Objectness和Edgeboxes。其中Bing下降尤為明顯；

在AR這個(gè)標(biāo)準(zhǔn)下，MCG表現(xiàn)穩(wěn)定；Endres和Edgeboxes在較少proposal時(shí)候表現(xiàn)比較好，當(dāng)允許有較多的proposal時(shí)候，Rigor和SelectiveSearch的表現(xiàn)會(huì)比其他要好；

PASCAL和ImageNet上，各個(gè)OP方法都是比較相似的，這說明了這些OP方法的泛化性能都不錯(cuò)。

5 效果

各種OP方法在實(shí)際做detection任務(wù)時(shí)候的效果

這里作者在OP之后接上了兩種在detection上很出名的detector來進(jìn)行測試，一個(gè)是文獻(xiàn)（Training deformable part models with decorrelated features）的LM-LLDA（一個(gè)DPM變種），另外一個(gè)自然是R-CNN了，值得注意的是，這兩個(gè)detector的作者都是rbg。

這里用了各種OP方法提取了1k個(gè)proposal，之后作比較。也是直接給作者結(jié)論：

如果OP方法定位越準(zhǔn)確，那么對(duì)分類器幫助會(huì)越大，因?yàn)槎ㄎ辉綔?zhǔn)確，分類器返回的分?jǐn)?shù)會(huì)越高：

在LM-LLDA和R-CNN下，使得mAP最高的前5個(gè)OP方法都是MCG，SeletiveSearch，EdgeBoxes，Rigor和Geodesic，如下圖。

通過分析，作者發(fā)現(xiàn)AR和mAP有著很強(qiáng)的相關(guān)性：

作者用AR作為指導(dǎo)去tuning EdgeBoxes的參數(shù)，然后取得了更好的mAP（提高1.7個(gè)點(diǎn)）。

6 全文總結(jié)和討論

對(duì)于repeatability這個(gè)標(biāo)準(zhǔn)，目前的OP方法效果都一般?？赡芡ㄟ^對(duì)噪聲和擾動(dòng)更加魯棒的特征能夠提高OP方法的repeatablilty。但是repeatability低不代表最后mAP就低，比如SelectiveSearch，所以最后還是看要應(yīng)用場景。

如果OP方法定位越準(zhǔn)確，那么對(duì)分類器幫助會(huì)越大。所以對(duì)于OP方法來說，IoU為0.5的recall不是一個(gè)好的標(biāo)準(zhǔn)。高recall但是定位不準(zhǔn)確，會(huì)傷害到最后的mAP

MCG,Seletive Search,EdgeBoxes,Rigor和Geodesic是目前表現(xiàn)最好的5個(gè)方法，其中速度以EdgeBoxes和Geodesic為優(yōu)。

目前的OP方法在VOC 07和ImageNet的表現(xiàn)都差不多，說明它們都有著不錯(cuò)的泛化性能。

討論

如果計(jì)算能力上去了，OP還有用嗎？作者認(rèn)為如果運(yùn)算性能允許的話，滑動(dòng)窗口加上CNN等強(qiáng)分類器會(huì)有著更好的效果。

作者觀察到在目前OP中使用的特征（比如object boundary和superpixel），不會(huì)在分類器中使用；然后OP方法中除了MultiBox之外就沒有其他OP有使用CNN特征。作者期待會(huì)有工作能夠結(jié)合下這兩者的優(yōu)勢。

最后，作者對(duì)做了三點(diǎn)猜測：之后top down可能會(huì)在OP中起到更加重要的作用；以后OP和detector的聯(lián)系會(huì)更加緊密；OP生成的segmentation mask會(huì)起到更加重要的作用。