CVPR 2021 | 無需密集人工標簽，用于下游密集預測任務的自監(jiān)督學習方法出爐

來自阿德萊德大學、同濟大學、字節(jié)跳動的研究者設計了一種簡單且有效的密集自監(jiān)督學習方法，大幅縮小了自監(jiān)督預訓練與密集預測任務之間的鴻溝。

預訓練已被證實能夠大大提升下游任務的性能。傳統(tǒng)方法中經(jīng)常利用大規(guī)模的帶圖像標注分類數(shù)據(jù)集（如 ImageNet）進行模型監(jiān)督預訓練，近年來自監(jiān)督學習方法的出現(xiàn)，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數(shù)方法都是針對圖像分類進行設計和優(yōu)化的。但圖像級別的預測和區(qū)域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節(jié)跳動的研究者設計了一種簡單且有效的密集自監(jiān)督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現(xiàn)出色的性能。目前該論文已被 CVPR 2021 接收。

論文地址：https://arxiv.org/pdf/2011.09157

代碼地址：https://github.com/WXinlong/DenseCL

方法

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區(qū)域）特征上優(yōu)化成對的對比（不相似）損失來實現(xiàn)密集自監(jiān)督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現(xiàn)有的自監(jiān)督框架將同一張圖像的不同數(shù)據(jù)增強作為一對正樣本，利用剩余圖像的數(shù)據(jù)增強作為其負樣本，構建正負樣本對實現(xiàn)全局對比學習，這往往會忽略局部特征的聯(lián)系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區(qū)域）特征作為一對正樣本，而將余下所有的像素（區(qū)域）特征作為其負樣本實現(xiàn)密集對比學習。

具體而言，該方法去掉了已有的自監(jiān)督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現(xiàn)。在匹配策略的選擇上，研究者發(fā)現(xiàn)最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現(xiàn)出了十分優(yōu)異的性能。DenseCL 的總體損失函數(shù)如下：

模型性能

該研究進行消融實驗評估了匹配策略對下游任務的性能影響，結果如下表所示。

另一組消融實驗評估了預訓練區(qū)域數(shù)量對下游任務的性能影響，結果如下表所示。

下圖展示了該方法遷移至下游密集任務的性能增益：

隨著訓練時間的延長，該研究進一步提供了與基線的直觀比較，表明 DenseCL 始終比 MoCo-v2 的性能高出至少 2％：

DenseCL 與 MoCo-v2 的預訓練時間消耗對比如下：

下圖對高相似度匹配進行了可視化，旨在描述局部語義特征間的對應關系：

如下圖所示，帶有隨機初始化的大多數(shù)匹配都是不正確的，從圖中可以看出隨著訓練時間的變化，對應關系發(fā)生了改變。

[1] Improved baselines with momentum contrastive learning. Chen, Xinlei and Fan, Haoqi and Girshick, Ross and He, Kaiming