NeurIPS 2022 | 中科大/上海AI Lab/東方理工提出跨域自適應(yīng)語(yǔ)義分割新技術(shù)！DDB：基于數(shù)據(jù)Mix的域橋接范式

Deliberated Domain Bridging for Domain Adaptive Semantic Segmentation

論文：https://arxiv.org/abs/2209.07695

代碼：https://github.com/xiaoachen98/DDB

域自適應(yīng)語(yǔ)義分割（Domain Adaptive Semantic Segmentation, DASS）旨在利用大量有標(biāo)注的源域數(shù)據(jù)和未標(biāo)注的目標(biāo)域數(shù)據(jù)，然后把知識(shí)從源域遷移到目標(biāo)域中。先前的DASS方法大多試圖直接把源域?qū)W到的知識(shí)遷移到目標(biāo)域中，然而巨大的領(lǐng)域差異往往會(huì)限制這些方法的有效性，只能取得次優(yōu)的性能。為了緩解這個(gè)問(wèn)題，一些方法通過(guò)在輸入空間（style transfer類(lèi)方法），或輸出空間（self-training類(lèi)方法）進(jìn)行域橋接（domain bridging, DB）來(lái)在領(lǐng)域間逐漸地遷移知識(shí)。

通過(guò)前人的實(shí)驗(yàn)以及我們自己的復(fù)現(xiàn)結(jié)果的發(fā)現(xiàn)，這些基于style transfer的方法總是會(huì)產(chǎn)生一些不利于密集預(yù)測(cè)的偽影（尤其是在高分辨率場(chǎng)景下）。為了能夠在輸入空間和輸出空間都能夠構(gòu)建中間域，我們求助于一些data mix技術(shù)。我們首先把這些data mix技術(shù)分為兩類(lèi)，即全局插值（如mix-up）和局部替換（如cutmix）。然后，我們構(gòu)建了一個(gè)簡(jiǎn)單的自訓(xùn)練pipeline來(lái)驗(yàn)證這些DB方法的有效性：

從表1可以發(fā)現(xiàn)基于局部替換的DB方法要優(yōu)于其它類(lèi)型的DB方法，并且從表1(c)中還可以發(fā)現(xiàn)CutMix（region level）和ClassMix（class level）這兩個(gè)DB技術(shù)混合使用可以帶來(lái)一些性能增益。這個(gè)觀察引起了我們的注意，于是我們可視化了兩個(gè)方法訓(xùn)練出的模型特征分布和預(yù)測(cè)：

從上圖可以發(fā)現(xiàn)，region level的 DB方法訓(xùn)練出的模型更關(guān)注目標(biāo)的上下文信息而損害一些特征的可判別性（正確分割出火車(chē)類(lèi)但特征分布比較松散），class level的DB方法訓(xùn)練出的模型則更傾向于挖掘目標(biāo)自身的特性而忽略了目標(biāo)的上下文信息（有更緊湊的特征分布但完全混淆了火車(chē)和公交車(chē)）。這種互補(bǔ)的特性引起了我們的興趣以及進(jìn)一步的探究。

核心思想：充分利用region level的DB方法和class level的DB方法的互補(bǔ)特性，得到更優(yōu)的性能。

方法流程：概括來(lái)說(shuō)，我們采用了雙路徑領(lǐng)域橋接（DPDB）步驟和跨路徑知識(shí)蒸餾（CKD）步驟交替進(jìn)行的訓(xùn)練策略來(lái)取長(zhǎng)補(bǔ)短，相互促進(jìn)。具體來(lái)說(shuō)，我們先用region level DB和class level DB進(jìn)行自訓(xùn)練，得到兩個(gè)互補(bǔ)的教師模型（DPDB）。接著各自在目標(biāo)域上計(jì)算出每個(gè)類(lèi)別的prototype用于計(jì)算下一步CKD步驟中的ensemble權(quán)重圖。在CKD步驟中，我們隨機(jī)初始化一個(gè)學(xué)生模型，在目標(biāo)域上用DPDB中得到的兩個(gè)互補(bǔ)教師模型來(lái)進(jìn)行多教師硬蒸餾，并且每個(gè)位置與對(duì)應(yīng)類(lèi)別的prototype距離會(huì)被用來(lái)動(dòng)態(tài)加權(quán)兩個(gè)教師模型的預(yù)測(cè)。通過(guò)CKD可以得到優(yōu)于所有教師模型的學(xué)生模型，這個(gè)學(xué)生模型的權(quán)重會(huì)用來(lái)初始化下一個(gè)階段的DPDB的模型，達(dá)到交替訓(xùn)練的目的。算法偽代碼如下：

我們的方法除了可應(yīng)用于標(biāo)準(zhǔn)的單源-單目標(biāo)的設(shè)定外，還不需要任何定制化設(shè)計(jì)即可在多源-單目標(biāo)以及單源-多目標(biāo)的設(shè)定上取得優(yōu)異性能。

此外，我們還進(jìn)行了完整的消融實(shí)驗(yàn)和互補(bǔ)性實(shí)驗(yàn)來(lái)驗(yàn)證motivation以及所提策略的有效性。從表5可以發(fā)現(xiàn)硬蒸餾，適應(yīng)性集成，以及交替訓(xùn)練的有效性。從表6可以看出region level DB和class level DB方法的互補(bǔ)性。從圖3的預(yù)測(cè)圖中也可以看出兩種DB方法的互補(bǔ)性，以及我們提出的DDB可以很好地集成各自的優(yōu)點(diǎn)，青出于藍(lán)而勝于藍(lán)。

本文簡(jiǎn)單的介紹了DDB的研究動(dòng)機(jī)，方法介紹和簡(jiǎn)單實(shí)驗(yàn)分析其有效性。論文和補(bǔ)充材料中有更加詳細(xì)的討論，并且有更詳細(xì)的細(xì)節(jié)描述。希望我們的工作能夠給DASS帶來(lái)一些有意思的見(jiàn)解。