ECCV2022 Oral｜ 無需前置條件的自動著色算法

論文過段時間會掛到實驗室主頁上，代碼很快也會開源。實驗室主頁：https://ci.idm.pku.edu.cn/

我們造了一個自動著色的Transformer模型，以color tokens作為輔助，實現(xiàn)了目前最好的著色效果。這里說的color tokens來自于經(jīng)典工作《colorful image colorization》（CIC）中量化ab color space的思路，我們將每個格子都當(dāng)做一個token，借助position embedding得到格子之間的位置關(guān)系，從而獲得color token的顏色相對關(guān)系（離得遠(yuǎn)的色差大，否則?。?，從而設(shè)計一系列模塊來引導(dǎo)color token監(jiān)督著色。這里可視化一下我們的Pipeline，可以看到基本上不需要對transformer結(jié)構(gòu)做太多魔改，只需要依靠我們設(shè)計的Luminance-selecting module, Color Attention和Color query等模塊，依靠ab color space中顏色分布的先驗知識，就可以實現(xiàn)好的著色性能。我們的模型不需要任何前置條件（例如目標(biāo)檢測主要著色物體，或者先用inversion GAN生成個參考圖像），就能生成正確顏色語義和豐富飽和度的圖像。因為沒有前置條件的需求，所以使用場景更廣（例如不受限于檢測器可以檢測的目標(biāo)的類別，以及GAN可以生成的圖像的類別）。

下面是我們的分?jǐn)?shù)和user study，我們對比了標(biāo)準(zhǔn)的CNN colorization方法，以及Google在ICLR2021提出的第一個colorization transformer，最終性能在所有指標(biāo)上都打過了他們；我們額外比較了一些熱門的圖像修復(fù)算法，但顯然專門為colorization設(shè)計的算法性能更優(yōu)；我們還比較了著名的預(yù)訓(xùn)練模型MAE，并把colorization當(dāng)做他的一個下游任務(wù)來finetune，但他在這個任務(wù)上看起來也不是很聰明的樣子。下面展示一些修復(fù)老照片的結(jié)果然后是一些灰白圖像上色的結(jié)果

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。