CVPR 2022 | 一鍵解鎖微軟亞洲研究院計(jì)算機(jī)視覺(jué)領(lǐng)域前沿進(jìn)展!

01

02

論文鏈接：https://yudeng.github.io/GRAM/
傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)（GAN）已經(jīng)具備生成以假亂真二維圖像的能力。但它們并不考慮生成圖像中物體背后的三維幾何性質(zhì)，因此無(wú)法生成物體的多視角圖像。近兩年，一些能夠?qū)崿F(xiàn)三維視角控制的生成對(duì)抗網(wǎng)絡(luò)逐漸出現(xiàn)。給定一類(lèi)物體的單視角圖像集作為訓(xùn)練數(shù)據(jù)，這些方法可以利用圖像上的對(duì)抗學(xué)習(xí)過(guò)程生成物體的多視角圖像。實(shí)現(xiàn)這一點(diǎn)的關(guān)鍵因素是將物體的三維表達(dá)與圖像生成過(guò)程相結(jié)合，其中最先進(jìn)的方法利用了神經(jīng)輻射場(chǎng)（NeRF）作為物體表達(dá)。
然而，已有的、基于 NeRF 的生成對(duì)抗網(wǎng)絡(luò)的圖像生成質(zhì)量與傳統(tǒng)的二維圖像生成對(duì)抗網(wǎng)絡(luò)仍有較大的差距。研究員們觀察到，造成這一問(wèn)題的一個(gè)重要原因是 NeRF 的體渲染過(guò)程與對(duì)抗學(xué)習(xí)過(guò)程相結(jié)合時(shí)內(nèi)存開(kāi)銷(xiāo)較大，限制了體渲染時(shí)每條光線允許的采樣點(diǎn)個(gè)數(shù)。在采樣點(diǎn)數(shù)量有限時(shí)，NeRF 表征不能有效的處理物體的精細(xì)幾何紋理，且其渲染圖像中含有明顯的噪聲圖案，嚴(yán)重影響了對(duì)抗學(xué)習(xí)過(guò)程的穩(wěn)定性。
本文提出了一種新型的神經(jīng)輻射流形表達(dá)來(lái)解決 NeRF 與對(duì)抗學(xué)習(xí)結(jié)合時(shí)的上述問(wèn)題。神經(jīng)輻射流形將輻射場(chǎng)的學(xué)習(xí)與圖像渲染時(shí)的采樣點(diǎn)限制在三維空間中的一簇二維曲面流形上，有助于網(wǎng)絡(luò)在曲面上學(xué)習(xí)物體的精細(xì)結(jié)構(gòu)，并有效避免了圖像渲染時(shí)的噪聲圖案。實(shí)驗(yàn)表明，基于神經(jīng)輻射流形表征，研究員們極大地提高了生成圖像的真實(shí)感與其視角變化下的三維一致性。
圖2：基于神經(jīng)輻射流形的圖像生成過(guò)程示意圖

03

 論文鏈接：https://www.microsoft.com/en-us/research/publication/styleswin-Transformer-based-gan-for-high-resolution-image-generation/
以生成對(duì)抗網(wǎng)絡(luò)為代表的圖像生成模型在過(guò)去幾年間取得了巨****展。其早期的研究主要集中在讓對(duì)抗訓(xùn)練更加穩(wěn)定，而近年來(lái)生成質(zhì)量的突破則主要受益于更具表達(dá)能力的網(wǎng)絡(luò)的提出，如引入注意力機(jī)制、采用更大的網(wǎng)絡(luò)以及 Style-based 生成器。
近期，Transformer 獲得了極大的關(guān)注，并在一系列判別任務(wù)中取得巨大成功。受此啟發(fā)，微軟亞洲研究院的研究員們嘗試探究 Transformer 的一系列優(yōu)異特性，尤其是長(zhǎng)距離建模能力，是否對(duì)生成任務(wù)也有幫助。而構(gòu)建基于 Transformer 的生成器網(wǎng)絡(luò)，就需要克服在高分辨率圖像生成時(shí)計(jì)算復(fù)雜度過(guò)高的問(wèn)題。為此研究員們采用了微軟亞洲研究院提出的 Swin Transformer 作為基本模塊，以在計(jì)算復(fù)雜度和模型表達(dá)能力間取得良好的平衡。
研究員們還進(jìn)一步提出了若干改進(jìn)，使得 Swin Transformer 可以更好的適配圖像生成任務(wù)。首先，整個(gè)生成器采用了 Style-based 結(jié)構(gòu)，并探究若干種適于 Transformer 模塊的風(fēng)格注入機(jī)制。其次，研究員們提出用 double attention 來(lái)代替 Swin Transformer 中的重疊窗口，使得每一層 Transformer 模塊有更大的注意力范圍。此外，研究員們指出對(duì)于生成模型，有必要同時(shí)采用相對(duì)位置編碼和絕對(duì)位置編碼。
圖3：（左）StyleSwin 網(wǎng)絡(luò)結(jié)構(gòu)，（右）256x256生成結(jié)果穩(wěn)定超越 StyleGAN
更重要的，研究員們發(fā)現(xiàn)局部窗口內(nèi)計(jì)算注意力會(huì)有產(chǎn)生類(lèi)似于 DCT 壓縮時(shí)的塊狀瑕疵（blocking artifact），這個(gè)問(wèn)題僅在生成任務(wù)中才會(huì)被注意到。為此，研究員們提出了基于小波變換的判別器模型在頻域空間識(shí)別這種塊狀瑕疵的方法，有效提升了肉眼感知下的生成質(zhì)量。
本文提出的 StyleSwin 在若干數(shù)據(jù)集，F(xiàn)FHQ, CelebA-HQ, LSUN church, LSUN car等標(biāo)準(zhǔn)數(shù)據(jù)集上都取得了有競(jìng)爭(zhēng)力的生成質(zhì)量。在256x256分辨率上，StyleSwin 超越了現(xiàn)有所有 GAN 的方法，在1024x1024分辨率上取得和 StyleGAN2 相當(dāng)?shù)膱D像質(zhì)量。本文的意義在于首次驗(yàn)證了 Transformer 模型在高分辨率、高質(zhì)量圖像生成任務(wù)中的有效性，對(duì)生成網(wǎng)絡(luò)基礎(chǔ)網(wǎng)絡(luò)的發(fā)展做出了新的啟發(fā)。

04

論文鏈接：https://arxiv.org/abs/2111.14822
文本到圖像的生成是近些年來(lái)的一個(gè)熱點(diǎn)生成問(wèn)題。之前的相關(guān)工作主要分為生成對(duì)抗網(wǎng)絡(luò)和自回歸模型兩大類(lèi)。生成對(duì)抗網(wǎng)絡(luò)受限于擬合能力，往往只能擬合單個(gè)場(chǎng)景或者類(lèi)別的圖像。自回歸模型則將圖像生成問(wèn)題轉(zhuǎn)換成了序列化生成問(wèn)題，然而，該方法具有單向偏差、誤差累積的問(wèn)題，并且生成圖像的速度較慢。本文提出了一種新型生成模型，量化去噪擴(kuò)散模型（VQ-Diffusion），該方法能很好地解決以上問(wèn)題。具體來(lái)說(shuō)，該方法首先利用矢量量化變分自編碼器（VQVAE）將圖像編碼成離散編碼，再利用條件化的去噪擴(kuò)散模型（DDPM）擬合隱空間的分布。
與連續(xù)空間的量化去噪模型不同，為了擬合離散的數(shù)據(jù)分布，研究員們利用概率轉(zhuǎn)移矩陣而不是高斯噪聲，在去噪擴(kuò)散模型的加噪步驟中對(duì)目標(biāo)分布加噪。具體來(lái)說(shuō)，本文提出了遮擋與替換的加噪策略，可以成功地避免誤差累積的問(wèn)題。此外，通過(guò)利用雙向注意力機(jī)制進(jìn)行去噪，該方法避免了單向偏差的問(wèn)題。本文還提出了給離散擴(kuò)散模型加上重參數(shù)化技巧，從而有效地平衡生成速度和圖像質(zhì)量。量化去噪擴(kuò)散模型的示意圖如圖4所示：
圖4：VQ-Diffusion 的算法流程圖
本文在很多文本到圖像生成的數(shù)據(jù)集上做了實(shí)驗(yàn)，包括 CUB-200，Oxford-102，以及 MSCOCO。與自回歸模型相比，采用相似參數(shù)量時(shí)，量化擴(kuò)散模型能在生成速度快15倍的情況下，獲得更好的生成結(jié)果。與之前基于生成對(duì)抗網(wǎng)絡(luò)的文本到圖像生成的方法相比，該算法則能處理更復(fù)雜的場(chǎng)景，極大提升生成圖像的質(zhì)量。此外，該方法還具有普適性，可用于無(wú)條件圖像生成（如 FFHQ）和條件圖像生成（如 ImageNet）。

05

06

論文鏈接：https://arxiv.org/abs/2203.07004
作為一種自監(jiān)督學(xué)習(xí)方法，對(duì)比學(xué)習(xí)近年來(lái)被當(dāng)作預(yù)訓(xùn)練的主要方法廣泛應(yīng)用于視頻和圖像領(lǐng)域。由于對(duì)比學(xué)習(xí)使用數(shù)據(jù)的不同“視角”互相監(jiān)督，學(xué)習(xí)到的數(shù)據(jù)表示往往只包含“視角”之間的的共享信息，而排斥它們的非共享信息。換言之，對(duì)比學(xué)習(xí)最終的結(jié)果是學(xué)習(xí)到了不同“視角”之間的最小充分表示。這樣就產(chǎn)生了一個(gè)疑問(wèn)——被排斥掉的非共享信息是不是包含對(duì)下游任務(wù)有貢獻(xiàn)的內(nèi)容？由于“視角”的產(chǎn)生高度依賴(lài)增強(qiáng)方法，而下游任務(wù)相關(guān)的信息在預(yù)訓(xùn)練階段往往是缺失的，所以從直觀上看這種可能性的確存在。
通過(guò)從信息論方面進(jìn)行嚴(yán)謹(jǐn)?shù)耐评碜C明和實(shí)驗(yàn)驗(yàn)證，微軟亞洲研究院的研究員們發(fā)現(xiàn)最小充分表示排斥的非共享信息中確實(shí)包含下游任務(wù)相關(guān)的有用信息，從而揭示了對(duì)比學(xué)習(xí)有過(guò)擬到“視角”共享信息的風(fēng)險(xiǎn)。這種風(fēng)險(xiǎn)會(huì)嚴(yán)重降低預(yù)訓(xùn)練模型的通用性和在下游任務(wù)上的性能。為此，研究員們認(rèn)為對(duì)比學(xué)習(xí)應(yīng)該學(xué)習(xí)“視角”之間的充分表示而不是最小充分表示，并且提出了一種簡(jiǎn)單有效而且通用的方法：增加對(duì)比學(xué)習(xí)中“視角”之間的互信息。簡(jiǎn)單來(lái)說(shuō)，就是在學(xué)習(xí)“視角”共享信息的同時(shí)，也盡可能學(xué)習(xí)下游任務(wù)相關(guān)的非共享信息。在此基礎(chǔ)上，研究員們提出了兩種通用的預(yù)訓(xùn)練策略，一種是通過(guò)重構(gòu)輸入數(shù)據(jù)引入更多的原始輸入信息達(dá)到增加非共享信息的目的；另一種是通過(guò)加入正則項(xiàng)計(jì)算互信息的下限來(lái)直接提高互信。大量的實(shí)驗(yàn)結(jié)果表明，我們提出的預(yù)訓(xùn)練策略在分類(lèi)，檢測(cè)和分割等一系列下游任務(wù)中都極大地提高了精度。
圖6：對(duì)比學(xué)習(xí)中充分表示和最小充分表示的信息分布圖

07

論文鏈接：https://arxiv.org/abs/2111.09886代碼地址：https://github.com/microsoft/SimMIM
掩碼信號(hào)建模（Masked Signal Modeling）是一種通過(guò)利用部分可見(jiàn)信息來(lái)預(yù)測(cè)不可見(jiàn)信息的預(yù)訓(xùn)練方法。其在自然語(yǔ)言處理（NLP）領(lǐng)域中的應(yīng)用——掩碼語(yǔ)言建模（Masked Language Modeling, MLM）已經(jīng)成為了 NLP 領(lǐng)域中最具代表性且應(yīng)用最廣泛的預(yù)訓(xùn)練方法。
事實(shí)上，在計(jì)算機(jī)視覺(jué)領(lǐng)域也出現(xiàn)了一系列使用掩碼圖像建模（Masked Image Modeling, MIM）來(lái)進(jìn)行視覺(jué)模型預(yù)訓(xùn)練的嘗試，但之前的方法往往需要引入額外的設(shè)計(jì)。本文中，研究員們提出了一種簡(jiǎn)單的預(yù)訓(xùn)練框架 SimMIM，證明了僅使用簡(jiǎn)單的隨機(jī)掩碼策略以及單層線性****來(lái)恢復(fù)原始圖像信號(hào)就可以實(shí)現(xiàn)良好的視覺(jué)模型預(yù)訓(xùn)練，并學(xué)習(xí)到高質(zhì)量的圖像表征。
圖7：SimMIM 使用簡(jiǎn)單的隨機(jī)掩碼策略和一個(gè)輕量的單層線性****來(lái)重構(gòu)圖像的原始信號(hào)，并使用簡(jiǎn)單的 l1 損失函數(shù)進(jìn)行預(yù)訓(xùn)練。

SimMIM 可以適配任意的基礎(chǔ)網(wǎng)絡(luò)，包括 ViT，Swin 以及 ConvNets。如圖8（左）所示，在使用 ViT-B 時(shí)，SimMIM 取得了比其他方法更好的微調(diào)性能，同時(shí)花費(fèi)的訓(xùn)練成本更低。
圖8：（左）SimMIM 與其他方法在使用 ViT-B 時(shí)的性能比較。（右）SimMIM 在使用 Swin 時(shí)與有監(jiān)督預(yù)訓(xùn)練（Supervised Pre-training）的比較。
圖8（右）則展示了 SimMIM 在使用 Swin 時(shí)取得了比有監(jiān)督預(yù)訓(xùn)練（Supervised pre-training）更好的性能，并且模型越大，SimMIM 的優(yōu)勢(shì)就越明顯，這說(shuō)明 SimMIM 是一個(gè)良好的模型擴(kuò)展學(xué)習(xí)器（model scalable learner）。通過(guò)使用 SimMIM，具有3B參數(shù)量的 Swin-G 可以在 ImageNet-1K 圖像分類(lèi)任務(wù)中取得90.2%的 Top-1 Acc。
SimMIM 不僅適用于基于 Transformer 的網(wǎng)絡(luò)，其對(duì) ConvNets 也同樣有效。ResNet-50×4 使用 SimMIM 可以取得81.6%的 Top-1 Acc，高于有監(jiān)督預(yù)訓(xùn)練獲得的80.7%的結(jié)果。這些實(shí)驗(yàn)證明了 SimMIM 的廣泛適用性。

08