DeepFaceDrawing: 使用草圖生成人臉圖像

來源：DeepHub IMBA

在本文中，介紹了使用人臉設(shè)計或草圖來制作人臉照片的想法。該技術(shù)的應(yīng)用包括角色設(shè)計、教育培訓(xùn)、面部變形和嫌疑人畫像等。

有興趣的可以先看看視頻介紹：

，時長04:11

要解決的問題

這篇文章的想法是設(shè)計一個應(yīng)用程序來使用該面部草圖來繪制一張真實的面部圖像，該應(yīng)用程序在警察、電影拍攝和面部彩繪中具有各種應(yīng)用。這個想法的主要標(biāo)準(zhǔn)之一是它簡單明了，非常易于使用，即使你不是一個好的畫家，你也可以使用這個應(yīng)用程序創(chuàng)建真實的面孔。
過去有解決這個問題的方法，在某些情況下使用了深度學(xué)習(xí)，但大多數(shù)時候他們以固定的繪圖作為輸入，并試圖通過添加細(xì)節(jié)使其更完整，并生成真實的面孔。
從左至右：真實圖像——HED——APDrawingGAN
從左至右：Canny Edges — Photoshop 中的影印濾鏡 — PS 中影印濾鏡的簡化

問題是如何解決的？（架構(gòu)和思想）

數(shù)據(jù)集：
使用 CelebAMask-HQ 數(shù)據(jù)集的人臉圖像創(chuàng)建了一個新的數(shù)據(jù)集，并用于訓(xùn)練（Train）和測試模型。
在這個數(shù)據(jù)庫中只收集了面對面的圖像，沒有任何其他添加，例如眼鏡、口罩等。邊緣檢測過程采用了整體嵌套的邊緣檢測方法，下一步使用Photoshop中的Photocopy Filter來提高設(shè)計的質(zhì)量，消除圖像噪聲。該數(shù)據(jù)庫包括 17,000 對真實圖像及其設(shè)計，其中男性圖像 6,247 對，女性圖像 11,456 對。但是，這個數(shù)據(jù)集不是很大，需要新的數(shù)據(jù)來改進(jìn)算法。在這個想法中，訓(xùn)練集與測試集的比例是 1 比 20。

架構(gòu)：

該系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)包括三個主要模塊:組件嵌入(CE)、特征映射(FM)和圖像合成(IS)。

1. CE(組件嵌入)模塊是一個自動編碼器，它具有定義面部的5個特征或主要組件，即左眼、右眼、鼻子和嘴。(嘴)通過其他組件進(jìn)行學(xué)習(xí)。
2. FM (Feature Mapping)和IS (Image Synthesis)模塊一起形成了一個深度學(xué)習(xí)子網(wǎng)，用來放置和組合面部組件，以創(chuàng)建一個真實的臉。其中FM是CE模塊中編碼的特征****，它將特征向量轉(zhuǎn)換為32通道的特征圖，而不是1通道的原型，這樣提高了模型的性能。

這個模型使用了shadow-guided的思想，這是用來幫助那些不太精通繪畫和繪畫的人。在背景中就會有一個臉部設(shè)計的模糊圖像，用戶可以使用它來使設(shè)計更加完整，畫出一個細(xì)節(jié)更多的更好的設(shè)計。
該網(wǎng)絡(luò)的輸入為512 × 512。在第一階段，這些圖像進(jìn)入第一個子網(wǎng)或CE，分別學(xué)習(xí)與每個人臉分量相關(guān)的每個編碼器，在第二階段，每個人臉分量根據(jù)相似度在其特定的類中使用K近鄰算法，并被放置到圖中。在FM的下一步中，每個組件被插入到它的****和真實的組件中進(jìn)行制作。然后將新組件組合在一起以創(chuàng)建一個真正的新面孔。這一步在SI中使用條件GAN體系結(jié)構(gòu)技術(shù)執(zhí)行，這樣可以保證所有的面組件都在它們的原始位置。
樣例如下：

其他特征：
在該模型中，可以改變對人臉每個特征的注意量和準(zhǔn)確性，可以調(diào)整每個特征的擬真程度，例如鼻子比較像而嘴不太像。還有一種功能就是可以單獨(dú)設(shè)計每只眼睛，保證眼睛可能不一定是相同的。
對比：

總結(jié)

在這個想法中，我們嘗試?yán)L制一張臉，并將其主要成分（例如左右眼睛、鼻子、嘴巴）和其余成分分開，并教一個深度學(xué)習(xí)網(wǎng)絡(luò)在真實圖像中找到它們的等價物，并將它們轉(zhuǎn)化為真實的樣子。 這個方向有很多挑戰(zhàn)，DeepFaceDrawing試圖用新的想法和以前的知識來解決，但是這個想法仍然存在問題，我們希望在下一個版本中得到解決，這個應(yīng)用程序的質(zhì)量和準(zhǔn)確性會提高。
官網(wǎng)，論文和DEMO代碼都在這里：http://geometrylearning.com/DeepFaceDrawing/作者：Ehsan Mrh

*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。

電容相關(guān)文章:電容原理
電容傳感器相關(guān)文章:電容傳感器原理