人臉專集知識(shí)鞏固2 | 人臉關(guān)鍵點(diǎn)檢測(cè)匯總
今天應(yīng)該是“計(jì)算機(jī)視覺研究院”人臉專集的第2期,我們主要涉及目標(biāo)檢測(cè)與識(shí)別,主要在人臉領(lǐng)域做更多的詳解。
接下來,我們針對(duì)人臉配準(zhǔn)該領(lǐng)域詳細(xì)講解一次,今日主要涉及的就是人臉關(guān)鍵點(diǎn)檢測(cè),這個(gè)基礎(chǔ)是人臉分析的基礎(chǔ),也是最重要的步驟之一。
簡(jiǎn) 要
在人臉部分和輪廓周圍的基準(zhǔn)人臉關(guān)鍵點(diǎn)位置捕獲了由于頭部移動(dòng)和面部表情造成的剛性和非剛性面部變形。
因此,它們對(duì)于各種面部分析任務(wù)非常重要。多年來,許多人臉關(guān)鍵點(diǎn)檢測(cè)算法都是為了自動(dòng)檢測(cè)這些關(guān)鍵點(diǎn)而發(fā)展起來的,今天,我們對(duì)它們進(jìn)行了廣泛的綜述。
今天所要講解的,將人臉關(guān)鍵點(diǎn)檢測(cè)算法分為三大類:整體方法、約束局部模型(CLM)方法和基于回歸的方法。他們利用面部外觀和形狀信息的方式不同,整體方法顯式地建立模型來表示全局的面部外觀和形狀信息;CLMs顯式地利用全局形狀模型,但構(gòu)建局部外觀模型;基于回歸的方法隱式捕獲人臉形狀和外觀信息。
對(duì)于每一類算法,我們今天就討論它們的基本理論以及它們的不同之處。在不同的面部表情、頭部姿勢(shì)和遮擋情況下,還比較了它們?cè)谑芸財(cái)?shù)據(jù)集和基準(zhǔn)數(shù)據(jù)集上的性能。根據(jù)這些評(píng)價(jià),我們指出了它們各自的優(yōu)缺點(diǎn),最后還單獨(dú)回顧最新的基于深度學(xué)習(xí)的算法。
背 景
人臉在視覺傳達(dá)中起著重要的作用。通過觀察臉部,人類可以自動(dòng)提取許多非語言信息,如人類的身份、意圖和情感。
在計(jì)算機(jī)視覺中,為了自動(dòng)提取這些人臉信息,基準(zhǔn)的人臉關(guān)鍵點(diǎn)(下圖)的定位通常是一個(gè)關(guān)鍵步驟,許多面部分析方法都是建立在對(duì)這些關(guān)鍵點(diǎn)的準(zhǔn)確檢測(cè)的基礎(chǔ)上的。
例如,面部表情識(shí)別和頭部姿態(tài)估計(jì)算法可能嚴(yán)重依賴于關(guān)鍵點(diǎn)位置提供的面部形狀信息。眼睛周圍的面部關(guān)鍵點(diǎn)可以提供瞳孔中心位置的初步猜測(cè),用于眼睛檢測(cè)和眼睛凝視跟蹤。對(duì)于人臉識(shí)別,二維圖像上的關(guān)鍵點(diǎn)位置通常與三維頭部模型相結(jié)合,以“正面化”人臉,并幫助減少顯著的變化,以提高識(shí)別精度。通過面部關(guān)鍵點(diǎn)位置獲取的面部信息可以為人機(jī)交互、娛樂、安全監(jiān)視和醫(yī)療應(yīng)用提供重要信息。
人臉關(guān)鍵點(diǎn)檢測(cè)算法的目的是自動(dòng)識(shí)別面部關(guān)鍵點(diǎn)在面部圖像或視頻中的位置。這些關(guān)鍵點(diǎn)要么是描述人臉部件的獨(dú)特位置(例如眼角)的優(yōu)勢(shì)點(diǎn),要么是將這些優(yōu)勢(shì)點(diǎn)與人臉部件和輪廓連接起來的插值點(diǎn)。形式上,給定一個(gè)以i表示的面部圖像,一個(gè)檢測(cè)算法預(yù)測(cè)d的關(guān)鍵點(diǎn):x={x1,y1,x2,y2,...,xd,yd}的位置,其中x和y是面部圖像關(guān)鍵點(diǎn)的坐標(biāo)。
Holistic methods
整體方法顯式地利用整體面部外觀信息以及全局面部形狀進(jìn)行面部關(guān)鍵點(diǎn)檢測(cè)(下圖)。接下來,我先介紹經(jīng)典的整體方法:主動(dòng)外觀模型(AAM);然后,介紹它的幾個(gè)擴(kuò)展。
AAM
由Taylor和Cootes引入了主動(dòng)外觀模型(AAM)。它是一種統(tǒng)計(jì)模型,用少量的系數(shù)擬合人臉圖像,控制人臉的外觀和形狀的變化。在建模過程中,AAM建立了基于主成分分析(PCA)的全局人臉形狀模型和整體人臉外觀模型。
在檢測(cè)過程中,它通過將學(xué)習(xí)到的外觀和形狀模型與測(cè)試圖像進(jìn)行擬合來識(shí)別關(guān)鍵點(diǎn)位置。
圖A 學(xué)習(xí)形狀變化
圖B 學(xué)習(xí)外觀變化
基于學(xué)習(xí)的擬合方法的分析擬合方法
相比于解析擬合方法,用梯度下降算法求解Hissian矩陣和Jacobian矩陣,基于學(xué)習(xí)的擬合方法采用常量線性或非線性回歸函數(shù)逼近最陡下降方向。因此,基于學(xué)習(xí)的擬合方法通常是快速的,但它們可能不準(zhǔn)確。
分析方法不需要訓(xùn)練圖像,而擬合方法需要訓(xùn)練圖像。基于學(xué)習(xí)的擬合方法通常使用第三PCA來學(xué)習(xí)形狀系數(shù)和外觀系數(shù)之間的聯(lián)合相關(guān)性,從而進(jìn)一步減少未知系數(shù)的數(shù)量,而解析擬合方法通常不這樣做。但是,對(duì)于解析擬合方法,外形系數(shù)和形狀系數(shù)之間的相互作用可以嵌入到聯(lián)合擬合目標(biāo)函數(shù)中。形狀系數(shù)與外觀系數(shù)之間的相關(guān)性可以減少參數(shù)的個(gè)數(shù),這種學(xué)到的相關(guān)性可能不能很好地推廣到不同的圖像。用聯(lián)合擬合目標(biāo)函數(shù)進(jìn)行形狀系數(shù)和外觀系數(shù)聯(lián)合估計(jì)可以得到更準(zhǔn)確的結(jié)果。
其他拓展
特征表示
傳統(tǒng)的AAM方法還有其他擴(kuò)展。一個(gè)特別的方向是改進(jìn)特征表示。眾所周知,AAM模型泛化能力有限,難以擬合不可見的人臉變化(如:跨對(duì)象、光照、部分遮擋等)。
這一限制部分是由于使用原始像素強(qiáng)度作為特征。為了解決這個(gè)問題,一些算法使用了更魯棒的圖像特征。例如,不使用原始像素強(qiáng)度,而是使用小波特征來建模面部外觀。另外,僅利用局部外觀信息來提高對(duì)局部遮擋和光照的魯棒性;采用高斯混合模型的Gabor小波對(duì)局部圖像進(jìn)行建模,實(shí)現(xiàn)了局部點(diǎn)的快速搜索。這兩種方法都提高了傳統(tǒng)AAM方法的性能。
Constrained local methods
如下圖所示,約束局部模型(CLM)方法根據(jù)全局面部形狀模式以及每個(gè)關(guān)鍵點(diǎn)周圍獨(dú)立的局部外觀信息推斷出關(guān)鍵點(diǎn)位置x,與整體外觀相比,該方法更容易捕獲,并且對(duì)光照和遮擋更有魯棒性。
局部外觀模型
與局部外觀模型相關(guān)的問題有幾個(gè)。首先,存在準(zhǔn)確性-魯棒性權(quán)衡。例如,大的局部塊更魯棒,而對(duì)于精確的關(guān)鍵點(diǎn)定位則不太準(zhǔn)確。一個(gè)小塊,更獨(dú)特的外觀信息,將導(dǎo)致更準(zhǔn)確的檢測(cè)結(jié)果。
為了解決這個(gè)問題,一些算法(Ren, S., Cao, X., Wei, Y., Sun, J.: Face alignment at 3000 fps via regressing local binary features. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1685–1692 (2014))將大塊和小塊結(jié)合起來進(jìn)行估計(jì),并在迭代過程中調(diào)整塊的大小或搜索區(qū)域。其次,在基于分類器的方法和基于回歸的方法之間,還不清楚應(yīng)該遵循哪種方法?
基于回歸的方法的一個(gè)優(yōu)點(diǎn)是,它只需要計(jì)算特征和預(yù)測(cè)幾個(gè)樣本塊在測(cè)試中的位移向量。它比基于分類的掃描感興趣區(qū)域內(nèi)所有像素位置的方法更有效。經(jīng)驗(yàn)表明,GentleBoost回歸模型作為基于回歸的外觀模型優(yōu)于GentleBoost分類器作為基于分類器的局部外觀模型。
Regression-based methods
基于回歸的方法直接從圖像外觀到關(guān)鍵點(diǎn)位置的映射學(xué)習(xí)。與整體方法和約束局部模型方法不同的是,它們通常不顯式地建立任何全局人臉模型。相反,面部形狀約束可以隱式嵌入。通常,基于回歸的方法可分為直接回歸法、級(jí)聯(lián)回歸法和深度學(xué)習(xí)回歸法。直接回歸方法在沒有初始化的情況下,在一次迭代中對(duì)關(guān)鍵點(diǎn)進(jìn)行預(yù)測(cè),而級(jí)聯(lián)回歸方法則進(jìn)行級(jí)聯(lián)預(yù)測(cè),通常需要初始的關(guān)鍵點(diǎn)位置?;谏疃葘W(xué)習(xí)的方法要么遵循直接回歸,要么遵循級(jí)聯(lián)回歸。由于它們使用了獨(dú)特的深度學(xué)習(xí)方法,我們之后會(huì)分別討論。
級(jí)聯(lián)回歸方法
與執(zhí)行一步預(yù)測(cè)的直接回歸方法相比,級(jí)聯(lián)回歸方法從對(duì)面部關(guān)鍵點(diǎn)位置(例如均值臉)的初始猜測(cè)開始,并通過不同階段學(xué)習(xí)的不同回歸函數(shù)逐步更新關(guān)鍵點(diǎn)位置(如上圖)。
具體而言,在訓(xùn)練中,在每個(gè)階段,應(yīng)用回歸模型來學(xué)習(xí)形狀索引圖像外觀(例如,根據(jù)當(dāng)前估計(jì)的關(guān)鍵點(diǎn)位置提取的局部外觀)到形狀更新之間的映射。從早期開始的學(xué)習(xí)模型將用于更新下一階段的訓(xùn)練數(shù)據(jù)。在測(cè)試期間,學(xué)習(xí)到的回歸模型依次應(yīng)用于跨迭代更新形狀。
今天就先到這里,下次我們繼續(xù)接著"人臉關(guān)鍵點(diǎn)"相關(guān)知識(shí)進(jìn)行展開講解。接下來給大家展示一些比較成功的案例。
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。