干貨 | 分段的人臉檢測在移動段的應用

人臉領域的技術一直是熱門研究話題，隨著優(yōu)秀算法和先進芯片的進一步成熟，各廠家集成能力的提升，人臉識別技術必將是未來人工智能社會的先驅。結合人臉技術的研究進展，以及出入口系統(tǒng)的應用特點，將會呈現(xiàn)出以下發(fā)展趨勢。

人臉領域的技術一直是熱門研究話題，隨著優(yōu)秀算法和先進芯片的進一步成熟，各廠家集成能力的提升，人臉識別技術必將是未來人工智能社會的先驅。

結合人臉技術的研究進展，以及出入口系統(tǒng)的應用特點，將會呈現(xiàn)出以下發(fā)展趨勢。

隨著芯片價格的下探，人臉識別類產(chǎn)品的價格將會下探，人臉門禁設備在整個出入口系統(tǒng)終端設備中的占比將會越來越高；

當前人臉門禁中，還是需要人員有一定的配合度才能完成人臉識別，完全非配合的人臉識別，必然會導致識別準確率的下降。未來隨著關鍵算法和技術方案的進一步成熟，非配合、無感知的人臉識別門禁產(chǎn)品將會出現(xiàn)，這將會極大提升人臉門禁的使用體驗；

當前的人臉識別主要還是二維空間下的人臉識別，紅外+可見光的雙目人臉識別設備也僅僅是簡單的融合識別方案，還遠沒有達到三維立體識別的程度。未來隨著結構光、TOF等深度傳感技術的進一步成熟，三維人臉識別算法和技術將會出現(xiàn)，這將會極大地提升人臉識別的準確性。

今天主要和大家說的是關于人臉檢測技術。說到手機，相比大家都有屬于自己的手機，那么今天我們就是說說手機移動端上的人臉檢測技術是怎么回事？

概要

由于大量遮擋和部分可見人臉的存在，一般的人臉檢測算法在移動手機端領域表現(xiàn)不佳。一種很有前途的技術去解決局具有挑戰(zhàn)性的人臉部件，尤其是基于人臉分割方法去設計人臉檢測器。

今天，討論了兩種不同的基于分割的人臉檢測方法，即基于候選的檢測和基于端到端回歸的檢測。

第一種方法依賴于生成包含人臉分割信息的人臉候選。今天主要討論了基于人臉分割的人臉檢測器(FSFD)、分割的人臉檢測器(SegFace)和深度分割的人臉檢測器(DeepSegFace)。

但是，候選生成過程需要單獨處理，這可能非常耗時，而且鑒于主動身份驗證問題的性質，這并不是真正必要的。因此，提出了一種新的基于深度回歸的用戶圖像檢測器(Druid)算法，該算法從分類到回歸范式的轉換，避免了候選生成的需要。Druid具有獨特的網(wǎng)絡結構，具有自定義的損失特征，利用一種新的數(shù)據(jù)增強方案使用相對較少的數(shù)據(jù)進行訓練，并且由于它一次輸出人臉及其分段的邊框而具有較快的速度?；诿娌坎考娜四槞z測方法，特別是Druid方法，在兩組移動人臉數(shù)據(jù)的精確召回率和ROC曲線方面均優(yōu)于其他最先進的人臉檢測方法，對遮擋具有良好的魯棒性。

框架&優(yōu)勢

下圖，顯示一個完整的面部樣本分解成面部分割的部件，檢測到其中一個或多個可能會提供關于整個面部下落的強有力的線索。

如果該算法能夠有效地將不同人臉段的檢測結合到一個完整的人臉中，那么可以處理移動設備前攝像頭捕捉到的圖像中的部分人臉。針對這一需求，下面我們也給出了基于人臉分割的人臉檢測(FSFD)、分割的人臉檢測器(SegFace)和深度分割的人臉檢測器(DeepSegFace)三種算法。這些算法利用一種快速的候選生成方案，為人臉和人臉分段提供邊界框，從而從人臉段的候選中檢測人臉。FSFD和SegFace方法采用傳統(tǒng)的特征提取技術和支持向量機(SVM)分類器，而DeepSegFace是一種基于DCNN的分類器，用于區(qū)分有無人臉的方案。

雖然提出的三種算法(FSFD、SegFace、DeepSegFace)速度快、效率高，但仍有很大的改進空間。這些算法的一個主要瓶頸是方案生成階段，它在質量和速度的權衡中存在以下問題：

1)慢速度：候選生成器可以生成多個方案，以保證高召回率，但由于檢測器必須對每一個候選進行評估，這會使流水線速度變慢。例如，（R. Ranjan, V. M. Patel, and R. Chellappa, “Hyperface: A deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition,” CoRR, vol. abs/1603.01249, 2016.

[Online]. Available: http://arxiv.org/abs/1603.01249）使用選擇性搜索，每幅圖像生成大約2000份建議書，但這一過程并不是實時的。

2)召回上限：如果以較高的召回率換取速度，則可以使用較弱的候選生成器，從而產(chǎn)生較少的候選。但是，在這種情況下，檢測器受候選生成器性能的約束，無法在候選生成器不返回任何結果的圖像中檢測人臉。FSFD，SegFace和DeepSegFace使用快速的候選生成器(每個圖像大約有16個候選)，但是無法從候選的失敗中恢復。

3)特別訓練：一種產(chǎn)生少量候選但具有較高召回率的方法是訓練特定的候選生成器，以識別人臉和面部片段。然而，大多數(shù)現(xiàn)成的候選生成器都會檢測出通用對象，因此必須對它們進行再訓練，以檢測人臉。

鑒于基于候選的檢測方法的局限性，新方法就提出了一種基于回歸的端到端可訓練人臉檢測器，用于檢測單個用戶的人臉，完全不需要任何候選生成。這種方法被稱為基于深度回歸的用戶圖像檢測器(Druid)，是一種基于CNN的深度人臉檢測器，它不僅返回人臉邊界框，而且還返回所有存在的人臉分段的邊框，以及每段在一次前向傳遞中的置信度。

Druid使用一種原則性的數(shù)據(jù)增強技術來對相對較少的圖像進行訓練，并且由于它的體系結構和獨立于候選生成階段，它的執(zhí)行速度非?？?。此外，Druid的訓練并不是在類似于基于候選的方法的移動人臉數(shù)據(jù)集上進行的，但由于其獨特的體系結構和數(shù)據(jù)增強方案，它的性能明顯優(yōu)于其他方法。通過訓練中的回歸，增強了人臉的抗縮放能力，并有助于尋找不同尺寸人臉的邊界框。

基于候選檢測

基于候選的方法的一般流程

FSFD

首先進行分段聚類。然后，在svm學習階段，將每個聚類中所有人臉片段集合的第一個子集看作是候選的人臉?？紤]一下在圖像中檢測到的第k段。

人臉候選的邊框是最小的邊框，其中包含來自候選中所有面部分段的所有估計人臉。從直覺上看，在候選中，人臉片段較多且檢測精度較高，該候選成為人臉的概率就越高。此外，在實驗上，我們發(fā)現(xiàn)某些特定的面部片段比其他的更有可能返回人臉，而一些片段提供了比其他集合更精確的邊界框，具有更大的一致性。

線性支持向量機分類器使用表示某些片段和某些組合的似然性的訓練建議集中的下列先驗概率值對所提出的人臉進行訓練。

SefFace

分段的人臉是一種基于分段候選構建的快速淺層人臉檢測器。對于Sk中的每一段，對分類器C進行訓練，以便從該段接受特征f(Sk)，并生成表示人臉存在的分數(shù)。C的輸出分數(shù)存儲在m維特征向量fc中，其中fc中對應于候選中不存在的部分的元素設置為0。

DeepSegFace

DeepSegFace是一種集成深度CNN和基于分段的人臉檢測的體系結構。首先，為每個圖像生成由前面討論的M=9部分的子集組成的候選。然后對DeepSegFace進行訓練，以計算候選作為人臉的概率值。最后，重新排序調整來自網(wǎng)絡的概率值，具有最高重排序得分的候選被認為是該圖像的檢測。DeepSegFace的結構按照模式識別的經(jīng)典范式排列：特征提取、維數(shù)約簡和分類器。該架構的簡單框圖如下圖所示。