AI技術(shù) | 過年黑夜中也可以準(zhǔn)確檢測識別（附論文下載）

在弱光圖像中進(jìn)行人臉檢測具有挑戰(zhàn)性，因為照片數(shù)量有限，而且不可避免地會有噪聲，而這些噪聲往往在空間上分布不均勻，使得這項任務(wù)更加困難。

一、簡要

在弱光圖像中進(jìn)行人臉檢測具有挑戰(zhàn)性，因為照片數(shù)量有限，而且不可避免地會有噪聲，而這些噪聲往往在空間上分布不均勻，使得這項任務(wù)更加困難。一個自然的解決方案是借用多重曝光的想法，即在具有挑戰(zhàn)性的條件下捕捉多個鏡頭以獲得良好曝光的圖像。然而，對單一圖像進(jìn)行高質(zhì)量的多重曝光的實現(xiàn)/近似是很重要的。

幸運的是，如今天分享的所示，由于現(xiàn)在的任務(wù)是人臉檢測而不是圖像增強(qiáng)，因此也不需要如此高質(zhì)量。具體來說，有研究者提出了一種新的經(jīng)常性曝光生成（Recurrent Exposure Generation，REG）模塊，并將其與多重曝光檢測（MED）模塊無縫耦合，從而通過有效地抑制不均勻的照明和噪聲問題來顯著提高人臉檢測性能。REG逐步有效地生成與各種曝光設(shè)置相對應(yīng)的中間圖像，然后由MED融合這些偽曝光，以檢測不同照明條件下的人臉。所提出的方法名為REGDet，是第一個用于弱光人臉檢測的“增強(qiáng)檢測”框架。它不僅鼓勵在不同照明水平上進(jìn)行豐富的交互作用和特征融合，而且還使REG組件的有效端到端學(xué)習(xí)更適合于人臉檢測。

此外，正如發(fā)布的實驗清楚顯示的那樣，REG可以靈活地與不同的面部檢測器耦合，而無需對額外的低/正常光圖像進(jìn)行訓(xùn)練。研究者在DARK FACE微光面部基準(zhǔn)測試中通過徹底的消融測試對REGDet進(jìn)行了測試，其中REGDet僅以微不足道的額外參數(shù)就大大超過了現(xiàn)有技術(shù)水平。

二、背景

作為許多人臉相關(guān)系統(tǒng)的基石，人臉檢測一直吸引著長期的研究關(guān)注。

它在以人為中心的重識別，人工分析中有廣泛的應(yīng)用。盡管近十年取得了巨大的進(jìn)展，但人臉檢測仍然具有挑戰(zhàn)性，尤其是在惡劣光照條件下的圖像。在弱光條件下捕獲的圖像通常會使其亮度降低，強(qiáng)度對比度被壓縮，從而混淆了特征提取，損害了人臉檢測的性能。光照差也會引起惱人的噪音，進(jìn)一步破壞人臉檢測的結(jié)構(gòu)信息。更糟糕的是，一張圖像中的照明狀態(tài)可能在空間上變化很大。為了對不利光照條件下的人臉檢測算法進(jìn)行系統(tǒng)評估，最近構(gòu)建了一個具有挑戰(zhàn)性的基準(zhǔn)-DARK FACE，它顯示了最先進(jìn)的人臉檢測器有明顯的性能下降。例如，DSFD產(chǎn)生的mAP為15.3%，與流行的WIDER FACE基準(zhǔn)測試的90%以上形成鮮明對比。DARK FACE數(shù)據(jù)集上的人臉探測器的顯著性能退化清楚地表明，在弱光條件下檢測人臉仍然極具挑戰(zhàn)性，這是本此分享的主要重點。

可以通過下圖簡單了解下檢測的效果對比：

然而如上圖所示（b-c），還有一個很大的改進(jìn)空間。由于一個原因，圖像增強(qiáng)的目的是提高整個圖像的視覺/感知質(zhì)量，而這與人臉檢測的目標(biāo)并不完全一致。例如，增強(qiáng)有噪聲圖像的平滑操作可能會破壞對檢測至關(guān)重要的特征可識別性。這表明增強(qiáng)和檢測組件之間的緊密集成，并指出了端到端“增強(qiáng)檢測”解決方案。

Low-Light Face Detection

弱光人臉檢測一直吸引著長期的研究。在手工制作特征的時代，人們一直在努力理解和解決非均勻照明的問題。近年來，人們對低分辨率圖像、低光圖像、弱光圖像等低質(zhì)量圖像的數(shù)據(jù)驅(qū)動人臉檢測的方法越來越感興趣。光照變化是現(xiàn)代人臉檢測算法的一個主要挑戰(zhàn)。開創(chuàng)性的方法是通過強(qiáng)度映射來預(yù)處理圖像，如對數(shù)變換和伽馬變換。光度歸一化是另一種常用的方法，它可以在手工制作的特征和基于深度學(xué)習(xí)的方法中抵消不同的光照條件。手工制作的基本特征的方法從圖像差異或梯度等各種先驗得到光照不變性，而基于深度學(xué)習(xí)的方法使用隨機(jī)光度作為增強(qiáng)，以隱式地增強(qiáng)光照不變性。

盡管之前有研究，在極其惡劣的光條件下的人臉檢測已經(jīng)被探索中，部分原因是缺乏高質(zhì)量的標(biāo)簽數(shù)據(jù)。針對這個問題，有研究者提出了一個大型的人工標(biāo)記的低光人臉檢測數(shù)據(jù)集——DARK FACE，并表明現(xiàn)有的人臉探測器在任務(wù)上表現(xiàn)很差。因此，今天分享的工作是在基準(zhǔn)上的激勵和評估，并明顯優(yōu)于以前的藝術(shù)。基線實驗表明，盡管現(xiàn)在取得了顯著的成功，但即使只是使用現(xiàn)有的低光增強(qiáng)方法預(yù)處理圖像，即使是訓(xùn)練良好的人臉檢測器也不太理想。

三、新框架及分析

Recurrent Exposure Generation Module

所提出的REG模塊利用歷史生成的圖像來維護(hù)遞歸神經(jīng)網(wǎng)絡(luò)(RNN)框架中的關(guān)鍵區(qū)域細(xì)節(jié)。從I和初始隱藏狀態(tài)H=0開始，REG遞歸生成遞歸的T中間偽曝光I，表述為：

其中，F(xiàn)θ和Gω分別表示該模塊的編碼器和****，并具有對應(yīng)的參數(shù)θ和ω。由四個級聯(lián)卷積遞歸層組成的編碼器負(fù)責(zé)將輸入圖像轉(zhuǎn)換為多個尺度（層）的特征圖，而由兩個卷積層組成的****學(xué)習(xí)將特征映射解碼回圖像，如上圖所示。

第l層中的REGUFL可用以下方程式來描述：

Pseudo-Supervised Pre-Training of the REG Module

研究者采用了[Z. Ying, G. Li, and W. Gao. A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement. arXiv:1711.00591 [cs]]中提出的相機(jī)響應(yīng)模型，該模型可以描述在沒有相機(jī)信息可用時像素值和曝光比之間的一般關(guān)系。它的BTF是貝伽瑪修正的形式：

作為一個端到端系統(tǒng)，REGDet允許在學(xué)習(xí)期間聯(lián)合優(yōu)化REG和MED模塊。直觀地說，MED提供了面部位置信息來引導(dǎo)REG，以便面部區(qū)域可以被特別地增強(qiáng)來進(jìn)行檢測。下圖的最右欄顯示了一個示例檢測結(jié)果。結(jié)果表明，REGDet成功地定位了更多的中間圖像，而不是簡單地應(yīng)用基礎(chǔ)檢測器定位更多的人臉。

值得注意的是，MED在選擇基礎(chǔ)探測器方面很靈活。在實驗中，一些最先進(jìn)的算法，如DSFD、PyramidBox和S3FD，在嵌入REGDet時都顯示了明顯的性能改進(jìn)。

四、實驗及可視化

Alternative pseudo-exposure generation modules

Results of a4blation study on the proposed REG module