基于FPGA的高動(dòng)態(tài)范圍圖像信號(hào)處理設(shè)計(jì)方案

視頻圖像信號(hào)處理（ISP）從模擬信號(hào)時(shí)代發(fā)展而來，已經(jīng)經(jīng)歷了很長一段時(shí)期。今天，數(shù)字信號(hào)處理實(shí)現(xiàn)了可以在位級(jí)進(jìn)行圖像數(shù)據(jù)處理，為圖像質(zhì)量提供了前所未有的控制。數(shù)字信號(hào)處理顯然不等同于數(shù)字信號(hào)處理器或DSP.雖然DSP已經(jīng)被廣泛用于視頻圖像信號(hào)處理的數(shù)字領(lǐng)域，ISP可以由各種處理器件實(shí)現(xiàn)，如DSP、ASIC、ASSP和越來越多的現(xiàn)場(chǎng)可編程門陣列，即FPGA.

為什么使用FPGA？

有幾個(gè)原因推動(dòng)了FPGA的日益普及。這些原因中的兩個(gè)反映了安防攝像機(jī)的最新趨勢(shì)，大大增加了需要處理的圖像數(shù)據(jù)量，第三個(gè)是經(jīng)濟(jì)方面原因，即攝像機(jī)元器件材料成本（BOM）。

安防攝像機(jī)的趨勢(shì)：有兩個(gè)主要趨勢(shì)正在改變安防攝像機(jī)的結(jié)構(gòu)設(shè)計(jì)方法：
　　1. 百萬像素傳感器的問世
　　2. 對(duì)高（或?qū)挘?a class="contentlabel" href="http://m.butianyuan.cn/news/listbylabel/label/動(dòng)態(tài)范圍">動(dòng)態(tài)范圍（HDR/WDR）的需要

百萬像素傳感器

曾經(jīng)有一段時(shí)間，VGA分辨率傳感器對(duì)于安防目的的攝像機(jī)來說已經(jīng)足夠了，當(dāng)時(shí)通常由操作人員來監(jiān)查或者僅是存檔以備日后查看。然而，隨著安防攝像頭在全球范圍內(nèi)使用的數(shù)量急劇增加，沒有足夠的操作人員來監(jiān)查，所以安防產(chǎn)業(yè)已經(jīng)開始依靠軟件來分析視頻，用以監(jiān)控是否在“關(guān)注的區(qū)域”有任何異常發(fā)生，無論是實(shí)時(shí)的或留作日后分析。復(fù)雜的視頻分析（VA）算法已發(fā)展到可以將異常情況從正常情況中分辨出來；然而，為了更加切實(shí)有效，這些算法需要比VGA分辨率的攝像機(jī)所能提供的更多的細(xì)節(jié)信息。

攝像機(jī)需要更高的分辨率使得VA能夠識(shí)別出有限和/或大面積區(qū)域內(nèi)的一般活動(dòng)，例如：一個(gè)停車場(chǎng)。一個(gè)攝像機(jī)需要約30像素/輸入用于車牌識(shí)別，以及約150像素/輸入用于查看更細(xì)節(jié)的活動(dòng)，如確定收銀機(jī)交易。一百萬像素涵蓋了7英尺X 7英尺范圍內(nèi)的詳細(xì)信息，并且4個(gè)VGA攝像頭才能抵得上一個(gè)一百萬像素的攝像頭。

圖像傳感器已經(jīng)開發(fā)出來并且已經(jīng)商業(yè)投產(chǎn)，適用于1百萬、2百萬、5百萬甚至1千萬像素的分辨率。顯然，隨著像素?cái)?shù)的增加，因此必須處理的數(shù)據(jù)量也利用了更高的分辨率這一優(yōu)勢(shì)。

高動(dòng)態(tài)范圍（HDR）

HDR也稱為寬動(dòng)態(tài)范圍（WDR），用以測(cè)量傳感器和ISP功能是否能夠很好地區(qū)分黑暗和明亮區(qū)域。我們都對(duì)業(yè)余拍攝的以太陽為背景的家庭照片非常熟悉。雖然沐浴在陽光下的風(fēng)景明亮清晰，但是人們的臉上都非常暗。這是因?yàn)椋ㄍǔＪ亲詣?dòng)）相機(jī)調(diào)整在陽光下的場(chǎng)景的曝光。然而，這個(gè)曝光時(shí)間太短，以至于無法正確識(shí)別較暗的對(duì)象。如果手動(dòng)設(shè)定曝光或者使得光圈獲得更多的光線，這樣就能分辨出暗部的細(xì)節(jié)，但是這樣做的結(jié)果是，現(xiàn)在明亮區(qū)域的細(xì)節(jié)已經(jīng)過度曝光，甚至徹底洗白。這對(duì)于操作人員或者VA軟件來說都不是一個(gè)好的結(jié)果，因?yàn)楹芏嚓P(guān)注區(qū)域的細(xì)節(jié)信息都已經(jīng)丟失。

HDR傳感器使用創(chuàng)造性的方式解決了這個(gè)問題，根據(jù)不同的曝光時(shí)間拍攝多張照片，然后通過ISP流水線組合并融合這些圖像，保存并呈現(xiàn)所關(guān)注區(qū)域的亮部和暗部區(qū)域的細(xì)節(jié)信息。顯然，當(dāng)對(duì)于同一個(gè)圖像進(jìn)行多次曝光，造成了所需處理的數(shù)據(jù)量增加。例如，當(dāng)一臺(tái)攝像機(jī)可以輸出每秒60幀的全高清1080p圖像，帶有HDR傳感器，每幀3次曝光，在其工作時(shí)，攝像機(jī)內(nèi)的ISP流水線實(shí)際處理的是60× 3，即相當(dāng)于180幀每秒。

FPGA和增加的處理負(fù)荷

一個(gè)百萬像素的傳感器和HDR相結(jié)合大大提高了ISP流水線的處理負(fù)荷。DSP器件本質(zhì)上是“順序處理引擎”，很難負(fù)荷巨大的數(shù)據(jù)處理負(fù)載。它可能仍然可以處理我們上述示例中高端DSP中的1080p 60HDR流水線的數(shù)據(jù)，但成本和功耗高得令人望而卻步，并且在經(jīng)濟(jì)上無法負(fù)擔(dān)。FPGA由于其固有的并行性，非常適合承擔(dān)高清、高動(dòng)態(tài)范圍圖像信號(hào)處理所增加的負(fù)載。