數(shù)碼相機(jī)的圖像處理通道

現(xiàn)在的數(shù)碼機(jī)都是采用CCD(電荷耦合元件)或CMOS感光器件—這些感光器件都是將光信號(hào)轉(zhuǎn)化為電信號(hào)，但兩者的轉(zhuǎn)換方式不一樣。

圖1 CCD的結(jié)構(gòu)

在CCD器件中—有幾百萬(wàn)的感光像素(Pixel)組成的陣列覆蓋在傳感器的表面。曝光后，整個(gè)CCD像素陣列上累積的電荷通過(guò)一定的時(shí)序，列隊(duì)從CCD傳感器的一個(gè)端口讀出，并通過(guò)一個(gè)專用模數(shù)轉(zhuǎn)換芯片進(jìn)行A/D轉(zhuǎn)換。CMOS則直接對(duì)每個(gè)像素的曝光量進(jìn)行A/D轉(zhuǎn)換。然而，CMOS的缺點(diǎn)就是感光度比CCD低，容易出現(xiàn)雜訊，這主要是因?yàn)镃MOS的每一像素的結(jié)構(gòu)要比CCD復(fù)雜，CMOS的感光開(kāi)口不及CCD大_并且CMOS每個(gè)像素旁都搭配一個(gè)ADC放大器，(每個(gè)放大器都是有輕微的差異)，對(duì)比單一放大器的CCD，CMOS計(jì)算出來(lái)的噪聲要比較多。但CMOS相對(duì)于CCD的優(yōu)勢(shì)在于成本低，耗電少，電路較簡(jiǎn)單?；谏鲜龅膬?yōu)缺點(diǎn)，CMOS應(yīng)用在數(shù)碼相機(jī)的低端產(chǎn)品， CCD用在數(shù)碼相機(jī)的中高檔產(chǎn)品。

CMOS傳感器通常以RGB或YcbCr格式輸出像素單元的并行數(shù)據(jù)，伴隨水平和垂直同步以及一個(gè)像素時(shí)鐘，有時(shí)也可以使用外部時(shí)鐘和同步信號(hào)來(lái)控制CMOS傳感器圖像幀的輸出。

圖2 CCD像素的排列

CCD傳感器則不同，輸出為模擬信號(hào)，需要一個(gè)專用芯片(含A/D轉(zhuǎn)換器，時(shí)序發(fā)生器，垂直發(fā)生器)，例如LR38667, AD9943,它可處理模擬信號(hào)，將其A/D轉(zhuǎn)換和產(chǎn)生CCD陣列所需的適當(dāng)時(shí)序。A/D轉(zhuǎn)換器輸出為每個(gè)像素的10位或12位并行數(shù)據(jù)，也伴隨水平和垂直同步以及像素時(shí)鐘。

當(dāng)然，圖像的捕獲過(guò)程不會(huì)在傳感器結(jié)束，相反，這一過(guò)程才剛剛開(kāi)始。讓我們看一下原始圖像(RAW data)在變成顯示器或其他輸出設(shè)備的精美圖像之前要經(jīng)過(guò)那些環(huán)節(jié)。在數(shù)碼相機(jī)中，這些處理環(huán)節(jié)被成為“圖像處理通道”。圖中給出了一個(gè)可能的流程。這些算法通常由專用的DSP來(lái)處理。例如ATMEL 公司的AT76C113，此DSP含自動(dòng)測(cè)光，自動(dòng)對(duì)焦，自動(dòng)白平衡。

對(duì)焦和測(cè)光系統(tǒng)
在你按相機(jī)的按制時(shí)，相機(jī)進(jìn)行自動(dòng)測(cè)光和自動(dòng)對(duì)焦，自動(dòng)對(duì)焦，DSP根據(jù)事先預(yù)設(shè)的區(qū)域，控制鏡頭作動(dòng)，不斷運(yùn)算，得出鏡頭的最清晰點(diǎn)，從而控制鏡頭到清晰點(diǎn)位置。自動(dòng)_光，測(cè)量預(yù)先設(shè)定區(qū)域的亮度，通過(guò)調(diào)節(jié)快門速度或光圈大小來(lái)對(duì)曝光過(guò)度或曝光不足區(qū)域進(jìn)行補(bǔ)償，其主要目標(biāo)是維持圖像中不同區(qū)域之間的相對(duì)對(duì)比度，并達(dá)到要求的平均亮度。

圖像壞點(diǎn)補(bǔ)點(diǎn)(圖像預(yù)處理)
傳感器是高度精密的元器件，由于制造工藝等因素的影響，通常含有一些
缺陷像素，所以，一般的圖像補(bǔ)點(diǎn)處理技術(shù)通過(guò)中值濾波來(lái)消除。這種技術(shù)依賴于這樣的事實(shí)，即像素間的急劇變化是不正常，因?yàn)楣鈱W(xué)過(guò)程只能稍微使圖像變得不清楚。下圖為補(bǔ)償缺陷像素的方法。

白平衡(圖像預(yù)處理)
當(dāng)我們看到一幅場(chǎng)景時(shí)，無(wú)論光線條件如何，我們的眼睛都能將場(chǎng)景內(nèi)的所有事物都轉(zhuǎn)換成同樣的一套自然色彩。但圖像傳感器對(duì)顏色的“感知”很大程度上取決于光線條件，因此它需要映射其獲得的圖像，使最終輸出看起來(lái)不受光線的影響。這種圖像映射可通過(guò)手動(dòng)或自動(dòng)完成。如圖左為傳感器出來(lái)的原始圖片，通過(guò)對(duì)傳感器輸出的紅，綠，藍(lán)的像素?cái)?shù)據(jù)乘以不同的倍數(shù)進(jìn)行校正，使出_的_色同人眼感覺(jué)一致。

預(yù)處理還有一個(gè)鏡頭校正(陰影或畸變)，這套算法解決了輸出圖像和與用戶看到實(shí)際場(chǎng)景之間偏差的鏡頭的物理屬性問(wèn)題。不同的鏡頭會(huì)產(chǎn)生不同的畸變。例如：鏡頭的陰影畸變減低了鏡頭周圍區(qū)域的亮度，色差失常會(huì)使圖像周圍出現(xiàn)色彩版紋，因此DSP要對(duì)圖像進(jìn)行數(shù)學(xué)變換，以校正畸變。

去馬賽克，像素內(nèi)插，降噪以及邊緣銳化成
去馬賽克可能是圖像處理管道中最重要且運(yùn)算量最大的操作。通常各個(gè)廠商都有自己的方法。但一般來(lái)說(shuō)可歸納為幾類主要的算法。

雙線性插值或雙三插值等非自適應(yīng)算法屬于最簡(jiǎn)單易行的方法，非常適合圖像的平滑區(qū)域。但用這些算法處理邊緣或紋理豐富的區(qū)域會(huì)出現(xiàn)問(wèn)題，那些可根據(jù)局部圖像特點(diǎn)進(jìn)行調(diào)整的自適應(yīng)算法可以提供更好的處理紋理。

自適應(yīng)算法的一個(gè)例子是基于邊緣導(dǎo)向的重構(gòu)，這種算法分析像素的區(qū)域并確定在那個(gè)方向內(nèi)插。如果它在像素周圍附近找到邊緣，則順著邊緣進(jìn)行插值，而不是橫過(guò)邊緣。另一種自適應(yīng)算法是假設(shè)整個(gè)對(duì)象有一個(gè)恒定色掉，這就可以防止在個(gè)別對(duì)象中出現(xiàn)的顏色梯隊(duì)的突變。還有許多的去馬賽克方法，包括頻域分析，神經(jīng)元等。

每像素(Pixel)對(duì)應(yīng)的一個(gè)顏色(R或B，或G)轉(zhuǎn)換為每像素(Pixel)對(duì)應(yīng)3個(gè)顏色R，G，B

顏色轉(zhuǎn)換
在這一階段，內(nèi)插后的RGB圖像轉(zhuǎn)換到目標(biāo)輸出空間，為了壓縮或在LCD，TV顯示圖像，通常要進(jìn)行RGB到Y(jié)uv(YcbCr)的矩陣轉(zhuǎn)換，這往往還包括另外的伽碼校正以適應(yīng)目標(biāo)顯示。在這一階段可能還要按照標(biāo)準(zhǔn)4_2_2格式對(duì)Yuv(YcbCr)輸出進(jìn)行顏色濃度二次采樣，以減少顏色帶寬，從而不會(huì)影響視覺(jué)效果。

后處理
在這一階段，圖像在送到顯示器或存儲(chǔ)媒介之前通過(guò)各種濾波操作得到完善。例如：邊緣增強(qiáng)，降低噪聲以及人工顏色的消除都在此一階段完成。

顯示壓縮和存儲(chǔ)
一旦圖像準(zhǔn)備好用于顯示，圖像管道就會(huì)向兩個(gè)不同的分叉，在第一個(gè)分叉，處理好的圖像輸出到目標(biāo)顯示器，通常是LCD或TV。在第二個(gè)分叉圖像被送到DSP的壓縮算法，在這里先用工業(yè)標(biāo)準(zhǔn)的壓縮技術(shù)(如JPEG)進(jìn)行壓縮，然后再將圖像送到本地的一些存儲(chǔ)器介質(zhì)(通常是一個(gè)非易失的閃存卡，如SD卡CF卡)。