精美影像背后的技術(shù)玄機(jī)

影像是如何生成的？

在使用普通的傳統(tǒng)相機(jī)時(shí)，光學(xué)系統(tǒng)把捕捉到的光打在膠卷上，隨后人們就可以通過(guò)一個(gè)化學(xué)過(guò)程對(duì)其進(jìn)行曝光和沖洗。而在使用數(shù)碼相機(jī)或攝影手機(jī)時(shí)，光仍然要通過(guò)由多個(gè)單元鏡頭和一個(gè)鏡桶組成的光學(xué)系統(tǒng)，不同的是，現(xiàn)在光是打在由行和列組成的數(shù)字傳感器陣列上，這一陣列由幾百萬(wàn)個(gè)微小像素組成。例如，1280 1024像素的傳感器為1.3 mp（百萬(wàn)像素） 傳感器。圖1為帶有三個(gè)單元鏡頭的定焦攝像手機(jī)示例。

當(dāng)光打在像素陣列上之前，它要通過(guò)彩色濾光片，確保只有紅、綠或藍(lán)色光到達(dá)每個(gè)像素上。光打在每個(gè)像素上，首先生成一個(gè)模擬信號(hào)，該模擬信號(hào)再通過(guò)模數(shù)轉(zhuǎn)換器（adc）轉(zhuǎn)變?yōu)閿?shù)字信號(hào)。這一數(shù)字信號(hào)然后被發(fā)送到稱之為成像管道（image pipe 或i-pipe）的地方。成像管道由一系列過(guò)濾處理器組成，經(jīng)過(guò)過(guò)濾處理器處理后會(huì)使影像信號(hào)看起來(lái)更加逼真。

成像管道可調(diào)節(jié)白平衡和顏色，并用“捕獲方式”改變圖片所帶的某些異常情況，例如：鏡頭陰影、影像幾何變形、偏離鏡頭中心時(shí)圖片清晰度下降以及數(shù)字傳感器噪聲。處理器或成像管道也可以壓縮影像，使用jpeg格式生成可以快速寫(xiě)入存儲(chǔ)介質(zhì)的影像，這一壓縮影像文件較小，但很精確。臨時(shí)存儲(chǔ)區(qū)也稱為緩沖區(qū)，圖片在被壓縮以實(shí)現(xiàn)最終存儲(chǔ)之前保存在緩沖區(qū)里。攝像手機(jī)中使用的基本功能模塊有鏡頭、圖像傳感器、post processing、存儲(chǔ)器等。

光線預(yù)處理

紅外線濾鏡的作用是擋住超過(guò)780nm的紅外線并使光譜的可見(jiàn)光部分通過(guò)，從而確保傳感器僅聚焦于肉眼所看到的事物，并優(yōu)化色彩整合。這就好像在音響設(shè)備中，對(duì)大于22 khz的聲音不做處理一樣，因?yàn)槿藗兏韭?tīng)不到這些聲音，所以音響組件根本不需要對(duì)這些會(huì)降低效率或使可聽(tīng)到的聲音失真的超量信息進(jìn)行處理。如果不以這種方式將紅外線擋住，這些紅外線會(huì)使影像變得模糊不清，并會(huì)降低鏡頭所形成影像的清晰度。紅外濾鏡分為吸收型和反射型兩種。

在這個(gè)過(guò)程中，還使用了顯微透鏡對(duì)昏暗的光線進(jìn)行預(yù)處理，使光線以盡可能垂直的方向準(zhǔn)確折射成像。顯微透鏡可以增強(qiáng)像素的光學(xué)靈敏度，通常位于色彩濾鏡陣列（cfa）之上。

色彩濾鏡陣列——bayer濾鏡

光電二極管只能感應(yīng)光線亮度，不能感應(yīng)色彩信息。因此，必須使用某種機(jī)制以人工的方式增強(qiáng)它對(duì)不同色彩的靈敏度，從而向人眼呈現(xiàn)不同的顏色。色彩濾鏡陣列的作用是確保每個(gè)傳感器像素只會(huì)收到一種顏色的光：通常是紅、綠、藍(lán)三種顏色。色彩濾鏡陣列可以使用不同的模式。由于人眼感應(yīng)色彩的方式和人眼對(duì)綠色的靈敏度是其對(duì)紅色和藍(lán)色靈敏度的兩倍這一事實(shí)，要模仿人眼的感應(yīng)方式，相機(jī)需要使用更多的綠色像素來(lái)表現(xiàn)會(huì)被人們認(rèn)為是正確顏色的影像。

bayer 模式交替使用一組紅色和綠色濾鏡以及一組綠色和藍(lán)色濾鏡，其中綠色像素的總數(shù)為紅色和藍(lán)色像素之和。用bayer濾鏡制作的原始輸出是紅、藍(lán)、綠三種顏色像素的相互鑲嵌，但各種顏色像素的強(qiáng)度不同，這主要取決于光線照在某一特定像素上的角度。圖2所示為數(shù)碼相機(jī)中顯微透鏡和濾鏡結(jié)構(gòu)與傳感器陣列結(jié)合使用的方式。

demosaicing算法

在用色彩濾鏡陣列生成影像時(shí)，有四種不同的像素決定著每個(gè)像素的顏色。這就形成了一個(gè)不同色彩的組合，但看起來(lái)還不像一個(gè)真正的影像。為此，使用了一種算法。這種算法使用距離目標(biāo)像素最近的像素的平均色彩值來(lái)盡可能完美地模擬目標(biāo)像素的真正顏色。這種插入缺失值的方法稱為demosaicing。有多種demosaicing算法，例如雙線性內(nèi)插法。圖3所示為使用bayer色彩濾鏡陣列模式對(duì)影像進(jìn)行馬賽克化的方式。圖4所示為通過(guò)demosaicing算法將同一個(gè)影像表現(xiàn)為真正影像的方式。

白平衡

在用膠卷攝影時(shí)，可根據(jù)拍攝光線的類型調(diào)整白平衡設(shè)置，例如：室內(nèi)日光燈、鈉燈、鹵鎢燈、室外晴天和室外陰天。如果不進(jìn)行校正的話，例如，在日光燈下拍攝的圖片會(huì)偏綠，而在室外晴天的情況下拍攝的圖片可能又有點(diǎn)偏黃。自動(dòng)白平衡校正可以確保影像中的白色與觀察者看到的真正的白色一樣。圖5中左側(cè)的影像是在2856k鹵鎢燈照明的條件下拍攝的，但是對(duì)它進(jìn)行了標(biāo)準(zhǔn)的自動(dòng)白平衡處理。一個(gè)高級(jí)的自動(dòng)白平衡（awb）系統(tǒng)，可根據(jù)影像拍攝的照明條件，使影像幾乎呈現(xiàn)為真正的白色。圖5中右側(cè)的影像為經(jīng)過(guò)改進(jìn)的自動(dòng)白平衡處理后的影像。

影像還原：消除不必要的人為因素

在膠卷世界中，可以與噪聲劃等號(hào)的是膠卷的顆粒度。因此，asa400膠卷要比asa 100膠卷的顆粒大。在cmos或ccd傳感器中，有好幾種不符合要求的噪聲源。必須消除這些噪聲源或減輕它們的影響。

（1）固定模式噪聲（fpn）：這種噪聲會(huì)在每張拍攝的照片中產(chǎn)生同樣的噪聲模式。減輕這種噪聲的具體方法為：在“黑暗”中讀取照片（在無(wú)光的情況下曝光），然后用標(biāo)準(zhǔn)讀數(shù)（正常曝光的情況下）減去這個(gè)結(jié)果。黑暗級(jí)的輸出電流是指在沒(méi)有照明的條件下所產(chǎn)生的平均輸出級(jí)別。因此，它包含光電二極管的泄漏電流。人們常常用視覺(jué)黑像素作為參考像素，來(lái)查找黑暗電流并對(duì)它進(jìn)行相應(yīng)的校正。視覺(jué)黑像素是指不參與感光的像素。 （2）隨機(jī)噪聲。隨機(jī)噪聲是指周?chē)h(huán)境產(chǎn)生的噪聲。溫度越高，離開(kāi)軌道的電子就越多，同時(shí)還會(huì)在傳感器中產(chǎn)生隨機(jī)噪聲信號(hào)。傳感器電路散熱或者環(huán)境溫度升高都會(huì)加劇這種噪聲。在夏季，用放在車(chē)內(nèi)的攝像手機(jī)所拍攝的照片比將它放在涼爽的大樓中拍攝的照片要差很多。
在某些用于天文觀測(cè)的復(fù)雜數(shù)碼slr和相機(jī)中，為了將熱噪聲降低到最小程度，甚至?xí)鞲衅鞣庋b在迷你冰箱中。一些高端天文照相機(jī)使用液氮來(lái)降低傳感器的溫度。在開(kāi)氏零度或攝氏 273度，從理論上講，電子中不存在動(dòng)能，因此，也就沒(méi)有噪聲。在光線較弱的情況下，信噪比較低，影像中的噪聲較多。 （3）像素干擾（pixel cross talk）。像素干擾是指通過(guò)一個(gè)像素的光線交叉進(jìn)入鄰近的像素所產(chǎn)生的一種混亂狀態(tài)。例如，一個(gè)紅色的像素讓“紅色的”光進(jìn)入鄰近的藍(lán)色像素，引起藍(lán)色像素中信號(hào)增加而紅色信息中影像信息丟失。

在比較高端的傳感器中，可通過(guò)使用另外一個(gè)顯微透鏡通過(guò)再次曲光來(lái)進(jìn)一步降低像素，這樣就可以將光線交叉進(jìn)入鄰近像素引起像素交叉干擾的機(jī)會(huì)降到最小的程度，見(jiàn)圖6。

有時(shí)，用分辨率較高的傳感器拍出的影像比用較低分辨率的傳感器拍出的影像的質(zhì)量還要差。這是因?yàn)橄袼財(cái)?shù)量只是進(jìn)行信息采集的一個(gè)方式。像素大小還決定著信噪比的大小?？偟膩?lái)說(shuō)，較大的像素尺寸要比較小的好，這是因?yàn)橄袼爻叽巛^大，收集光線的面積較大，因此，可以捕獲更多光子，與存在的所有噪聲相比，這會(huì)產(chǎn)生較大信號(hào)。這也就是有些5 mp 數(shù)碼相機(jī)所生成的圖片不如3mp相機(jī)質(zhì)量好的原因。

相對(duì)于一個(gè)特定的半導(dǎo)體生產(chǎn)工藝而言，不論像素有多大，所產(chǎn)生的噪聲幾乎是相同的，而且信號(hào)隨著像素尺寸的增大而增強(qiáng)，所以，對(duì)一個(gè)類似的過(guò)程來(lái)說(shuō)，像素越大，影像越好、越清晰。

實(shí)時(shí)缺陷校正

在傳感器上總是有一些不盡人意的有缺陷的像素和區(qū)域。在生產(chǎn)過(guò)程中，傳感器中可能會(huì)帶入了一些光學(xué)污點(diǎn)或電路故障。這可能會(huì)產(chǎn)生非常不理想的視覺(jué)效果，導(dǎo)致與入射光不一致或非線性反應(yīng)的產(chǎn)生。有時(shí)，像素還可能出現(xiàn)一些電子異常，如某些像素輸出較高，而其他像素則輸出較低，從而產(chǎn)生比可以接收的平均水平要低的輸出。

i-pipe可以通過(guò)測(cè)量像素的輸出并將其與鄰近像素的平均值進(jìn)行對(duì)比來(lái)確定是否某個(gè)像素存在缺陷。如果該像素輸出與鄰近像素輸出的平均值之差大于某個(gè)容許極限值，該像素將被標(biāo)記為壞像素，它的輸出不再有效?？梢杂脙?nèi)差值法替換那個(gè)目標(biāo)像素所在位置的輸出值，具體方法如下：獲得鄰近像素的輸出值，并求出它們的平均值，這樣就可以得出壞像素的“模擬”輸出。這種缺陷校正存在的問(wèn)題是：有時(shí)它會(huì)降低整行的線分辨率，除非以保守的方式使用。此外，還可以使用其他專用方法和算法來(lái)減輕這種缺陷。

增強(qiáng)降質(zhì)影像的分辨率或清晰度

現(xiàn)在，我們已經(jīng)了解了光線通過(guò)光學(xué)鏡頭、bayer矩陣以及一個(gè)或多個(gè)顯微透鏡的方式以及如何使用demosaicing、插值（interpolation）、消除黑角、缺陷校正等方法重現(xiàn)影像。進(jìn)行這么多人為的電子處理會(huì)使最后的影像比它原本的顏色要暗。這就要求使用另一種過(guò)濾處理器，比較有代表性的是一種可以恢復(fù)影像表面清晰度的平滑影像邊緣技術(shù)。通過(guò)向經(jīng)過(guò)校正的影像添加部分高通（high-pass）信號(hào)（僅是高頻信號(hào)）就可以獲得所需的清晰度。噪音銳化的程度取決于所添加高通信號(hào)的多少。

消除黑角

黑角是指由于鏡頭和鏡桶的原因在圖片邊緣生成的陰影或黑影。消除黑角技術(shù)可以校正這種異常，通過(guò)將黑角的照明比校正為影像中心的照明比，影像看起來(lái)就好像沒(méi)有不正常的陰影了。

后期處理增強(qiáng)效果

圖7所示為改進(jìn)的demosaicing技術(shù)如何提高影像質(zhì)量的方式。左側(cè)的影像使用了典型demosaicing算法進(jìn)行了處理。在這張影像中有一種稱為圣誕樹(shù)燈光效果（christmas tree lights effect）的影像缺陷，帶有彩光。改進(jìn)的demosaicing算法可以大大降低甚至消除這種效果，如右圖所示。

圖8所示為通過(guò)增強(qiáng)明暗區(qū)域?qū)Ρ葋?lái)增強(qiáng)影像效果的示例，通過(guò)提高明暗對(duì)比度，可以提高影像的豐滿度和色彩質(zhì)量。在cmos影像傳感器內(nèi)使用自適應(yīng)色調(diào)調(diào)整（adaptive tone mapping）技術(shù)，通過(guò)擴(kuò)展動(dòng)態(tài)范圍來(lái)產(chǎn)生更真實(shí)、更豐富的色彩。圖8中下面的影像使用了自適應(yīng)色調(diào)調(diào)整技術(shù)，并通過(guò)自動(dòng)調(diào)節(jié)色調(diào)分布圖提高了影像的亮度和對(duì)比度。這樣就提高了明暗區(qū)域的對(duì)比度，改變了曝光不足或曝光過(guò)強(qiáng)的影像，并且，產(chǎn)生了更明亮、更生動(dòng)的色彩再現(xiàn)效果。

圖9為安捷倫公司提供的整個(gè)成像系統(tǒng)結(jié)構(gòu)圖。從這張圖可以看出，i-pipe影像處理階段是在將信號(hào)凈化、銳化并增強(qiáng)后，但還沒(méi)有輸出為顯示或存儲(chǔ)在內(nèi)存中之前進(jìn)行的。

總結(jié)

現(xiàn)在，我們已經(jīng)了解了光線通過(guò)光學(xué)鏡頭、bayer矩陣以及一個(gè)或多個(gè)顯微透鏡的方式以及如何通過(guò)定型以及調(diào)整重現(xiàn)精美影像的過(guò)程。隨著攝像手機(jī)從低端產(chǎn)品發(fā)展為帶有較好分辨率和影像質(zhì)量的中端數(shù)碼相機(jī)，不但需要極好的影像后期處理技術(shù)，而且還需要今天數(shù)碼相機(jī)中已經(jīng)采用的基本功能。

光學(xué)變焦、自動(dòng)對(duì)焦和photo strength 閃光等功能需要進(jìn)行內(nèi)部影像處理以及i-pipe早期階段不需要的支持功能。i-pipe的神奇之處在于可支持類似于數(shù)碼相機(jī)的功能，但是這又帶來(lái)了另一層復(fù)雜性。它面臨著雙重挑戰(zhàn)，一方面要確保自己強(qiáng)大的功能，另一方面是以如今價(jià)格高度敏感的攝像手機(jī)市場(chǎng)中令人心動(dòng)的價(jià)格始終如一地提供一流的影像質(zhì)量。