針對手機的Milbeaut圖像信號處理LSI芯片
MBG046是最新一代Milbeaut Mobile ISP處理器。其基本操作包括實時轉(zhuǎn)換和校正從傳感器輸出到與外部輸出模塊連接的應(yīng)用處理器(圖2未顯示)的原始影像信號。因此,該ISP針對手機攝像系統(tǒng)進行了優(yōu)化,它使得應(yīng)用處理器可以在屏幕上顯示接收到的圖像數(shù)據(jù),并將數(shù)據(jù)存儲在存儲裝置中,而無需進行修改。
1)高速圖像處理
如第3部分所述,該圖像處理器可完成基本的圖像處理功能。它能以最多24幀/秒(fps)的速度處理8MB的??圖像,以60fps以上的速度處理高清圖像。
作為圖像處理器一部分的預(yù)處理器可接收來自圖像傳感器的原始影像信號,并對其進行順次轉(zhuǎn)換和校正處理。它還能收集有關(guān)圖像數(shù)據(jù)的統(tǒng)計數(shù)據(jù)。這些統(tǒng)計數(shù)據(jù)被用在軟件運算中,可幫助獲取合適的白平衡和曝光時間。計算結(jié)果被用于重置硬件,使其能夠完成基本的攝像操作。因此,幾乎所有基本的圖像處理功能都是在硬件中完成的,這有利于實現(xiàn)高速處理和低功耗。
2)強降噪
由于Milbeaut Mobile ISP針對的是內(nèi)置于手機中的相機,所以與之配套使用的鏡頭和圖像傳感器通常比數(shù)碼相機中所用的便宜,這就給圖像質(zhì)量造成了問題。在這種情況下,應(yīng)對圖像噪聲顯得尤為重要。
為此,我們給圖像處理器配備了強于數(shù)碼相機中所用的降低亮度噪聲和色彩噪聲的機構(gòu)。為了在不損失分辨率的情況下消除噪聲,我們在MBG046中融入了最新技術(shù),使其能夠同時運用與圖像特征匹配的不同去噪方法。
3)快速圖像處理
面向手機的產(chǎn)品必須被配置為能與下一處理階段中的應(yīng)用處理器連接。除非來自傳感器的原始影像信號被轉(zhuǎn)換和校正后,結(jié)果盡快被發(fā)送到應(yīng)用處理器,否則對響應(yīng)敏感的項目(比如視頻)就會延時。如圖2所示,Milbeaut Mobile ISP之所以能達到這種速度,是因為它用直接發(fā)送經(jīng)過圖像處理單元處理的圖像數(shù)據(jù)到圖像輸出單元的功能,替代了通過SDRAM完成各種插值處理的常見方法。這幾乎完全消除了因轉(zhuǎn)換和校正原始影像信號導(dǎo)致的延時——延時被減至一張圖像傳輸時間的1%以下。
4)軟件配置
MBG046的軟件棧如圖3所示。攝像系統(tǒng)必備的軟件處理包括硬件順序控制和與“3A模塊”(自動白平衡調(diào)整、自動曝光調(diào)整和自動對焦)有關(guān)的運算。硬件控制器對不同的獨立圖像處理硬件裝置進行定時控制,使它們執(zhí)行圖像處理流程的一個序列。3A模塊通過從裝置驅(qū)動器獲取的亮度、色彩平衡和空間頻率信息計算出合適的曝光、白平衡和焦點。通過將那些涉及到的處理復(fù)雜但運算量小的部分交給軟件,而把那些涉及到大運算量圖像數(shù)據(jù)處理的部分歸于專用硬件,我們可以讓軟件的運算負荷維持在低水平,同時維持圖像處理性能。這使得CPU資源可被用于進行其它的軟件圖像處理(運動補償、人臉檢測等),它有助于打造一套靈活而具有先進處理能力的系統(tǒng)。
圖3 MBG046軟件棧
5. 結(jié)論
了解富士通針對手機的最新Milbeaut Mobile圖像信號處理器的演變、體系結(jié)構(gòu)和功能之后,我們可以預(yù)期隨著移動終端性能的繼續(xù)穩(wěn)步提升,要想讓相機功能繼續(xù)向著更低功耗、更快靜態(tài)成像、更小相機模塊外形、以及更高視頻數(shù)據(jù)容量和幀速率——伴隨更快的網(wǎng)絡(luò)信道——的目標邁進,市場對圖像信號處理器的要求定會不斷提高。富士通會繼續(xù)開發(fā)擁有最佳性能和功能的圖像信號處理器,為我們打造符合這些趨勢的可靠產(chǎn)品線創(chuàng)造條件。
評論