新聞中心

EEPW首頁 > 嵌入式系統(tǒng) > 設(shè)計(jì)應(yīng)用 > DSP在數(shù)碼相機(jī)中的MPEG-4壓縮方案

DSP在數(shù)碼相機(jī)中的MPEG-4壓縮方案

作者: 時(shí)間:2012-05-10 來源:網(wǎng)絡(luò) 收藏

雖然(DSC)投入市場(chǎng)僅幾年時(shí)間,但已經(jīng)使消費(fèi)類電子成像業(yè)發(fā)生了翻天覆地的變化。目前,全球售出的相機(jī)中大約有三分之一是,而且其份額還在穩(wěn)步上升。隨著多兆象素DSC生成分辨率越來越高的圖像而開始挑戰(zhàn)傳統(tǒng)的膠卷像機(jī),消費(fèi)類DSC也正提供智能化操作模式,幫助用戶在各種條件下都能拍攝出更好的照片。視頻模式也已經(jīng)成為消費(fèi)類DSC的標(biāo)準(zhǔn)功能,使用戶能夠快速拍攝多個(gè)照片,以便選擇更好的快照,同時(shí)也使他們能夠保存重大事件的簡(jiǎn)短剪輯。此外,DSC也開始與手機(jī)集成在一起,實(shí)現(xiàn)靜止圖片與剪輯隨時(shí)隨地的快速傳輸。

本文引用地址:http://m.butianyuan.cn/article/257522.htm

隨著瞬息萬變的DSC市場(chǎng)不斷分化,開發(fā)商必須不斷充分利用技術(shù)創(chuàng)新的優(yōu)勢(shì)來細(xì)分其產(chǎn)品。當(dāng)今其中一項(xiàng)創(chuàng)新就是在基于高性能數(shù)字信號(hào)處理器()的消費(fèi)類DSC中引入MPEG-4視頻壓縮技術(shù)。MPEG-4標(biāo)準(zhǔn)使DSC能夠有效提供視頻及其他操作模式,增加所存儲(chǔ)視頻剪輯的數(shù)量,并支持視頻圖像強(qiáng)大可靠的傳輸。可以提供低價(jià)位相機(jī)產(chǎn)品中MPEG-4編碼以及解碼所需要的計(jì)算性能,尤其那些具備支持快速圖像處理架構(gòu)的更是如此??删幊绦允归_發(fā)商在整個(gè)DSC產(chǎn)品線中使用相同的DSP平臺(tái),從而通過軟件優(yōu)化不同產(chǎn)品的成像管道(imagepipe)。

新的壓縮標(biāo)準(zhǔn)

DSC傳統(tǒng)依賴于JPEG壓縮標(biāo)準(zhǔn),其設(shè)計(jì)用于存儲(chǔ)靜止圖像,并且已通過互聯(lián)網(wǎng)而廣為流行。在壓縮中,JPEG采用離散余弦變換(DCT)與量化技術(shù)有效地從包含8×8象素陣列的最小編碼單元(MCU)的數(shù)據(jù)描述中消除大部分空間冗余。然后此算法采用熵或可變長(zhǎng)度編碼(VLC)技術(shù)進(jìn)一步減少存儲(chǔ)與傳輸?shù)膱D像數(shù)據(jù)。圖像解壓的步驟則與此相反。根據(jù)圖像內(nèi)容,盡管壓縮比隨圖像的不同而不同,但是JPEG算法一般情況下可以將象素?cái)?shù)據(jù)壓縮一個(gè)數(shù)量級(jí)而不丟失視覺完整性。

用于動(dòng)畫與視頻的各種MPEG標(biāo)準(zhǔn)采用與JPEG相同的幀內(nèi)技術(shù)入手來壓縮基本的靜止圖像或I幀,然后采用附加的幀間技術(shù)以消除隨后幀中的暫時(shí)冗余。幀間技術(shù)事實(shí)上涉及將每個(gè)連續(xù)幀的16×16象素宏塊壓縮到上一個(gè)幀的宏塊,然后采用運(yùn)動(dòng)估計(jì)與補(bǔ)償技術(shù)來描述宏塊的幀到幀移動(dòng)。這些預(yù)測(cè)幀或P幀只需要描述其從上一幀的改變。然后以應(yīng)用所決定的間隔定期對(duì)I幀進(jìn)行編碼。

圖1說明了一般MPEG視頻壓縮中所涉及的步驟。圖像頂部從輸入到輸出的幀內(nèi)壓縮步驟(DCT、量化與VLC)足以生成I幀。為了創(chuàng)建P幀,剛編碼的幀必須在本地幀緩沖器中被解碼并存儲(chǔ),以便實(shí)現(xiàn)過去幀的逐塊壓縮到未來幀(即運(yùn)動(dòng)估計(jì)),從而實(shí)現(xiàn)幀間壓縮。視頻解碼涉及圖下部的步驟(逆量子化、反向DCT、運(yùn)動(dòng)補(bǔ)償)。除了圖中所示之外,MPEG標(biāo)準(zhǔn)還具有采用獨(dú)立流程的音頻壓縮-解壓算法。


圖1:MPEG視頻壓縮流程圖。

MPEG-4:多媒體標(biāo)準(zhǔn)

MPEG標(biāo)準(zhǔn)在不斷發(fā)展,以適應(yīng)新興的視頻應(yīng)用。最初的MPEG-1標(biāo)準(zhǔn)開發(fā)用于大容量存儲(chǔ)與系統(tǒng)檢索,例如:交互式CD-ROM以及VCD。此后,在MPEG-2中對(duì)該標(biāo)準(zhǔn)進(jìn)行了修改,以支持更高的分辨率、更廣泛的格式以及與HDTV相關(guān)的數(shù)字編碼。由于在DVD中的應(yīng)用,MPEG-2更受青睞。在視頻數(shù)據(jù)庫的要求所驅(qū)動(dòng)下,MPEG-7標(biāo)準(zhǔn)規(guī)定了用于信息搜索的內(nèi)容表述。

MPEG-4開發(fā)用于交互式多媒體應(yīng)用,其中包括那些通過無線連接提供的多媒體應(yīng)用。它與基本H。263視頻壓縮標(biāo)準(zhǔn)共享算法。與早期的MPEG標(biāo)準(zhǔn)相比,MPEG-4為更高密度的圖像提供了更好的壓縮,并為更強(qiáng)大可靠的傳輸提供了更高的容錯(cuò)彈性(errorresilience)。另外,MPEG-4支持在幀中引入對(duì)象類型,從而可以獨(dú)立規(guī)定、壓縮、傳輸和重新組合不同的圖像及圖形單元。但是,該標(biāo)準(zhǔn)的對(duì)象支持功能仍有待開發(fā)切實(shí)可行的實(shí)施方案。到那時(shí),包括DSC在內(nèi)的大部分MPEG-4應(yīng)用可以繼續(xù)基于通常情況下與圖像的完整矩形幀對(duì)應(yīng)的單個(gè)對(duì)象。

高壓縮效率

特定剪輯的壓縮比隨主題的不同而千差萬別,不過一般情況下MPEG壓縮技術(shù)可以將JPEG幀的后續(xù)形式-運(yùn)動(dòng)JPEG(M-JPEG)的壓縮比在相同分辨率下提高一個(gè)數(shù)量級(jí)。進(jìn)一步的壓縮源自幀間技術(shù)的采用。視頻幀一般大約為10萬象素(352×288象素,CIF分辨率)或大約2。5萬象素(176×144象素,QCIF分辨率),而不是一般情況下與JPEG相關(guān)的2~5兆象素。盡管分辨率的這種降低在高質(zhì)量照片中是不能接受的,但是對(duì)于許多消費(fèi)類DSC產(chǎn)品來說卻足夠了,尤其是考慮到它實(shí)現(xiàn)了寫真視頻的采集。

MPEG-4算法充分利用壓縮技術(shù)中的精化功能,將早先的MPEG比率降低了大約20%。高級(jí)可以將每秒15幀(fps)的QCIF視頻圖像從原始視頻數(shù)據(jù)的4。5Mbps壓縮為不到6?kbps,同時(shí)還可以保持適當(dāng)?shù)臑g覽質(zhì)量。在DSC中,使相機(jī)能夠在內(nèi)存中存儲(chǔ)比M-JEPG大幾倍的視頻圖像。

更佳的容錯(cuò)彈性

MPEG-4集成了多種提高容錯(cuò)彈性的新技術(shù),容錯(cuò)彈性是很有用的特性,因?yàn)槿藗冋絹碓蕉嗟貍鬏斃肈SC采集的照片與剪輯。隨著DSC手機(jī)的日益流行,強(qiáng)大可靠的傳輸成為了必不可少的要求。MPEG-4的容錯(cuò)彈性技術(shù)包括:

1)更多的再同步標(biāo)記,其可將所傳輸?shù)臄?shù)據(jù)分成小視頻包,從而使接收方能夠在最小化數(shù)據(jù)丟失情況下恢復(fù)各種傳輸錯(cuò)誤;

2)報(bào)頭擴(kuò)展代碼,其指示每個(gè)數(shù)據(jù)包的報(bào)頭,以防止由于包含重要報(bào)頭信息的視頻幀中第一個(gè)視頻包的破壞而導(dǎo)致潛在的報(bào)頭信息丟失;

3)將視頻數(shù)據(jù)分成運(yùn)動(dòng)與紋理(空間)數(shù)據(jù),通過提高該部分?jǐn)?shù)據(jù)被接收到的幾率而促進(jìn)從錯(cuò)誤恢復(fù);

4)可逆VLC,允許接收方從再同步標(biāo)記后向與前向進(jìn)行解碼,以便在發(fā)生傳輸錯(cuò)誤后恢復(fù)盡可能多的圖像;

5)用于空間及時(shí)間錯(cuò)誤的差錯(cuò)隱藏技術(shù)(在MPEG-4中規(guī)定了幾種技術(shù),這些技術(shù)是對(duì)該算法的補(bǔ)充,而并非其組成部分)。

對(duì)DSP性能與靈活性的需求

由于幀間運(yùn)動(dòng)估計(jì)及補(bǔ)償中涉及其他步驟,因此與解壓算法比JPEG需要強(qiáng)得多的處理能力。所以,DSC中的圖像處理引擎必須能夠達(dá)到更高的性能水平。盡管ASIC能夠?qū)崿F(xiàn)此項(xiàng)任務(wù),但是它不易于結(jié)合到不同DSC產(chǎn)品的成像管道中;另一方面,可編程DSP不但能夠提供MPEG-4算法所需的性能,而且還可以通過軟件優(yōu)化不同系統(tǒng)。另外,還可以對(duì)相同的DSP進(jìn)行編程,使其執(zhí)行JPEG算法,以便在更高分辨率的DSC中推廣使用。因此,整個(gè)DSC產(chǎn)品線可以基于單個(gè)DSP平臺(tái),從而在節(jié)約大量開發(fā)時(shí)間與成本的同時(shí)還能促進(jìn)產(chǎn)品的細(xì)分。

帶成像架構(gòu)的DSP示例

TI推出的TMS320DM270數(shù)字媒體處理器就是一種為DSC等成像應(yīng)用而專門設(shè)計(jì)的高性能DSP。DM270是基于多處理器架構(gòu)之上的,其采用一個(gè)ARM732位RISC微控制器來處理非成像功能,并用作整個(gè)系統(tǒng)的主控制器,同時(shí)采用可編程的C54×DSP核心處理音頻編碼與解碼。另外,DM270還集成了專門設(shè)計(jì)用于處理大部分高計(jì)算要求成像任務(wù)的可編程協(xié)處理器。其中一個(gè)協(xié)處理器-SIMD圖像處理引擎(iM×)執(zhí)行DCT、反向DCT以及眾多其他處理運(yùn)算中的運(yùn)動(dòng)估計(jì)與補(bǔ)償。其他協(xié)處理器執(zhí)行可變長(zhǎng)度編碼/解碼、量化與逆量子化。

圖2展示了DM270的主要功能塊與流程。除了主要的處理器之外,該器件還通過各種通用I/O引腳集成了高速緩沖存儲(chǔ)器、圖像塊緩沖器、以及用于外部存儲(chǔ)器、CCD、LCD或TV輸出及其他通信接口的控制器。專用的圖像預(yù)處理硬件可以消除主處理器的某些任務(wù)負(fù)擔(dān),如:白平衡、自動(dòng)曝光以及自動(dòng)調(diào)焦。

圖2:DM270架構(gòu)。

在外部只需要SDRAM來完善DSC的圖像處理引擎。由于MPEG必須保持附加幀以進(jìn)行運(yùn)動(dòng)估計(jì)與補(bǔ)償,因而在QCIF(176×144)分辨率下,編碼需要大約110千字節(jié)SDRAM。憑借其高度集成與專用架構(gòu),DM270能夠在CIF(352×288)分辨率下處理超過30fps的MPEG-4編碼,同時(shí)能夠在HVGA(6?0×240)分辨率、超過30fps的解碼期間處理超過50%的象素。該器件還支持多媒體中所采用的其他主要視頻、音頻與語音標(biāo)準(zhǔn),而且可以與設(shè)計(jì)用作手機(jī)引擎的DSP一起結(jié)合使用。

DSC手機(jī)與其他新興應(yīng)用

在瞬息萬變的視頻成像消費(fèi)類電子產(chǎn)品市場(chǎng)中,怎么高估編程靈活性的重要性都不為過。DSC正迅速發(fā)展并融入新的應(yīng)用。其中之一是帶有集成相機(jī)的手機(jī),提供靜止圖像與視頻剪輯的采集與傳輸功能。該系統(tǒng)現(xiàn)已投放市場(chǎng)。MPEG-4數(shù)據(jù)可以嵌入多媒體信息服務(wù)(MMS)協(xié)議棧中,從而可以采用無線IP網(wǎng)絡(luò)信息的行業(yè)標(biāo)準(zhǔn)在無線網(wǎng)中輕松傳輸視頻數(shù)據(jù)包。

開發(fā)商可能也希望具備DSP所帶來的靈活性,以便設(shè)計(jì)那些在無線產(chǎn)品中也具備的、其他類型的相機(jī)系統(tǒng),例如:支持基于H。324的視頻會(huì)議的系統(tǒng)。該視頻會(huì)議無線電話采用H。263或MPEG-4來對(duì)視頻進(jìn)行編碼與解碼。另外,可能還需要將訊息發(fā)送功能與可視會(huì)議融為一體的、對(duì)會(huì)話初始化協(xié)議(SIP)的支持。MPEG-4的未來發(fā)展,如:對(duì)象功能,可能會(huì)需要對(duì)已經(jīng)投入應(yīng)用的單元以及正在開發(fā)中的單元進(jìn)行重新編程。其中一項(xiàng)發(fā)展便是新出現(xiàn)的MPEG-4AVC(高級(jí)視頻編碼)標(biāo)準(zhǔn)(又稱為H。26?標(biāo)準(zhǔn))的更高壓縮密度??删幊痰腄SP實(shí)現(xiàn)了對(duì)所有這些標(biāo)準(zhǔn)及其他標(biāo)準(zhǔn)的支持,從而可以有助于成像系統(tǒng)開發(fā)商細(xì)分其產(chǎn)品,并激發(fā)新的市場(chǎng)需求。

在成像質(zhì)量方面,DSC仍然需要一定時(shí)間才能與最高質(zhì)量的傳統(tǒng)膠卷相機(jī)抗衡。但是,在低端市場(chǎng)中,DSC卻可以提供傳統(tǒng)相機(jī)所無法與之匹敵的視頻與其他功能。目前,DSC開發(fā)商正從更高的壓縮比與更高的容錯(cuò)彈性探索MPEG-4,以幫助其提供消費(fèi)者所期望的更多功能。而可編程DSP可以提供在低成本DSC上實(shí)現(xiàn)MPEG-4算法所需要的性能,在高度分化市場(chǎng)中,它們?yōu)殚_發(fā)商提供了可滿足各種需求而需要的靈活性?;贒SP的MPEG-4壓縮還為在未來把DSC與無線設(shè)備集成并支持其他新型應(yīng)用打開了機(jī)遇之門。利用MPEG-4與DSP,低成本消費(fèi)類DSC將會(huì)繼續(xù)迎來輝煌的未來。讓我們放眼展望吧!



評(píng)論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉