利用平臺(tái)FPGA器件進(jìn)行多媒體、視頻和圖像應(yīng)用設(shè)計(jì)

當(dāng)今生活的時(shí)代，多媒體通信的出現(xiàn)和流行是大勢(shì)所趨。隨著數(shù)字電視(DTV)、IP視頻傳輸、數(shù)字相機(jī)、無(wú)線視頻、醫(yī)療圖像和視頻監(jiān)控等應(yīng)用的興起，目前提供音頻和數(shù)據(jù)服務(wù)的許多系統(tǒng)都會(huì)隨實(shí)時(shí)視頻技術(shù)的應(yīng)用而有不同程度的擴(kuò)展。在最近的技術(shù)發(fā)展表明，芯片邏輯門(mén)密度和嵌入式功能的極大提高為多媒體處理設(shè)計(jì)提供了激動(dòng)人心的設(shè)計(jì)可能性。同時(shí)，還可以利用可重配置芯片所提供的額外靈活性來(lái)提供具有吸引力的解決方案。本文中，我們將考察多媒體系統(tǒng)的要求以及多媒體處理所需要的一些基本構(gòu)建模塊。然后，我們將討論將實(shí)時(shí)視頻應(yīng)用的抽象描述轉(zhuǎn)換為采用FPGA技術(shù)有效實(shí)現(xiàn)的設(shè)計(jì)所需要的設(shè)計(jì)流程。最后，我們將考察新興壓縮標(biāo)準(zhǔn)JPEG2000和MPEG-4的需求。在多媒體處理解決方案領(lǐng)域，FPGA技術(shù)能夠以合適的價(jià)位點(diǎn)提供實(shí)現(xiàn)下一代多媒體算法所需要的帶寬、設(shè)計(jì)工具和芯片，從而滿(mǎn)足多媒體設(shè)計(jì)人員的要求。

多媒體通信

由于新興壓縮和通信技術(shù)的快速應(yīng)用，對(duì)多媒體通信的需求每年都在提高。這些技術(shù)大部分都被ISO、ITU、SMTPte和IEEE等標(biāo)準(zhǔn)機(jī)構(gòu)所采納。多媒體壓縮對(duì)于有效地使用可用的存儲(chǔ)和帶寬資源非常關(guān)鍵。ISO MPEG和J

PEG工作組和ITU一起開(kāi)發(fā)了可滿(mǎn)足音頻、視頻和系統(tǒng)壓縮需求的標(biāo)準(zhǔn)。兩個(gè)最近完成的標(biāo)準(zhǔn)JPEG2000 和 AVC (高級(jí)視頻編碼解碼器， MPEG-4 Part 10/H.264)標(biāo)準(zhǔn)，提供了前所未有的性能水平，但密集的計(jì)算需求比較有利于FPGA技術(shù)，而不是傳統(tǒng)基于處理器的解決方案。

這些壓縮標(biāo)準(zhǔn)致力于滿(mǎn)足范圍廣泛的應(yīng)用領(lǐng)域，并按運(yùn)算的類(lèi)(profile)和級(jí)(level)來(lái)劃分。類(lèi)定義了編碼解碼器中所使用的標(biāo)準(zhǔn)算法功能集合。級(jí)則定義了特定類(lèi)中的參數(shù)選擇集合，如幀大小和速率。這些標(biāo)準(zhǔn)服務(wù)的多樣化市場(chǎng)包括數(shù)字視頻廣播、IP多媒體傳輸、無(wú)線多媒體傳輸、視頻監(jiān)控、醫(yī)療圖像和數(shù)碼相機(jī)。這些市場(chǎng)在采集、計(jì)算和顯示方面有著非常不同的要求。

壓縮芯片市場(chǎng)預(yù)計(jì)到2006年時(shí)將從目前的15億美元增長(zhǎng)到28億美元。這一發(fā)展趨勢(shì)與1990年代音頻無(wú)線應(yīng)用大變革時(shí)的情況類(lèi)似。今天的許多系統(tǒng)都提供音頻和數(shù)據(jù)服務(wù)，我們?cè)谖闹袑⒖疾煲曨l服務(wù)的興起，以及新帶來(lái)的計(jì)算需求挑戰(zhàn)。

多媒體系統(tǒng)的要求

多媒體系統(tǒng)的要求高度依賴(lài)于最終應(yīng)用。例如，視頻點(diǎn)播(VOD)對(duì)延遲的要求相對(duì)較高，而視頻會(huì)議則對(duì)延遲有精確的高要求。視頻監(jiān)控在延遲方面的要求則介于在這兩個(gè)極端之間。實(shí)時(shí)多媒體系統(tǒng)可能需要也可能不需要實(shí)時(shí)編碼。MPEG標(biāo)準(zhǔn)的開(kāi)發(fā)主要著眼于降低解碼器的復(fù)雜性，以提供成本經(jīng)濟(jì)的方案。相對(duì)而言，MPEG編碼器的復(fù)雜程度是MPEG解碼器的10倍左右。不需要實(shí)時(shí)效果的應(yīng)用，如視頻點(diǎn)播可以采用兩步算法進(jìn)行離線編碼以獲得最佳的效果。視頻監(jiān)控和視頻會(huì)議則是需要實(shí)時(shí)編碼的例子。在針對(duì)多媒體壓縮的標(biāo)準(zhǔn)中，解碼器功能規(guī)定了嚴(yán)格的標(biāo)準(zhǔn)兼容性規(guī)則，而編碼器相對(duì)則自由多了。換句話來(lái)說(shuō)，視頻編碼器只要能夠生成符合標(biāo)準(zhǔn)的正確位流就可以，而兼容解碼器則必須能夠解釋標(biāo)準(zhǔn)定義的特定類(lèi)和級(jí)中所允許的任何正確位流。

圖像數(shù)據(jù)庫(kù)存儲(chǔ)要求與壓縮視頻傳輸?shù)囊蠼^緣不同。ISO JPEG工作組通常以壓縮比率來(lái)衡量不同的壓縮方案，而ISO MPEG通常采用固定位速率做為衡量參數(shù)。只要我們談到多媒體通信，這些系統(tǒng)在數(shù)據(jù)傳輸過(guò)程中都需要通信信道能夠保證固定的位速率。這導(dǎo)致一個(gè)問(wèn)題，因?yàn)閴嚎s比率是序列相關(guān)的，因此為了獲得可接受的結(jié)果，必須在質(zhì)量方面有所折衷。很明顯，在編碼器方面如果嚴(yán)格遵循固定位速率生成數(shù)據(jù)位流，那么就會(huì)導(dǎo)致幀之間質(zhì)量的變化，有時(shí)可能會(huì)變得無(wú)法接受。這一問(wèn)題可以通過(guò)下面的方法來(lái)減輕，在類(lèi)編碼器的后面指定一個(gè)緩沖存儲(chǔ)區(qū)，這樣就可允許編碼器以可變數(shù)據(jù)速率填充緩沖區(qū)，而通信信道則可以以固定速率讀取并清空緩沖區(qū)。這意味著多媒體壓縮系統(tǒng)需要存儲(chǔ)器。為了提高或增強(qiáng)質(zhì)量所需要的額外預(yù)處理和后處理也提高了對(duì)存儲(chǔ)器的需求。例如，在MPEG-4編碼器的情況下，典型情況下需要3~10 MB的存儲(chǔ)器，而解碼器只需要1~3 MB。

對(duì)任何系統(tǒng)來(lái)說(shuō)，一個(gè)主要的要求是為達(dá)到實(shí)時(shí)操作而需要的每秒運(yùn)算次數(shù)。對(duì)于多媒體壓縮來(lái)說(shuō)，這確實(shí)是一個(gè)需要量化的具有挑戰(zhàn)性的數(shù)字。由于工作點(diǎn)很多，計(jì)算所需要的MOPS數(shù)值可能很大。圖1 給出了幾個(gè)MPEG-4類(lèi)以及達(dá)到這些工作點(diǎn)所需要的相對(duì)MOPS數(shù)值，其中一級(jí)簡(jiǎn)單類(lèi)歸一化值為1。一個(gè)分辨率為640x480、每秒30幀的JPLEG2000視頻監(jiān)控應(yīng)用視頻流大約需要4200 MOPS，而分辨率為1024x1024、 每秒 60幀的醫(yī)療圖像無(wú)失真碼流在采用JPEG2000標(biāo)準(zhǔn)編碼時(shí)則需要29000 MOPS。利用JPEG200

0標(biāo)準(zhǔn)的4096x2048分辨率24 幀每秒的數(shù)碼相機(jī)需要93000 MOPS。使問(wèn)題更復(fù)雜的是，在整個(gè)視頻流運(yùn)算過(guò)程中，所需要的MOPS數(shù)值并不是固定值，而是依賴(lài)于圖像內(nèi)容的。在圖2中我們看到在視頻序列的播放過(guò)程中，峰值MOPS數(shù)值是需要確定的關(guān)鍵要求。

圖1 不同MPEG類(lèi)編碼所需要的計(jì)算MOPS要求