采用FPGA實(shí)現(xiàn)視頻和圖像處理設(shè)計(jì)

　　視頻和圖像處理發(fā)展趨勢(shì)

　　以視頻和圖像處理為核心的HDTV和數(shù)字影院等創(chuàng)新技術(shù)的進(jìn)展非常迅速，其推動(dòng)力量在于圖像采集和顯示分辨率、高級(jí)壓縮方法以及視頻智能的跨越式發(fā)展。

　　在過(guò)去幾年中，分辨率的發(fā)展最為顯著，表1列出了不同終端設(shè)備上目前能夠達(dá)到的最高分辨率。

　　從標(biāo)準(zhǔn)清晰度(SD)過(guò)渡到高清晰度(HD)，需要處理的數(shù)據(jù)量提高了6倍。視頻監(jiān)控也從普通中間格式(CIF)(352×288)轉(zhuǎn)向標(biāo)準(zhǔn)要求的D1格式(704×576)，某些工業(yè)攝像機(jī)甚至達(dá)到1280×720HD。軍事監(jiān)控、醫(yī)療成像和機(jī)器視覺(jué)也普遍采用了分辨率非常高的圖像。

　　高級(jí)壓縮方法逐步替代了以前的技術(shù)，在保持一定質(zhì)量的前提下，能具有更好的數(shù)據(jù)流性能和壓縮比，而且延遲更低。JPEG 2000作為數(shù)字電影的標(biāo)準(zhǔn)，在軍事、醫(yī)療成像和監(jiān)控領(lǐng)域也得到了大量應(yīng)用。H.264將可能取代廣播電視應(yīng)用中的MPEG2，以及視頻監(jiān)控系統(tǒng)的MPEG4 Part 2和用于視頻會(huì)議的H.263。在應(yīng)用這些新壓縮方案的同時(shí)，H.264和JPEG 2000標(biāo)準(zhǔn)仍然在不斷改進(jìn)。

　　DICOM醫(yī)療成像標(biāo)準(zhǔn)已經(jīng)完成了附件105，它包括JPEG 2000第2部分3D醫(yī)療成像壓縮多分量變換。附件106將包括JPIP協(xié)議，遠(yuǎn)程瀏覽使用JPEG 2000壓縮的醫(yī)療影像。

　　MPEG 4 Part 10(H.264 AVC)的進(jìn)一步擴(kuò)展是可更新視頻編碼(SVC)技術(shù)。SVC在現(xiàn)有系統(tǒng)資源情況下，解決了不同網(wǎng)絡(luò)中向各種用戶可靠傳送視頻的編碼問(wèn)題，特別是事先不知道下游客戶端容量、系統(tǒng)資源和網(wǎng)絡(luò)狀況的時(shí)候。例如，客戶端會(huì)有不同的顯示分辨率，系統(tǒng)有不同的緩沖或者中間存儲(chǔ)資源，網(wǎng)絡(luò)帶寬、丟包率、最大努力服務(wù)質(zhì)量(QoS)等都在變化。聯(lián)合視頻開(kāi)發(fā)組(JVT)擴(kuò)展了AVC/H.264，增強(qiáng)比特流的靈活性，提高壓縮效率，可以自由組合各種壓縮模式(如空域、時(shí)域和SNR/保真等)。具體應(yīng)用領(lǐng)域包括視頻監(jiān)控系統(tǒng)、移動(dòng)流視頻、無(wú)線多通道視頻產(chǎn)生和分配和多方視頻電話/會(huì)議等。

　　另一快速發(fā)展的領(lǐng)域是視頻智能。相機(jī)已經(jīng)具有搖攝、俯仰、變焦、全景等拍攝功能，這些功能逐步由系統(tǒng)智能實(shí)現(xiàn)而不需要人為干預(yù)。移動(dòng)探測(cè)技術(shù)能夠更高效的利用硬盤(pán)存儲(chǔ)，它只捕獲高于移動(dòng)閾值的視頻幀。視頻目標(biāo)識(shí)別技術(shù)能夠?qū)崿F(xiàn)自動(dòng)監(jiān)控追蹤，其效率要遠(yuǎn)遠(yuǎn)高于人工監(jiān)控。

　　隨著分辨率和壓縮比的提高，不但要提高性能，還需要非常靈活的體系結(jié)構(gòu)，以便能夠迅速進(jìn)行更新。隨著技術(shù)的成熟以及產(chǎn)量的提高，也很有必要進(jìn)一步降低成本。

　　視頻和圖像處理系統(tǒng)體系結(jié)構(gòu)

　　系統(tǒng)體系結(jié)構(gòu)的選擇包括標(biāo)準(zhǔn)單元ASIC、ASSP以及數(shù)字信號(hào)處理器(DSP)或者媒體處理器和FPGA等可編程解決方案。這些方案都有各自的優(yōu)缺點(diǎn)，最終方案的選用取決于終端設(shè)備需求以及方案的可行性?？紤]到上面討論的發(fā)展趨勢(shì)，理想的體系結(jié)構(gòu)應(yīng)具有以下特點(diǎn)：高性能、靈活性、方便更新、低開(kāi)發(fā)成本，隨著應(yīng)用的成熟和產(chǎn)量的提高，能夠提供低成本移植途徑等。

　　1 高性能

　　不僅壓縮需要提高性能，預(yù)處理和后處理功能同樣需要提高性能。事實(shí)上，在很多情況下，這些功能要比壓縮算法本身對(duì)性能的影響更大。這類(lèi)功能的例子包括縮放、去隔行、濾波和顏色空間轉(zhuǎn)換等。

　　在上面提到的市場(chǎng)領(lǐng)域中，對(duì)高性能的要求排除了單處理器體系結(jié)構(gòu)，因?yàn)閱蝹€(gè)器件難以達(dá)到性能要求。目前最好的1GHz DSP還無(wú)法實(shí)現(xiàn)H.264 HD解碼，而H.264 HD編碼要比解碼復(fù)雜10倍。FPGA是唯一能夠解決這種問(wèn)題的可編程解決方案。在某些情況下，最好的方案是結(jié)合FPGA和外部DSP。

　　2 靈活性使產(chǎn)品快速面市，方便進(jìn)行產(chǎn)品更新

　　隨著技術(shù)的迅速發(fā)展，體系結(jié)構(gòu)必須足夠靈活，能夠方便地進(jìn)行更新。這些要求排除了在具體應(yīng)用中選用的標(biāo)準(zhǔn)單元ASIC和ASSP。ASSP一般用于大批量消費(fèi)類(lèi)市場(chǎng)，產(chǎn)品很快會(huì)過(guò)時(shí)，對(duì)于大部分應(yīng)用而言，選用這種方案的風(fēng)險(xiǎn)很大。

　　3 低開(kāi)發(fā)成本

　　考慮到掩模、晶片、軟件、設(shè)計(jì)驗(yàn)證和布板等成本，典型90nm標(biāo)準(zhǔn)單元ASIC的開(kāi)發(fā)成本會(huì)高達(dá)3千萬(wàn)美元。只有產(chǎn)量非常大的消費(fèi)類(lèi)市場(chǎng)能夠支撐如此高的開(kāi)發(fā)成本。

　　4 降低芯片成本的移植途徑

　　隨著標(biāo)準(zhǔn)的穩(wěn)定和產(chǎn)量的增加，應(yīng)該過(guò)渡到低成本方案。這通常意味著使用面向市場(chǎng)的ASSP或者標(biāo)準(zhǔn)單元定制ASIC器件。然而，定制芯片的成本在不斷攀升，使得這些解決方案只有在大批量消費(fèi)類(lèi)應(yīng)用中才具有較好的經(jīng)濟(jì)性。大部分視頻和圖像應(yīng)用芯片公司主要關(guān)注視頻攝像機(jī)、機(jī)頂盒、數(shù)碼相機(jī)、移動(dòng)電話等便攜式產(chǎn)品或者LCD電視和監(jiān)視器等應(yīng)用。因此，對(duì)于小批量應(yīng)用，最好考慮FPGA，它和ASSP不同，ASSP可能非常切合功能需求，但是當(dāng)需求變化時(shí)，由于產(chǎn)品更新?lián)Q代，目前最好的解決方案可能是最冒險(xiǎn)的選擇。

　　采用FPGA的視頻和圖像處理方案

　　考慮到上面闡述的原因，F(xiàn)PGA非常適合視頻和圖像處理應(yīng)用。以Altera的FPGA為例，因其具有以下特性，非常適合視頻和圖像處理體系結(jié)構(gòu)。

● 高性能：可以在一片F(xiàn)PGA中完成HD處理功能。
● 靈活性：能夠迅速更新體系結(jié)構(gòu)，滿足不斷發(fā)展的需求，同時(shí)在低成本和高性能系統(tǒng)中靈活地應(yīng)用FPGA。
● 低開(kāi)發(fā)成本：Altera的視頻開(kāi)發(fā)套件起價(jià)只有1095美元，含有開(kāi)發(fā)視頻系統(tǒng)所需要的軟件工具。
● 不會(huì)過(guò)時(shí)：擁有非常廣泛的客戶基礎(chǔ)，產(chǎn)品從推出以來(lái)已經(jīng)發(fā)售了多年。而且，F(xiàn)PGA設(shè)計(jì)很容易從一個(gè)工藝節(jié)點(diǎn)移植到下一節(jié)點(diǎn)。
● 低成本的結(jié)構(gòu)化ASIC移植途徑：Altera結(jié)構(gòu)化ASIC 1百萬(wàn)ASIC邏輯門(mén)100ku起價(jià)為15美元。
● 其視頻和圖像處理方案：包括經(jīng)過(guò)優(yōu)化的DSP設(shè)計(jì)流程、視頻和圖像處理包、接口和第三方視頻壓縮IP以及視頻參考設(shè)計(jì)等。

圖1 實(shí)例設(shè)計(jì)結(jié)構(gòu)圖

圖1所示為使用視頻和圖像處理包的典型視頻系統(tǒng)。

　　可見(jiàn)，F(xiàn)PGA非常適合視頻和圖像處理應(yīng)用，如廣播基礎(chǔ)設(shè)備、醫(yī)療成像、HD視頻會(huì)議、視頻監(jiān)控和軍事成像等。以Altera FPGA的視頻和圖像處理方案為例，它包括經(jīng)過(guò)優(yōu)化的開(kāi)發(fā)工具和開(kāi)發(fā)套件、參考設(shè)計(jì)、視頻壓縮IP、接口和系統(tǒng)IP以及Altera的視頻和圖像處理IP包等。這些解決方案降低了大量視頻和圖像應(yīng)用的成本，提高了性能和效率。