巧用多內(nèi)核處理器的并行編程功能實現(xiàn)視頻代碼轉(zhuǎn)換
加入技術(shù)交流群
支持高清視頻點播要求高性能的代碼轉(zhuǎn)換。RapidMind公司開發(fā)的軟件開發(fā)平臺利用統(tǒng)一的并行編程模型充分發(fā)揮各種多內(nèi)核處理器的性能。通過在RapidMind平臺上建立代碼轉(zhuǎn)換器，應(yīng)用程序如今能運行在多種處理器上，包括CPU、GPU和Cell BE，并且還能通過擴展適應(yīng)未來多內(nèi)核(和眾內(nèi)核)處理器環(huán)境。
代碼轉(zhuǎn)換器自然需要支持各種視頻壓縮格式。然而，許多格式在實現(xiàn)它們所需的運算類型方面有很多相似性。另外，編碼器通常要比解碼器貴得多。一般一種視頻標準僅規(guī)定了壓縮數(shù)據(jù)流中存儲什么類型的數(shù)據(jù)以及解碼器該怎樣譯碼，并不規(guī)定編碼器如何從原始輸入數(shù)據(jù)流中提取需要的信息。
通常一種壓縮視頻格式不僅要求實現(xiàn)對單幀的壓縮，而且要求使用視頻序列中的相鄰幀實現(xiàn)對中間幀的預(yù)測。為了能從傳輸產(chǎn)生的任何錯誤中恢復(fù)數(shù)據(jù)，并允許用戶從視頻序列中間位置開始解壓縮，有些幀是在不參考其它幀的情況下進行壓縮的。
單幀壓縮
單幀壓縮有點類似于普通的圖像壓縮，通常包含了到不同基礎(chǔ)幀的轉(zhuǎn)換，如使用不同頻率和方向的余弦變換(離散余弦變換或DCT)，或小波變換。這種轉(zhuǎn)換通常作用于塊，并且從數(shù)學上可精簡到塊中像素上的一組點積(雖然一些基本函數(shù)允許理論上更快的因數(shù)分解)。轉(zhuǎn)換后的系數(shù)再經(jīng)過量化刪除那些對圖像可視無用的信息，形成一幅近似的圖像，最后使用編碼器編碼去除數(shù)據(jù)中任何殘留的冗余性。
上述轉(zhuǎn)換的目的不僅是通過將圖像中的能量集中為更小的一組數(shù)字而使代碼器變得更有效率，而且允許量化器顯著地去除感知上不那么重要的信息。例如，DCT就會對圖像的高頻和低頻成分進行分析。由于人眼對高頻時的量化誤差不甚敏感，因此這些頻率的量化可以粗放一些。另外，在上述壓縮步驟之前通常先要從亮度中分離出色度(顏色)和將色度欠采樣到較低分辨率，因為人眼對亮度邊緣較敏感，但對色度邊緣不太敏感。
一些較復(fù)雜的壓縮格式還支持根據(jù)空間相鄰的塊對一些圖像塊作出預(yù)測。選擇哪個塊用于預(yù)測極具挑戰(zhàn)性，而且支持解碼器中的必要排序在并行系統(tǒng)中也相當復(fù)雜。然而，如果塊的內(nèi)容能夠被準確預(yù)測，那么對該塊壓縮時只需編碼預(yù)測值和實際值之間的(少量)差異。
如此詳細地介紹單幀圖像壓縮的原因是，實際上作為編碼過程的一部分，無論是塊還是單幀壓縮/解壓縮都有必要。特別是中間幀(數(shù)據(jù)流中的大部分幀)估計，它是通過融合和混合數(shù)據(jù)流前后發(fā)生的幀、然后從輸入數(shù)據(jù)中減去這個融合后的幀、最后壓縮差異圖像(一般使用類似于單幀編碼器的編碼器)實現(xiàn)的。對這種融合的估計被稱為運動估計，是編碼過程中運算量最大的步驟之一。
然而在解碼器中，原始的源數(shù)據(jù)幀是沒有的，只有解壓縮后的幀。因此，這種融合要求圖像能在解碼器之前還原。因此它們不僅必須在編碼器中壓縮，而且需要被解壓縮。這種對前面壓縮的數(shù)據(jù)進行解壓縮的需求將導(dǎo)致數(shù)據(jù)的依賴性，并影響到在具有不同存儲器系統(tǒng)的處理器之間如何并行使用和分配編碼器。
視頻序列中的圖像組(GOP)中的一些幀(I，幀內(nèi)編碼幀)使用單幀壓縮算法進行編碼，但基于運動估計的幀間預(yù)測被用來改進幀內(nèi)幀間(雙向預(yù)測編碼幀B，前向預(yù)測編碼幀P)的壓縮。只有預(yù)測幀和實際幀之間的差異值需要被壓縮。由于B幀和P幀是根據(jù)I幀的解壓縮版本預(yù)測出來的，因此有必要作為編碼過程的一部分對I幀進行壓縮和解壓縮。
評論