8K超高分辨率視頻處理系統(tǒng)分析與設(shè)計(jì)

作者 林文富 劉偉儉 廣東威創(chuàng)視訊科技股份有限公司(廣州 廣東 510000)

*基金項(xiàng)目：2014年產(chǎn)學(xué)研專項(xiàng)項(xiàng)目，支持小間距LED顯示的多屏實(shí)時處理器系統(tǒng)的研發(fā)(編號：2014Y2-00211)

林文富(1982-)，男，碩士，中級電子工程師，研究方向：視頻處理;劉偉儉，男，博士，中級電子工程師，研究方向：視頻處理及顯示技術(shù)。

摘要：隨著視頻技術(shù)的不斷發(fā)展，分辨率從480P發(fā)展到1080P;當(dāng)我們還沒有完全意識到4K電視將一統(tǒng)天下的時候， 2016年8月，里約奧運(yùn)會已經(jīng)開始了8K的直播。8K視頻要求需要處理每幀約33M像素的數(shù)據(jù)量，海量的數(shù)據(jù)處理為目前的視頻處理系統(tǒng)帶來了一個非常大的挑戰(zhàn)。在目前的大屏幕拼墻領(lǐng)域，從視頻采集到視頻傳輸與處理各個環(huán)節(jié)來看，目前的視頻處理平臺均無法滿足。因此，本文針對現(xiàn)在的8K帶寬進(jìn)行分析，設(shè)計(jì)了一個全新的8K視頻處理平臺，使得8K視頻可以在大屏幕拼接領(lǐng)域得到廣泛應(yīng)用。

引言

　　8K的標(biāo)準(zhǔn)早在幾年前就已經(jīng)確立，8K的視頻源隨后也逐步出現(xiàn)。2012年8月23日，聯(lián)合國旗下的國際電訊聯(lián)盟(International Telecommunication Union - ITU)通過了以日本NHK電視臺所建議的7680x4320解像度^[2]作為國際的8K超高畫質(zhì)電視(Super Hi-Vision - SHV)標(biāo)準(zhǔn);2013年，日本NHK制作電影《珍饈美味》，使用8K分辨率(7680×4320)拍攝、制作和放映，清晰度是1080p的16倍，在未經(jīng)壓縮的情況下，8K視頻(24fps)每秒的容量即可達(dá)到1GB;2015年，NHK采用8K技術(shù)直播加拿大女足世界杯;2016年8月5日，第31屆夏季奧林匹克運(yùn)動會在巴西的里約熱內(nèi)盧舉行，8K直播是一個亮點(diǎn)。

　　隨著標(biāo)準(zhǔn)的確立，8K攝像機(jī)發(fā)展也非常迅速。2012年，NHK推出的的Super Hi-Vision視頻采集攝像機(jī)，體積較大;2013年以后的Super Hi-Vision視頻采集攝像機(jī)則小巧便攜許多。Sony F65RS即為目前市場上的一款8K攝像機(jī)。Panavision 2016年6月正式發(fā)布DXL。 Panavision DXL號稱是最完整的攝影機(jī)系統(tǒng)，配有一個35.5兆像素的8K CMOS傳感器，可以以最高60 fps錄制8K視頻。

　　8K帶來的圖像效果是非常逼真的，可以帶來超越傳統(tǒng)廣電畫質(zhì)的精細(xì)感，同時，8K的彩色還原度達(dá)到75.8%，可以看到4K和1080p里看不到的色彩。但是，在8K視頻處理方面，因?yàn)槠渚薮蟮臄?shù)據(jù)量，存在很大的問題。以8K視頻24幀為例，如果每位色深達(dá)到6bit，處理單路8K的數(shù)據(jù)帶寬需要高達(dá)14.3Gbps。在目前的拼墻領(lǐng)域，能處理單路的最大分辨率只能達(dá)到4K，尚無專業(yè)處理器能處理8K的分辨率。如此巨大的數(shù)據(jù)量，在視頻采集端，需要有專用的芯片來采集;在進(jìn)行數(shù)據(jù)傳輸時候，也需要針對如此高的帶寬專門設(shè)計(jì)數(shù)據(jù)傳輸通道來進(jìn)行傳輸^[3];視頻處理這塊，目前還沒有專門芯片來進(jìn)行8K視頻的疊加、縮放等處理。針對這些現(xiàn)狀，在大屏處理領(lǐng)域?qū)@些問題都是一個很大的挑戰(zhàn)。

1 8K視頻處理系統(tǒng)結(jié)構(gòu)和工作原理

　　8K視頻處理系統(tǒng)的困難主要在于帶寬這塊，因此，基于目前的芯片處理水平，設(shè)計(jì)其處理系統(tǒng)的主要思路是對視頻進(jìn)行分割處理。一路8K視頻，最終通過視頻處理器后，輸出16路1080p的視頻。工作原理主要是通過索喜的8K解碼芯片將碼流變成4路HDMI2.0輸出，4路HDMI2.0最終分解成16路1080p視頻在拼接墻上顯示。具體的視頻處理框圖如圖2所示。每個HDMI2.0相當(dāng)于一個4K的視頻，8K相當(dāng)于4個4K視頻的組合。HDMI2.0的碼流出來后，通過高速的FPGA芯片，解碼HDMI2.0后，將每路的HDMI2.0信號再次分解成4路1080p的視頻流，方便后續(xù)高速信號傳輸與處理。在高速邏輯芯片內(nèi)將2路1080P視頻進(jìn)行數(shù)據(jù)串行化傳輸，每對serdes對的速率高達(dá)6.25Gbps。針對大屏幕拼墻的特殊應(yīng)用，每對高速serdes對還進(jìn)入一個高速交叉模塊，該模塊主要功能是對視頻信號進(jìn)行調(diào)度，類似矩陣功能，滿足拼接顯示的需要。串行化視頻經(jīng)過傳輸路徑到達(dá)后端的FPGA芯片后，在芯片內(nèi)進(jìn)行解串處理，同時，以1080p為單位在邏輯內(nèi)部做視頻處理，包括疊加、縮放、圖像增強(qiáng)和旋轉(zhuǎn)等，處理完畢后，輸出到TMDS編碼芯片SII1164。最后，sII1164以DVI的形式輸出視頻到拼接墻。

　　在具體的處理器系統(tǒng)里，圖2中功能模塊會分到幾個板塊里完成，分別是8K信號采集板、高速信號交換板和信號輸出處理板。其中，8K信號采集板完成8K信號的解碼、分割與serdes發(fā)送功能，交換板完成高速信號的交叉分發(fā)功能，信號輸出處理板完成信號的解串、視頻處理與輸出功能。

2 8K視頻信號處理

　　整個系統(tǒng)設(shè)計(jì)的關(guān)鍵在于8K視頻信號的處理。截止到目前為止，因?yàn)?K的標(biāo)準(zhǔn)沒有非常明確，相應(yīng)的視頻處理芯片廠家也在觀望，所以，相關(guān)的8K視頻處理芯片非常少。如目前SiI9779、SiI9630等廠家宣傳支持8K，但是最終也沒有推出該功能。目前主推8K技術(shù)的是日本NHK，其預(yù)計(jì)在2020年的東京奧運(yùn)會上進(jìn)行8K直播。富士通株式會社與松下電器產(chǎn)業(yè)株式會社對兩家公司的系統(tǒng)LSI業(yè)務(wù)進(jìn)行合并，成立索喜科技有限公司(Socionext)。新品牌體現(xiàn)了公司的核心業(yè)務(wù)在于SoC及具有競爭優(yōu)勢的Imaging(視頻和成像領(lǐng)域)和OpticalTransport Network(光纖通信網(wǎng)絡(luò)領(lǐng)域)技術(shù)領(lǐng)域意義。Socionext在2016年推出一款單芯片8K處理芯片SCH801A。SCH801A與日本超高清衛(wèi)星廣播HEVC編碼的標(biāo)準(zhǔn)ARIB STD-B32第一部分一致，能夠單芯片單通道解碼8K 60P，其配備一個PCI Express二代插槽，4路HDMI 2.0 Tx外部接口。8K的視頻碼流通過前端芯片SCH801A解碼后，輸出4路HMDI2.0的視頻信號。從帶寬上來看，HDMI2.0的最高帶寬高達(dá)18Gbps，4個通道加起來帶寬可達(dá)72Gbps，足夠傳輸一路8K的視頻信號。

　　在本設(shè)計(jì)中是采用高速FPGA進(jìn)行HDMI2.0信號的解碼，通過HDMI的解碼模塊來將標(biāo)準(zhǔn)的HDMI信號轉(zhuǎn)換為并行的data數(shù)據(jù)。具體HDMI的解碼模塊設(shè)計(jì)框圖如圖3。TMDS數(shù)據(jù)進(jìn)入Deskew模塊進(jìn)行數(shù)據(jù)的重新對齊與重排;數(shù)據(jù)進(jìn)入TMDS decoder模塊，從模塊中分離出video data與AUX data。視頻數(shù)據(jù)進(jìn)入視頻采樣模塊，分離出clk、HS、VS和video data。輔助數(shù)據(jù)進(jìn)入Auxiliary Packet Capture模塊，分離出控制數(shù)據(jù)包和音頻數(shù)據(jù)等。視頻數(shù)據(jù)分離出后，為了方便在拼墻處理器中進(jìn)行數(shù)據(jù)傳輸，在通過FPGA的并串轉(zhuǎn)換模塊時，轉(zhuǎn)為串行數(shù)據(jù)進(jìn)行傳輸。每對HDMI的信號通過2對高速的serdes信號進(jìn)行傳輸，方便視頻調(diào)度模塊進(jìn)行調(diào)度。

3 視頻調(diào)度模塊

　　在該模塊中，主要是視頻信號調(diào)度、時鐘處理模塊、通信模塊、CPU系統(tǒng)模塊等為各個模塊業(yè)務(wù)控制的核心。視頻信號交叉調(diào)度模塊采用高速串行空分交換技術(shù)，調(diào)度高速串行數(shù)據(jù)信號，傳輸該高速串行數(shù)據(jù)信號。根據(jù)預(yù)定的輸入端口與輸出端口的對應(yīng)關(guān)系，將各輸入的高速串行數(shù)據(jù)信號通過相應(yīng)的端口輸出，傳輸?shù)较鄳?yīng)的視頻處理模塊中。

　　時鐘處理模塊用來產(chǎn)生參考時鐘信號，并將所生成的參考時鐘信號提供給各個8K視頻模塊、各個視頻信號處理模塊、信號擴(kuò)展交換平臺等。8K視頻模塊、視頻信號處理模塊及信號擴(kuò)展交換平臺等在本單板提供的系統(tǒng)參考時鐘的同步下，分別產(chǎn)生用于本模塊高速串行處理業(yè)務(wù)所需的模塊時鐘。

　　CPU系統(tǒng)模塊還負(fù)責(zé)各個8K視頻模塊及視頻信號處理模塊等系統(tǒng)控制，各個模塊與主控交叉板之間的通信方式采用以太網(wǎng)方式進(jìn)行信息交換，同時，各模塊間在以太網(wǎng)通信異常時，可以切換到備份通道中進(jìn)行系統(tǒng)控制，提高系統(tǒng)可靠性。

4 視頻處理模塊

　　視頻信號處理模塊對視頻信號調(diào)度后的高速串行信號進(jìn)行解串行化、切割、縮放、疊加等處理，最后輸出處理后的圖像信號。

　　通過圖像信號采集模塊對信號的串行化處理和主控交叉模塊的調(diào)度，在視頻信號處理模塊的輸入端口可獲得任意需要的輸入信號，輸入的信號是高速的串行信號，必須進(jìn)行解串后才能進(jìn)行信號之后的處理。解串行化是串行化的逆向過程。輸入信號的分辨率與所需顯示的窗口大小通常都是不相同的，從解串行化模塊還原出的圖像必須進(jìn)行縮放處理，同時，顯示的窗口可能跨多個顯示單元，每個單元只顯示一部分，通過切割截取所需的圖像數(shù)據(jù)，并進(jìn)行相應(yīng)的縮放處理。最后，由輸出驅(qū)動部分完成疊加后的圖像信號轉(zhuǎn)換成標(biāo)準(zhǔn)的16路DVI信號輸出。

5 結(jié)論

　　本文針對目前在拼墻領(lǐng)域8K視頻遇到的一些問題和技術(shù)瓶頸進(jìn)行了詳細(xì)的分析，提出了一種8K視頻處理器平臺的設(shè)計(jì)方案。設(shè)計(jì)方案采用了索喜的8K解碼芯片，把超高分辨率的視頻分解成4路HDMI信號，并通過FPGA把4路的HDMI進(jìn)行再次解碼分析，最后，通過視頻處理輸出到大屏幕拼墻應(yīng)用顯示。該系統(tǒng)方案在筆者設(shè)計(jì)的處理器樣機(jī)原型中得到實(shí)際應(yīng)用和時間驗(yàn)證，運(yùn)行效果良好，并大大提高了屏幕的畫面精細(xì)度，具有很高的實(shí)用價值。

　　參考文獻(xiàn)：

　　[1]覃毅力,韋安明,張韜.超高清電視關(guān)鍵技術(shù)探析[J].Content Production & Broadcasting,2013,05.

　　[2]鄒霽.大尺寸超高清晰度等離子顯示器的研發(fā)及運(yùn)用[J].電視技術(shù),2012,36(20).

　　[3]李遠(yuǎn)東,凌明偉.8K超高清電視廣播的大容量無線傳輸技術(shù)綜述[J].電視技術(shù)，2014,38(16).

　　[4]唐成基,賈智強(qiáng),李桂蘭. H.265壓縮技術(shù)在廣電網(wǎng)絡(luò)中的應(yīng)用[M].中國廣電技術(shù)文萃, 2015,1.

　　本文來源于《電子產(chǎn)品世界》2017年第7期第40頁，歡迎您寫論文時引用，并注明出處。