VR技術(shù)及其新聞應(yīng)用前景研究
本文首先介紹了VR在新聞等各個(gè)領(lǐng)域的應(yīng)用,并介紹了VR目前面臨的主要問(wèn)題。為了解決這個(gè)問(wèn)題,我們提出了基于自適應(yīng)FEC編碼的VR傳輸協(xié)議MPFEC,可以充分利用多路徑的能力,并根據(jù)冗余包恢復(fù)丟失的數(shù)據(jù)包以降低時(shí)延,保證更好的VR的沉浸式用戶(hù)體驗(yàn),使VR在新聞?lì)I(lǐng)域廣泛使用成為可能。
本文引用地址:http://m.butianyuan.cn/article/201802/375786.htm引言
最近迅猛發(fā)展的VR(虛擬現(xiàn)實(shí))技術(shù)給新聞、游戲、教育、藝術(shù)、甚至醫(yī)療等眾多領(lǐng)域帶來(lái)了天翻地覆的變化,VR能夠利用計(jì)算機(jī)生成一種多源信息融合的、交互式的三維動(dòng)態(tài)視景仿真環(huán)境,使用戶(hù)沉浸到該環(huán)境中,給人身臨其境、重現(xiàn)現(xiàn)場(chǎng)的效果,這種現(xiàn)場(chǎng)感也是新聞媒體業(yè)追求的目標(biāo),同時(shí)也會(huì)給用戶(hù)帶來(lái)時(shí)空穿越的感覺(jué),拉近和新聞事件的距離,使用戶(hù)產(chǎn)生強(qiáng)烈的體會(huì)和感受。
紐約時(shí)報(bào)(New York Times)、美國(guó)有線(xiàn)電視新聞網(wǎng)(CNN)和英國(guó)廣播公司(BBC)等媒體大軍紛紛加入VR陣營(yíng),打造VR全景新聞視頻吸引受眾,并且希望最終從中獲益,提高自身競(jìng)爭(zhēng)力。2017年3月7日,CNN宣布正式成立名為“CNNVR”的虛擬現(xiàn)實(shí)新聞部門(mén),該部門(mén)專(zhuān)注于VR新聞,每周推出一期360度全景視頻,并不定期舉行VR現(xiàn)場(chǎng)直播,使用戶(hù)借助具備浸入感的電視新聞產(chǎn)品了解全球大事,并獲得了不錯(cuò)的效果,其中包括敘利亞北部的交通要道和軍事重鎮(zhèn)阿勒頗遭受襲擊、美國(guó)總統(tǒng)就職等視頻在臉譜網(wǎng)上有超過(guò)3000萬(wàn)的點(diǎn)擊量。美國(guó)廣播公司(ABC)、英國(guó)廣播公司(BBC)、美聯(lián)社、美國(guó)全國(guó)廣播公司(NBC)等多家廣電媒體提供了新鮮的VR觀(guān)賽體驗(yàn),全方位地轉(zhuǎn)播了開(kāi)閉幕式、跳水、拳擊等精彩盛典賽事,讓屏幕前的用戶(hù)如同置身現(xiàn)場(chǎng)一般感受盛典的宏大場(chǎng)面以及奧運(yùn)賽場(chǎng)的緊張氣氛。
同時(shí),隨著技術(shù)和硬件的普及,VR設(shè)備的獲得門(mén)檻和成本越來(lái)越低。按照硬件形態(tài)來(lái)劃分,VR設(shè)備主要分為三種:PC端VR、一體機(jī)VR、移動(dòng)端頭顯(又叫手機(jī)VR)。其中PC端VR是目前體驗(yàn)最好的VR,典型的是Oculus Rift、HTC的Vive,這類(lèi)VR設(shè)備需要連接電腦,因此他們擁有更強(qiáng)勁的性能,可以渲染出更精良的VR內(nèi)容,但是會(huì)受到數(shù)據(jù)線(xiàn)的束縛;一體機(jī)VR,顧名思義,它具有獨(dú)立CPU、輸入和輸出顯示功能,完全擺脫傳輸線(xiàn)的束縛,但是由于CPU性能和顯示屏分辨率的限制,其體驗(yàn)效果不如PC端VR;移動(dòng)端頭顯是最便宜的一種入門(mén)版VR頭戴設(shè)備,只需花10磅就可以購(gòu)買(mǎi)一個(gè)谷歌紙板,向其中放入手機(jī)并打開(kāi)YouTube,就能體驗(yàn)“無(wú)與倫比”的VR視頻,移動(dòng)端頭顯讓一些擁有手機(jī)的用戶(hù)可以輕松享受到VR技術(shù)。
VR視頻傳輸質(zhì)量深刻影響VR用戶(hù)體驗(yàn),是VR中至關(guān)重要的技術(shù)之一。VR視頻傳輸?shù)囊淮筇攸c(diǎn)是傳輸數(shù)據(jù)量大,雖然采用FOV傳輸方案可以有效降低帶寬,但是VR的沉浸式用戶(hù)體驗(yàn)與數(shù)據(jù)傳輸時(shí)延密不可分。較大的傳輸時(shí)延會(huì)帶來(lái)較大的頭動(dòng)延時(shí)和較差的用戶(hù)體驗(yàn)。目前移動(dòng)VR設(shè)備逐步成為主流,VR視頻數(shù)據(jù)通過(guò)無(wú)線(xiàn)方式傳輸?shù)絍R設(shè)備中,數(shù)據(jù)在無(wú)線(xiàn)信道中傳輸會(huì)因?yàn)楦蓴_和擁塞而丟包,而丟包重傳會(huì)帶來(lái)較大時(shí)延。為了降低傳輸延時(shí),提高VR用戶(hù)體驗(yàn),我們提出了基于自適應(yīng)FEC編碼的VR傳輸協(xié)議MPFEC,可以利用多路徑傳輸視頻數(shù)據(jù),并根據(jù)冗余包恢復(fù)丟失的數(shù)據(jù)包以解決重傳帶來(lái)的高時(shí)延問(wèn)題。
問(wèn)題和挑戰(zhàn)
VR視頻傳輸?shù)囊淮筇攸c(diǎn)是傳輸數(shù)據(jù)量大,碼率大(平均碼率在5000kbps左右,碼率變動(dòng)比傳統(tǒng)視頻小),為了降低傳輸帶寬,有人提出采用FOV傳輸方案代替360度傳輸方案,F(xiàn)OV傳輸方案工作原理見(jiàn)圖3所示,VR設(shè)備將用戶(hù)當(dāng)前頭部位置傳至服務(wù)器,服務(wù)器返回對(duì)應(yīng)頭部位置的視頻圖像,由VR設(shè)備進(jìn)行渲染并呈現(xiàn)給用戶(hù)。若采用FOV傳輸方案,VR的沉浸式用戶(hù)體驗(yàn)與數(shù)據(jù)傳輸時(shí)延密不可分。較大的傳輸時(shí)延會(huì)帶來(lái)較大的頭動(dòng)延時(shí) (Motion-To-Photon Latency),使用戶(hù)產(chǎn)生眩暈感等較差的用戶(hù)體驗(yàn),嚴(yán)重時(shí)會(huì)對(duì)用戶(hù)健康造成損害。
由此可見(jiàn),要想獲得更好的VR體驗(yàn), VR傳輸協(xié)議需要滿(mǎn)足以下兩個(gè)主要需求:高帶寬和低時(shí)延。
MPFEC系統(tǒng)設(shè)計(jì)
目前移動(dòng)VR設(shè)備逐步成為主流,VR視頻數(shù)據(jù)通過(guò)WiFi、LTE等無(wú)線(xiàn)方式傳輸?shù)絍R設(shè)備中,數(shù)據(jù)在無(wú)線(xiàn)信道中傳輸會(huì)因?yàn)楦蓴_和擁塞而丟包,不同無(wú)線(xiàn)信道的RTT和丟包率也各異。為了降低傳輸延時(shí),充分利用多路徑的優(yōu)勢(shì),我們提出了基于自適應(yīng)FEC編碼的VR傳輸協(xié)議MPFEC,可以利用多路徑傳輸視頻數(shù)據(jù),并根據(jù)冗余包恢復(fù)丟失的數(shù)據(jù)包以解決重傳帶來(lái)的高時(shí)延問(wèn)題,提高VR用戶(hù)體驗(yàn)。
1.發(fā)送端架構(gòu)
MPFEC發(fā)送端的基本架構(gòu)如下圖所示:
用戶(hù)在線(xiàn)觀(guān)看VR視頻時(shí),視頻并不是一次性傳送到用戶(hù)計(jì)算機(jī)上的,這樣會(huì)占用太多的帶寬,所以,視頻會(huì)被切割成若干個(gè)小時(shí)間片段依次傳送,同時(shí)每一個(gè)時(shí)間片段的視頻也會(huì)切分為相同大小的分塊,每一個(gè)分塊采用不同碼率進(jìn)行編碼。發(fā)送端的視頻分塊選擇模塊(Video Tile Selector)會(huì)根據(jù)反饋的當(dāng)前網(wǎng)絡(luò)RTT丟包率等信息選擇相應(yīng)碼率的視頻分塊并輸入編碼模塊(FEC Encoder)進(jìn)行編碼。原始數(shù)據(jù)和編碼數(shù)據(jù)并行傳輸至數(shù)據(jù)包分配和擁塞控制模塊(Packet Allocate & Congestion Control Unit),該模塊會(huì)根據(jù)不同子路徑的實(shí)際情況進(jìn)行路徑分配和發(fā)送速率控制。原始數(shù)據(jù)和編碼數(shù)據(jù)均以UDP數(shù)據(jù)包的形式在各個(gè)子路徑中傳輸。
2.接收端架構(gòu)
MPFEC接收端的基本架構(gòu)如下圖所示:
MPFEC接收端會(huì)從不同子路徑中收到不同的原始數(shù)據(jù)包和編碼數(shù)據(jù)包,網(wǎng)絡(luò)監(jiān)控模塊(Network Monitor)會(huì)統(tǒng)計(jì)丟包率等信息,并將各個(gè)子路徑的網(wǎng)絡(luò)狀態(tài)信息傳給反饋發(fā)送模塊(Feedback Sender),由其將各個(gè)子路徑的網(wǎng)絡(luò)狀況信息和用戶(hù)當(dāng)前頭部角度反饋給發(fā)送端。接收到的數(shù)據(jù)包會(huì)儲(chǔ)存在緩存模塊(Buffer)中,當(dāng)所有原始數(shù)據(jù)包均收到時(shí),原始數(shù)據(jù)直接傳送至視頻解碼和拼接模塊(Video Decode & Stitch),當(dāng)原始數(shù)據(jù)沒(méi)有完全收齊但是該分塊的數(shù)據(jù)包總數(shù)到達(dá)一定數(shù)量時(shí),數(shù)據(jù)包將會(huì)被傳送至解碼模塊(FEC Decoder)中,解碼成功后,視頻數(shù)據(jù)會(huì)傳送至視頻解碼和拼接模塊(Video Decode & Stitch),由該模塊進(jìn)行視頻解碼和拼接,并呈現(xiàn)給用戶(hù)。
MPFEC系統(tǒng)實(shí)現(xiàn)
MPFEC系統(tǒng)的實(shí)現(xiàn)分為其發(fā)送端實(shí)現(xiàn)和接收端實(shí)現(xiàn)兩部分,目前還在實(shí)現(xiàn)階段。FEC編解碼算法采用自適應(yīng)參數(shù)的Semi-Random LT codes算法,視頻編解碼算法采用H.264算法。
總結(jié)
最近迅猛發(fā)展的VR(虛擬現(xiàn)實(shí))技術(shù)給新聞、游戲、教育、藝術(shù)、甚至醫(yī)療等眾多領(lǐng)域帶來(lái)了天翻地覆的變化,各大主流媒體大軍紛紛加入VR陣營(yíng),打造VR全景新聞視頻和VR直播吸引受眾。VR視頻傳輸質(zhì)量深刻影響VR用戶(hù)體驗(yàn),是VR中至關(guān)重要的技術(shù)之一。VR視頻傳輸具有傳輸數(shù)據(jù)量大的特點(diǎn),雖然采用FOV傳輸方案可以有效降低帶寬,但是VR的沉浸式用戶(hù)體驗(yàn)與數(shù)據(jù)傳輸時(shí)延密不可分。較大的傳輸時(shí)延會(huì)帶來(lái)較大的頭動(dòng)延時(shí)和較差的用戶(hù)體驗(yàn)。為了降低傳輸延時(shí),充分利用多路徑的優(yōu)勢(shì),我們提出了基于自適應(yīng)FEC編碼的VR傳輸協(xié)議MPFEC,可以利用多路徑傳輸視頻數(shù)據(jù),并根據(jù)冗余包恢復(fù)丟失的數(shù)據(jù)包以解決重傳帶來(lái)的高時(shí)延問(wèn)題,提高VR用戶(hù)體驗(yàn),為VR技術(shù)在新聞出版業(yè)中獲得更廣泛的應(yīng)用打下堅(jiān)實(shí)的技術(shù)基礎(chǔ)。
評(píng)論