縱觀AR/VR產(chǎn)業(yè)鏈，解讀處理器及連接技術(shù)

作者/ 王瑩 ?王金旺 《電子產(chǎn)品世界》編輯(100036)

摘要：本文邀請AR/VR行業(yè)關(guān)鍵廠商及領(lǐng)軍人物，就AR/VR產(chǎn)業(yè)的處理器及連接技術(shù)進(jìn)行了深入的解讀和分析。

處理器IP及顯示

多解決方案滿足不同AR/VR應(yīng)用需求

　　對于VR，用戶體驗(yàn)與分辨率、幀速率、延遲和質(zhì)量等直接相關(guān)。因此，我們看到有提高分辨率和幀率的要求;每只眼睛高達(dá)4K，每秒刷新率為60到120幀。

　　分辨率和幀速率的同時提高意味著圖形處理單元(GPU)現(xiàn)在要為4K120雙顯示器提供高質(zhì)量的內(nèi)容，性能明顯高于目前通常用于移動和電視游戲的1080P60單顯示器。對于一體式頭戴式顯示器，這一切都必須滿足嚴(yán)格的功率要求才能實(shí)現(xiàn)。所使用的GPU硬件在開始設(shè)計(jì)時就要考慮好移動供電的限制。

? ?Imagination Technologies的AR解決方案

　　在AR方面，Imagination Technologies正在生產(chǎn)一些能滿足場景理解視覺要求的產(chǎn)品。這包括場景照明、場景映射和物體識別。這些產(chǎn)品符合將現(xiàn)實(shí)虛擬物體放到AR環(huán)境中，使物體更好地融入到場景中這一發(fā)展趨勢。為了渲染超現(xiàn)實(shí)的虛擬物體，通常需要使用光線追蹤技術(shù)，這也可以充分體現(xiàn)我們硬件光線追蹤解決方案的優(yōu)勢。

　　為了在AR中實(shí)現(xiàn)場景理解，我們提供了多種解決方案。PowerVR GPU作為圖形處理單元，擁有滿足AR視覺應(yīng)用需求的并行架構(gòu)。此外，PowerVR還為視覺處理提供了硬件解決方案，以性能和效能更高的方式處理視覺數(shù)據(jù)。

　　Imagination Technologies目前已經(jīng)在VR產(chǎn)品中部署了多種PowerVR GPU內(nèi)核。AR和VR有很多價格點(diǎn)和應(yīng)用，因此，作為SoC公司的IP提供商，Imagination Technologies必須能提供多種解決方案，以便我們的客戶能夠滿足他們專門針對的細(xì)分市場的精確區(qū)域、功能和性能點(diǎn)要求。為滿足各種不同的需求，我們還提供了多種內(nèi)核。超小型、低功耗Series8XE非常適合入門級專用VR HMD和360°視頻，而升級版Series8XEP進(jìn)一步提高了入門級VR游戲的處理能力。我們還提供高端Series8XT，既適用于中檔VR解決方案，又適用于支持4K120的最高端VR功能。

支持嵌入式視覺神經(jīng)網(wǎng)絡(luò)的數(shù)字信號處理器(DSP)

　　所有嵌入式應(yīng)用中，AR/VR和混合現(xiàn)實(shí)面臨著獨(dú)有的挑戰(zhàn)。上述領(lǐng)域的設(shè)備大多屬于智能頭盔、耳機(jī)或智能眼鏡等可穿戴設(shè)備，依靠電池供電，能耗是選擇神經(jīng)網(wǎng)絡(luò)解決方案時最重要的考量因素之一。AR/VR應(yīng)用的另一個重要需求是減小延遲，所以神經(jīng)網(wǎng)絡(luò)必須實(shí)現(xiàn)設(shè)備嵌入。所有這些設(shè)備都需要某種圖像識別、手勢識別、立體攝像分割、3D傳感、頭部跟蹤、眼球偵測和眼球跟蹤能力。現(xiàn)在的成像技術(shù)多種多樣，但隨著時間的推移，其中某些功能，如語義環(huán)境理解、手勢識別和圖像識別，都將可以通過神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。除了成像/視覺神經(jīng)網(wǎng)絡(luò)，這些設(shè)備還對聲音/音頻神經(jīng)網(wǎng)絡(luò)提出了要求，以接收語音指令。

　　目前，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)有兩個主要選擇：CPU/GPU或使用硬件加速器及匹配的成像DSP。這兩個選擇都可以各自解決設(shè)計(jì)人員面臨的一些挑戰(zhàn);但又都在開發(fā)的簡易程度、功耗效率、延遲、未來升級空間或性能方面有一些令人不滿意的折衷。硬件加速器與匹配的成像DSP是嵌入式設(shè)備的選擇之一，但這一組合效率低下，會產(chǎn)生不必要的功耗。除了開發(fā)困難，軟件還必須在DSP和加速器之間進(jìn)行分區(qū)。僅卸載卷積層會顯著增加數(shù)據(jù)傳送負(fù)擔(dān)，并影響效率。另外，硬件在流片時便已固定，所以這些加速器將不具備未來的升級空間。

　　符合嵌入式應(yīng)用需要的神經(jīng)網(wǎng)絡(luò)DSP解決方案要滿足以下要求：易于開發(fā)、能夠處理龐大的數(shù)據(jù)量、未來具有升級空間、有效地使用能源并實(shí)現(xiàn)延遲最小化。

? ?Tensilica Vision C5數(shù)字信號處理器(DSP)

　　Cadence Tensilica Vision C5 DSP是致力于神經(jīng)網(wǎng)絡(luò)處理并適用于多處理器架構(gòu)的面向視覺和融合傳感器應(yīng)用優(yōu)化的DSP解決方案。這一解決方案具有存儲器結(jié)構(gòu)共享、允許中斷、同步隊(duì)列和同步多處理器調(diào)試等特性。Vision C5 DSP可以實(shí)現(xiàn)全神經(jīng)網(wǎng)絡(luò)層的計(jì)算加速(卷積層、全連接層、池化層和歸一化層)，而不僅僅是卷積層功能。因此，主視覺處理DSP的能力得以釋放，獨(dú)立運(yùn)行圖像增強(qiáng)應(yīng)用程序;而Vision C5 DSP則運(yùn)行推理任務(wù)。通過移除硬件加速器的冗余數(shù)據(jù)傳輸，Vision C5 DSP的功耗遠(yuǎn)低于現(xiàn)有的神經(jīng)網(wǎng)絡(luò)加速器。

　　Vision C5 DSP具備1TMAC/秒的計(jì)算能力，可以滿足神經(jīng)網(wǎng)絡(luò)不斷增長的計(jì)算要求;計(jì)算精確，擁有多核心設(shè)計(jì)架構(gòu)，支持多TMAC嵌入式解決方案。Vision C5 DSP針對的是經(jīng)常運(yùn)行多個神經(jīng)網(wǎng)絡(luò)的應(yīng)用。由于其可編程特性，該解決方案具有未來升級空間，并且能夠隨著設(shè)計(jì)的改變而支持新分層。

用ARM Mali GPU驅(qū)動實(shí)現(xiàn)移動VR

　　ARM認(rèn)為移動產(chǎn)品形態(tài)是更容易被客戶接受的產(chǎn)品形態(tài)。VR包括AR(增強(qiáng)現(xiàn)實(shí))都是很好的能夠拉動高端手機(jī)市場的應(yīng)用場景，這類應(yīng)用對性能的要求非常高，而且性能不只是來自于GPU，也來自于CPU，包括AR可能還需要攝像頭的參與，所以VR/AR是全系統(tǒng)的運(yùn)算方案。

　　在高端的VR游戲運(yùn)算的情況下，需要很強(qiáng)的GPU、CPU處理能力以及系統(tǒng)設(shè)計(jì)，所以對整個硬件的要求是非常高的;而在VR的360°視頻播放的應(yīng)用場景中，除了對GPU有要求以外，對視頻編/解碼器也有較高的要求，需要高分辨率，配合VR設(shè)備得到一個沉浸式的體驗(yàn)。