談?wù)刋R關(guān)鍵技術(shù)及VR/AR/MR/XR關(guān)系

談?wù)刋R關(guān)鍵技術(shù)及VR/AR/MR/XR關(guān)系

一、先別被VR/AR/MR/XR搞暈，說說區(qū)別

虛擬現(xiàn)實（Virtual Reality，VR）、增強現(xiàn)實（Augmented Reality，AR）等業(yè)務(wù)以其三維化、自然交互、空間計算等完全不同于當(dāng)前移動互聯(lián)網(wǎng)的特性，被認(rèn)為將是下一代通用計算平臺。自 2012 年谷歌發(fā)布 AR 眼鏡 Google Glass, 2014 年 Facebook 收購 VR 頭顯廠商 Oculus 以來，VR/AR 行業(yè)歷經(jīng)了 2015 年至 2017 年的創(chuàng)業(yè)和資本的狂熱，2018 年的行業(yè)退潮。隨著 2019 年底全球 5G 正式展開部署，VR/AR 作為 5G 核心的商業(yè)場景重新被認(rèn)識和重視，行業(yè)重回升勢。

2020 年雖然受疫情的影響，全球各生產(chǎn)生活都受到了不同程度的沖擊，然而 VR/AR 行業(yè)因禍得福，因疫情造成的社交隔離激發(fā)了 VR 游戲、虛擬會議、AR 測溫等需求爆發(fā)。Steam 平臺 VR 活躍用戶翻倍增長，虛擬會議，云端展覽案例層出不窮，當(dāng)前 VR/AR/MR/XR 各種 *R 概念紛飛，讓人眼花繚亂。本期希望能先辨析清楚這幾個概念，后續(xù)將進(jìn)一步分析當(dāng)前的 XR 核心技術(shù)，梳理當(dāng)前應(yīng)用場景和產(chǎn)業(yè)情況，以及展望未來發(fā)展。

虛擬現(xiàn)實（Virtual Reality，VR）

概念：VR 是已包裝好的視覺、音頻場景數(shù)字內(nèi)容的渲染版本。渲染旨在模擬觀察者或用戶在應(yīng)用程序定義的范圍內(nèi)移動時盡可能自然地模擬現(xiàn)實世界中的視覺和音頻感官刺激。VR 通常（但非必須）要求用戶佩戴頭部顯示器，以模擬的視覺組件完全取代用戶的視野，并佩戴耳機，以向用戶提供配套的音頻。通常還需要在 VR 中對用戶進(jìn)行某種形式的頭部和動作跟蹤，以便更新模擬的視覺和音頻組件，以確保從用戶的角度來看，圖像和聲源與用戶的動作保持一致。還可以提供與虛擬現(xiàn)實仿真進(jìn)行交互的其他手段，但非必須。

發(fā)展歷程：虛擬現(xiàn)實 VR 為夢想而生，讓夢成 “真”。1935 年小說家 Stanley Weinbaum 在小說中描述了一款 VR 眼鏡，以眼鏡為基礎(chǔ)，包括視覺，嗅覺，觸覺等全方位沉浸式體驗的虛擬現(xiàn)實概念，該小說被認(rèn)為是世界上率先提出虛擬現(xiàn)實概念的作品。有了方向，接下來就是追夢者的舞臺，1957 年，電影攝影師 Morton Heiling 發(fā)明了名為 Sensorama 的仿真模擬器，是通過三面顯示屏來形成空間感，無比巨大，用戶需要坐在椅子上將頭探進(jìn)設(shè)備內(nèi)部，才能體驗到沉浸感。

1968 年美國計算機圖形學(xué)之父、圖靈獎獲得者 Ivan Sutherland 開發(fā)了第一個計算機圖形驅(qū)動的頭盔顯示器 The Sword of Damocles（達(dá)摩克利斯之劍），如圖 1-1 右側(cè)，它同時也是增強現(xiàn)實的雛形。VR 向用戶呈現(xiàn)的是和現(xiàn)實環(huán)境阻隔的純虛擬環(huán)境，通常以頭部顯示器的方式，沉浸感優(yōu)越，因而主要作為娛樂和社交工具進(jìn)入大眾視野，消費級產(chǎn)品層出不窮，當(dāng)前整個產(chǎn)業(yè)已經(jīng)趨于成熟。

增強現(xiàn)實（Augmented Reality，AR）

概念：AR 是指向用戶提供其他信息或人工生成的對象或內(nèi)容覆蓋其當(dāng)前環(huán)境的圖像。此類附加信息或內(nèi)容通常是視覺或聽覺的，并且對當(dāng)前環(huán)境的觀察可以是直接的，沒有中間轉(zhuǎn)換，處理和渲染，或者是間接的，因為它們對環(huán)境的感知是通過傳感器進(jìn)行中繼的，并且可以得到增強或處理 [1]。人物的第一視角看到的環(huán)境仍為現(xiàn)實場景，通過技術(shù)手段（顯示器、眼鏡等）在人眼所見的現(xiàn)實場景中融入虛擬內(nèi)容，虛擬內(nèi)容不基于對現(xiàn)實環(huán)境的實時理解，只是相對簡單的拼湊在一起。

AR 的發(fā)展一波三折，從最初的原型開始 AR 就采用先進(jìn)的光學(xué)****式的顯示的方式，但是進(jìn)展并不順利，沉寂多年。AR 概念是在 1990 年由波音公司的研究員 Tom Caudell 提出的，隨后在 ToB 專業(yè)領(lǐng)域嶄露頭角，比如美國空軍研發(fā)的虛擬幫助系統(tǒng)，哥倫比亞大學(xué)的 KARMA 修理幫助系統(tǒng)等。而增強現(xiàn)實走進(jìn)大眾視野是通過平面顯示器（電腦、電視、手機）將現(xiàn)實圖像和虛擬物品疊加顯示的方式達(dá)成的，1998 年 AR 第一次用于直播展示橄欖球比賽進(jìn)攻黃線，而帶來革命的是第一個增強現(xiàn)實 SDK ARToolkit，作為第一個 AR 開源框架被發(fā)布，使 AR 技術(shù)走出專業(yè)的研究機構(gòu)之中，許多普通程序員也都可以利用它開發(fā)自己的 AR 應(yīng)用。現(xiàn)在有多個 AR 引擎，支持手機應(yīng)用的開發(fā)，使 AR 進(jìn)入到我們的日常生活，但是通過平面顯示器的展現(xiàn)方式沉浸感較低。

所以人們并沒有放棄沉浸感更高的穿戴設(shè)備的 AR 實現(xiàn)，Google 在 2012 年 6 月推出 Google Glass，但是效果不盡如人意，未能成為精品，時至今日雖有消費級 AR 眼鏡的出現(xiàn)，但是成熟度不高，近兩年極有可能會有突破。

混合現(xiàn)實（Mixed Reality，MR）

概念：MR 是 AR 的一種高級形式，虛擬元素被融入到物理場景中，目的是提供一種虛擬和現(xiàn)實結(jié)合的場景，即這些元素是真實場景的一部分 [1]。在 MR 場景下，大部分虛擬內(nèi)容基于現(xiàn)實理解而產(chǎn)生，因此比純虛擬化的場景更具有體驗上的真實感。

發(fā)展歷程：混合現(xiàn)實 MR 是將夢境和現(xiàn)實融合?；旌犀F(xiàn)實出現(xiàn)時間比 VR 和 AR 晚，理解存在爭議，尤其是同 AR 的邊界較難劃分。早在 1994 年，Paul Milgram 和 Fumio Kishino 在論文中提出了混合現(xiàn)實的定義，并利用虛擬連續(xù)體（Virtuality Continuum）坐標(biāo)的形式闡述了三者關(guān)系。最初的概念見圖 1-5，左側(cè)可理解為人裸眼所見的真實物理世界，隨著坐標(biāo)軸向右，對現(xiàn)實世界的虛擬化（或稱數(shù)字化）程度逐漸增大，AR 階段所見的視覺信息仍是現(xiàn)實環(huán)境為主，到最右側(cè)就是與現(xiàn)實脫鉤，處在完全虛擬化的環(huán)境中就是 VR。而從真實世界向完全虛擬化環(huán)境 VR 的轉(zhuǎn)變過程，統(tǒng)稱為 MR，即現(xiàn)實與虛擬的融合過程。（論文中提到了增強虛擬的概念，目前大眾接受度不高，沒有形成單獨的產(chǎn)品。）

根據(jù)這個定義，MR 最初是一個過程的概念，并非特定技術(shù)棧，而在此過程中，按照人眼所見現(xiàn)實與虛擬的結(jié)合程度，出現(xiàn)了 VR/AR 這樣不同體驗的產(chǎn)品類別。但是，隨著產(chǎn)業(yè)的發(fā)展，以微軟為代表的一些廠商把 MR 定義成 VR/AR 的融合技術(shù)，提供將現(xiàn)實場景虛擬化的體驗，此時，人眼所見的虛擬場景是基于現(xiàn)實數(shù)字化得來的。

微軟是這樣區(qū)分三者的關(guān)系的：在物理世界的視頻流中疊加圖形的體驗是“增強現(xiàn)實”。 遮擋視線以呈現(xiàn)數(shù)字圖像的體驗是“虛擬現(xiàn)實”。 在增強現(xiàn)實和虛擬現(xiàn)實之間實現(xiàn)的體驗形成了“混合現(xiàn)實”。

相比 AR 主要是實現(xiàn)虛擬的對象直接顯示在現(xiàn)實世界的圖像上，而 MR 是讓虛擬物品不僅僅是作為圖像出現(xiàn)在現(xiàn)實世界，而是 “以更逼真的存在的方式” 融入現(xiàn)實世界，或者反過來讓現(xiàn)實空間的對象，融入到虛擬空間的方式，打破兩個空間的隔離性，兩個空間的實體可以互相交互，給人一種渾然一體的體驗。技術(shù)難度在三者中是最高的。MR 是 AR 的增強，與其說 MR 眼鏡，不如說有 MR 功能的 AR 眼鏡或者 VR 眼鏡更恰當(dāng)。目前主流市場上也僅有微軟 HoloLens 和 Magic Leap 等提供 MR 功能的產(chǎn)品，但都不太成熟。

擴展現(xiàn)實（eXtended Reality，XR）

概念：XR 是指由計算機技術(shù)和可穿戴設(shè)備生成的所有真實和虛擬組合環(huán)境以及人機交互。代表性的形式有 AR，MR 和 VR 以及在他們之間的交叉場景。虛擬級別的范圍從部分感官輸入 AR 到完全沉浸式 VR。XR 的一個關(guān)鍵方面是人類體驗的擴展，尤其是與存在感（以 VR 為代表）和認(rèn)知的獲得（以 AR 為代表）有關(guān) 。

發(fā)展歷程：由于很多時候 MR 和 AR 之間是很難有明確區(qū)分的邊界，而且三者發(fā)展互相有關(guān)聯(lián)技術(shù)有交集，因而 2016 年 11 月擴展現(xiàn)實 XR 概念被提了出來，尤其高通對這個概念最為熱衷，推出了虛擬現(xiàn)實 / 增強現(xiàn)實一體化的 XR 芯片。根據(jù)高通的定義，擴展現(xiàn)實 XR 是一個概括性術(shù)語，囊括了增強現(xiàn)實（AR），虛擬現(xiàn)實（VR），混合現(xiàn)實（MR）以及介于他們之間的所有內(nèi)容。盡管 AR 和 VR 提供了迥然不同的革命性體驗，但是相同的基礎(chǔ)技術(shù)正在推動 XR 的發(fā)展。

更早的時候，XR 在視覺領(lǐng)域被提出作為擴展人類可見光譜范圍之意，如紫外線紅外線等，但是并非和虛擬現(xiàn)實 / 增強現(xiàn)實領(lǐng)域相關(guān)的概念，在此不細(xì)述。

以上是對XR概念的介紹，后續(xù)會對XR的關(guān)鍵技術(shù)、應(yīng)用場景、產(chǎn)業(yè)情況以及未來趨勢繼續(xù)討論。