Magic Leap和微軟為什么要做AR眼鏡:關(guān)于原理及挑戰(zhàn)
那么 Stereoscopic 3D 的問(wèn)題就來(lái)了。因?yàn)?Stereoscopic 的投射距離總是固定的(也就是 accommodation distance 不變),而圖片的 disparity 會(huì)讓眼睛會(huì)聚在不同的距離(vergence distance)以產(chǎn)生景深 3D 效果(見(jiàn)下圖B)。所以,這兩種距離經(jīng)常是不一致的(vergence distance ≠ accommodation distance),會(huì)造成這兩種神經(jīng)相連的運(yùn)動(dòng)強(qiáng)行分離(neurally decoupled)。
本文引用地址:http://m.butianyuan.cn/article/201602/286581.htm從另一個(gè)角度講,在自然世界里,當(dāng)人眼聚焦并會(huì)聚到一個(gè)物體時(shí),別的距離的物體應(yīng)該都是模糊的(下圖C)。而在Stereoscopic 3D 里,不管人眼聚焦到哪兒,別的距離的物體成像都是清楚的(下圖D)。
這些都不符合自然界人眼的規(guī)律,因此大腦會(huì)產(chǎn)生混亂,長(zhǎng)時(shí)間就會(huì)引起惡心暈眩等癥狀。所以 Stereoscopic 其實(shí)是用了一個(gè)小伎倆讓人能看到 3D 效果,但它并不是真 3D。
光場(chǎng)(light field)是真3D
光場(chǎng)顯示跟 Stereoscopic 3D 比的一個(gè)很大不同就是它有本事能讓人眼聚焦到不同的距離,從而和會(huì)聚的距離保持一致。這是最符合人眼觀察自然世界規(guī)律的做法,因此被稱(chēng)為 true-3D。
可以想象要實(shí)現(xiàn)這樣的光場(chǎng)顯示,并不是那么簡(jiǎn)單?,F(xiàn)在主要是兩種方法:空間復(fù)用(space multiplexing)和時(shí)間復(fù)用(time multiplexing)。“空間復(fù)用”簡(jiǎn)單說(shuō)就是把一個(gè)像素當(dāng)幾塊用來(lái)實(shí)現(xiàn)不同的聚焦距離。Nvidia 在 SIGGRAPH 上展示的那個(gè)原型就屬于這種。這個(gè)方法最大的問(wèn)題就是分辨率大打折扣。我曾經(jīng)試戴過(guò),基本就是霧里看花。
“時(shí)間復(fù)用”呢,就是用高速原件來(lái)快速產(chǎn)生不同的聚焦距離,讓人眼以為它們是同時(shí)產(chǎn)生的。這樣的好處就是分辨率不損失。大家知道人眼的速度感知是有限的,很多顯示器都是 60Hz 的,因?yàn)槿搜勰芊直娴臉O限值一般就是 60Hz(在某些高速內(nèi)容比如游戲里可能達(dá)到 90-120Hz)。這意味著什么呢,如果利用高速顯示 360Hz,就可以實(shí)現(xiàn) 6 個(gè)不同的聚焦距離。而有研究表明用6 個(gè)聚焦距離加上一種線性混合(linear blending)的渲染算法就基本能實(shí)現(xiàn)從約 30 厘米到無(wú)窮遠(yuǎn)讓人眼自然對(duì)焦。
Magic Leap 的技術(shù)是哪種呢?它最近 demo 用的哪種技術(shù)沒(méi)有公開(kāi),但很有可能還是基于 Brian 的高速激光光纖掃描(scanning fiber)技術(shù),也是一種時(shí)間復(fù)用的辦法。Brian 當(dāng)年先試過(guò)只用一根光纖掃描不同聚焦距離,這樣做明顯對(duì)速度要求太高,后來(lái)用一個(gè)光纖束(fiber bundle/array),比如 16 根,每個(gè)光纖有一點(diǎn)位置差,然后同時(shí)掃描得到不同聚焦距離。
這樣的光場(chǎng)受現(xiàn)實(shí)系統(tǒng)的局限肯定不可能是連續(xù)的,都是被采樣的(downsampled)。但是,即使是這樣的光場(chǎng)投射到眼睛里也在理論上是跟真實(shí)世界物體光線進(jìn)入眼睛是一個(gè)道理,因此可以實(shí)現(xiàn) true-3D?;氐阶畛醯膯?wèn)題,這也是為什么 Magic Leap 的技術(shù)重要的原因。現(xiàn)在你也理解了為什么 Rony 說(shuō)“ HoloLens 會(huì)讓人惡心”了吧?
透明 AR 眼鏡面臨哪些挑戰(zhàn)
1、顯示
首先能實(shí)現(xiàn)近眼光場(chǎng)顯示就很難,現(xiàn)在的公司除了 Magic Leap 還都是用古老的 Stereoscopic 3D 的方法,用戶戴長(zhǎng)了就會(huì)眼困頭暈惡心。而 Magic Leap 所用的近眼顯示技術(shù)理論上成立,現(xiàn)實(shí)中也還有很多問(wèn)題要解決。比如:
系統(tǒng)大?。?Magic Leap 現(xiàn)在還沒(méi)有公開(kāi)過(guò)它的原型照片,據(jù)報(bào)道都還是像一個(gè)冰箱一樣大的,離可穿戴還有很長(zhǎng)的路要走。
光場(chǎng)采樣:既然是采樣就一定有損失,比如對(duì)比度清晰度上,如何才能最優(yōu)采樣?
聚焦和會(huì)聚(Accommodation-vergence matching):即便聚焦距離對(duì)了,也要保證會(huì)聚距離始終與其保持一致。Magic Leap 現(xiàn)在的 demo 視頻還只是從單眼攝制的,還沒(méi)有證據(jù)表明他們很好地解決了雙眼問(wèn)題。
室外顯示:現(xiàn)在大家的 demo 都是室內(nèi)的。當(dāng)用戶在室外時(shí),太陽(yáng)光強(qiáng)度比顯示光高幾個(gè)數(shù)量級(jí)。至少鏡片需要有自動(dòng)調(diào)光的技術(shù)。
捕捉內(nèi)容:雖然現(xiàn)在可以用計(jì)算機(jī)圖形來(lái)做demo,但以后的應(yīng)用一定會(huì)需要相機(jī)采集的內(nèi)容,而光場(chǎng)的拍攝本身還有很多問(wèn)題要解決。
散熱:是一個(gè)容易被忽視的問(wèn)題。當(dāng)年 Google Glass 出來(lái)的時(shí)候有人說(shuō)用著用著臉就像要燒起來(lái)了?,F(xiàn)在還沒(méi)有證據(jù)表明HoloLens 和 Magic Leap 的眼鏡能長(zhǎng)時(shí)間保持涼爽。
2、鏡片
近眼顯示有兩個(gè)關(guān)鍵部件:顯示器和鏡片?,F(xiàn)在大部分的 AR 眼鏡鏡片都是基于分光鏡(beamsplitter prism)的,比如 Google Glass,HoloLens,Epson Moverio。如圖左,簡(jiǎn)單的分光鏡就是 45 度角,把顯示器產(chǎn)生的光從眼鏡框反射進(jìn)人眼,也同時(shí)讓現(xiàn)實(shí)世界的光透進(jìn)來(lái)。這樣做簡(jiǎn)單便宜,但是鏡片厚。
一個(gè)以色列公司 Lumus 做出了一個(gè)光導(dǎo)(waveguide)技術(shù)讓鏡片變得很薄,可惜工藝復(fù)雜成本太高。后來(lái)也有一些便宜的光導(dǎo)產(chǎn)品出現(xiàn),但質(zhì)量還遠(yuǎn)不如 Lumus。所以,鏡片也還有很長(zhǎng)的路要走,不僅要做到視角(Field-of-View)大,還要輕薄,透光性好,在折射/反射顯示光的時(shí)候也要盡量保持光的屬性并做到盡量小的光損失。
3、視角(FoV)和分辨率(Resolution)
視角直接決定了用戶體驗(yàn)?,F(xiàn)在的很多 AR 眼鏡視角還在 20°-40°之間,不少試戴了 HoloLens 的記者都對(duì)它的視角表示失望。而人眼的橫向視角雙眼差不多有 200°,縱向有 130°。視角大意味著總的分辨率也要很大才能覆蓋,8K*8K 才會(huì)比較理想。
4、遮擋(Occlusion)
前面說(shuō)到過(guò)單眼的景深感知有一個(gè)很重要的信號(hào)就是物體之間的遮擋。在用透明 AR 眼鏡時(shí),一個(gè)關(guān)鍵問(wèn)題就是虛擬物體和現(xiàn)實(shí)物體之間的遮擋怎么實(shí)現(xiàn)。
如果是現(xiàn)實(shí)物體在前面,虛擬物體在后面,還相對(duì)比較好辦,就是要自動(dòng)探測(cè)現(xiàn)實(shí)物體的距離,再計(jì)算出虛擬物體哪些部位需要遮擋從而不渲染。但是如果反過(guò)來(lái),虛擬物體需要遮擋現(xiàn)實(shí)物體,就沒(méi)那么直接了,因?yàn)槔碚撋闲枰熏F(xiàn)實(shí)物體的光從眼鏡上選擇性地濾掉。從 Magic Leap 最近的 demo 看,在虛擬物體明亮?xí)r,它本身的亮度會(huì)自然遮擋后面的真實(shí)物體,但當(dāng)虛擬物體比較暗時(shí),還是有所謂的“鬼影效果”(ghost effect),不符合自然規(guī)律,又會(huì)讓大腦產(chǎn)生混亂。
如果想實(shí)現(xiàn)完全正確的遮擋效果,只能在鏡片上做實(shí)時(shí)的像素級(jí)的濾光機(jī)制(per-pixel shutter),但現(xiàn)在的技術(shù)都還不成熟。
5、渲染黑色
透明 AR 眼鏡現(xiàn)在還沒(méi)辦法渲染黑色。因?yàn)樗f(shuō)到底是虛擬光和自然光的疊加。如果畫(huà)黑色,用戶是看不到的,只會(huì)看到后面的背景真實(shí)物體的光。類(lèi)似的暗色都有這個(gè)問(wèn)題。
6、延遲
透明 AR 眼鏡還有一個(gè)很大的挑戰(zhàn)就是延遲。把虛擬物體疊加到真實(shí)物體上(比如放一個(gè)虛擬水杯到一個(gè)真實(shí)桌子上)涉及到一系列計(jì)算:探測(cè)真實(shí)物體→計(jì)算它的空間位置和方向→計(jì)算疊加位置→渲染虛擬物體等。
這一切都必須在一眨眼內(nèi)發(fā)生,讓用戶感覺(jué)不到延遲。比如在那個(gè)水杯例子里,我們的頭可能是一直在動(dòng)的,隨著我們頭動(dòng),我們看到的那個(gè)水杯應(yīng)該在桌上原來(lái)的位置不動(dòng)才對(duì)。而如果系統(tǒng)延遲過(guò)大,我們看到的那個(gè)水杯的位置可能就總是不對(duì),大腦就又混亂了。
這對(duì)透明 AR 挑戰(zhàn)尤其大,因?yàn)檎鎸?shí)世界我們是直接看到的,幾乎沒(méi)有任何延遲,而虛擬物體的渲染得能跟上這個(gè)速度才顯得自然。在 video overlay 里,就沒(méi)有這個(gè)問(wèn)題,因?yàn)槲覀兛吹降恼鎸?shí)世界的視頻已經(jīng)是延遲的了,這樣在上面的物體疊加就比較容易跟它保持同步。
7、激光
Magic Leap 以前的技術(shù)專(zhuān)利是用激光直接打到人眼里,雖然據(jù)說(shuō)很安全,但還沒(méi)有確切的科學(xué)證據(jù)。所以用戶接受度是個(gè)問(wèn)題,很多人估計(jì)一聽(tīng)到這個(gè)就望而卻步了。
說(shuō)了這么多,下一代移動(dòng)人機(jī)交互界面到底什么時(shí)候能做成呢?我個(gè)人感覺(jué)要做成人民群眾喜聞樂(lè)見(jiàn)的版本至少要 5 年時(shí)間,也許更長(zhǎng)。因?yàn)橐陨狭谐龅倪@些挑戰(zhàn),每一個(gè)都還需要很多努力才能解決。目前它們很多都還不到量變(只是需要優(yōu)化)的階段,而是需要大的質(zhì)的飛躍。所以,路漫漫其修遠(yuǎn)兮。但既然這是計(jì)算機(jī)發(fā)展的必然方向,拭目以待吧。
評(píng)論