Magic Leap和微軟為什么要做AR眼鏡:關于原理及挑戰(zhàn)
Magic Leap 和 HoloLens 是什么?
本文引用地址:http://m.butianyuan.cn/article/201602/286581.htmMagic Leap 和 HoloLens 都是 Augmented Reality (AR)眼鏡的代表。
AR 和 VR 眼鏡的區(qū)別是什么?
AR 眼鏡是透明的,讓你能同時看到現實世界,和疊加在上面的虛擬成像。應用例子:趕不上 Lady Gaga 的演唱會?沒關系,戴上眼鏡她就在你家里開一個。代表產品原型:Magic Leap 和微軟的 HoloLens。
VR 眼鏡是不透明的,只顯示虛擬世界,把物理世界完全擋住。應用例子:坐在家里也能去大溪地“潛水”。代表產品:三星的 Gear VR,谷歌 Cardboard,Oculus Rift。
Magic Leap 和 Microsoft 為什么要做 AR 眼鏡?
總的來說,這是計算機的必然發(fā)展趨勢。2007 年蘋果推出 iPhone 以來,手機發(fā)展太迅猛,用戶隨時隨地帶著它,各項使用數據毫無懸念地都在超越 PC 端。所以,人機交互界面的未來主要在于移動。但現在的手機局限在于:
(1)既然要便于攜帶屏幕就做得小,屏幕小了某些功能就得受限;
(2)顯示屏幕是平面也就是二維的,而真實世界是三維的。
未來的 AR 眼鏡有望實現大突破,就是既能讓用戶隨身攜帶,又能在他眼前顯示超大屏幕,還能把以假亂真的 3D 內容渲染到他看到的真實世界里(想象你坐在教室里聽課,你的老師看起來真實無比,但其實就是在你的眼鏡上虛擬出來的)。這樣的眼鏡大概不會完全取代手機,但毫無疑問潛力無窮。
跟 VR 比較,AR 的應用場景也更廣闊(你總不能帶著 VR 頭盔大街上走吧)。本質上,AR 是 VR 的超集,鏡片前面一擋就成了 VR(前提是視角能做到差不多大)。
戴眼鏡好麻煩,為什么不直接像《星球大戰(zhàn)》一樣在空氣中顯示全息圖(Hologram)?
Holography 是人類的美好愿景,有一天也許能做成,但近期看離實用還早。現在有一些大學實驗室在研究裸眼光場顯示器(light field display),但需要很復雜笨重昂貴的設備,還只能在安裝了的地方用。相對而言,眼鏡的可行性要大得多。如果能做成輕便的 AR 眼鏡,將是移動人機交互界面上也是計算機發(fā)展的重大革新。
在 VR 頭盔上加個前視攝像頭不也就成 AR 了嗎?為什么非要透明的?
好問題。說起來 AR 有兩種,一種是前面所說的透明 AR(optical see-through)——現實世界是透過鏡片直接看到的。另一種就是“視頻疊加”(video see-through 或者 video overlay)——現實世界是通過攝像頭捕捉,然后以視頻的方式呈現給用戶(在上面再渲染一些東西)。事實上,現在手機和平板上已經出現了很多 video overlay 的應用,比如看星空,求翻譯,選家具等。
那為什么不用 VR 頭盔加攝像頭實現這種 AR 呢?當然可以,現在很多 VR 頭盔都在試探這種做法。它和透明 AR 相比各有優(yōu)劣,比如優(yōu)勢在于用視頻實現的虛擬和現實的疊加(overlay)要比透明 AR 簡單得多,這也是為什么它已經開始在移動端商用的原因。
但劣勢也可想而知,用戶看到的畢竟只是一個 2D 視頻,質量跟眼睛直接看到的世界還是差很大的。而且視頻從采集到顯示總歸是有延遲的,如果跟體感信號不一致的話會造成身體不適。所以不管怎樣都還是會有公司前仆后繼地去做透明 AR 的,Magic Leap 和 Microsoft HoloLens 就是例子。
Magic Leap 為什么那么牛能融到 5.42 億?(最近的 C 輪在融 8億)
前面說的應用潛力無窮肯定是助力,同時還有技術,創(chuàng)始人,團隊的原因。
Magic Leap 的核心技術是來自華盛頓大學前研究員 Brian Schowengerdt 的,他導師 Eric Seibel 是光纖掃描內窺鏡(Scanning Fiber Endoscope)的專家。大家都知道內窺鏡就是醫(yī)生們做手術時用來體內成像的,本質是個微小攝像頭。Brian 很聰明地逆轉光路把這個技術用到了顯示上,這樣通過極細的光纖用激光就可以打出彩色的圖像(如圖所示)。這個技術十幾年前就發(fā)表了,后來又不斷改進,生成了一堆專利。Magic Leap 很大程度上是基于 Brian 的這些專利。
那這種技術為什么重要呢?我們后面留成一個專門的問題講。
然而光有技術牛是不夠的,AR 眼鏡這種東西,要想做好可想而知是需要投入巨大的人力物力的,軟件硬件都得有重大突破。蘋果、微軟、谷歌這樣的公司可能有財力去做這個事,為什么會相信一個初創(chuàng)小企業(yè)能做成?我覺得猶太人創(chuàng)始人 Rony Abovitz 起的作用很大。Rony 之前是 MAKO Surgical 的聯合創(chuàng)始人。這家公司知道的人不多,但他們做的東西說出來就嚇人了——是做機器人手術(robotic surgery)的,主要是骨科手術精準定位。聽起來科幻超前吧,可是人 2004 年創(chuàng)建,2008 年就上市了,2013 年以 16.5 億美元賣給了 Stryker Medical。這種 track record 他拉不到投資誰能拉到。
除了創(chuàng)始人兼 CEO,團隊也不是蓋的,計算機視覺部分拉到了 Gary Bradski 和 Jean-Yves Bouguet 這樣的大牛。合作的 Weta Workshop 是在好萊塢給電影做特效的,《指環(huán)王》就是他們做的。所以 Magic Leap 當年用來拉投資用的概念視頻就像一個微型電影一樣。
現在該回到前面的問題了,為什么 Magic Leap 的光場顯示技術很重要?
首先,它是基于極細的光纖的,可以讓眼鏡做得輕薄。但更重要的是因為 Brian 證明了用這種技術不僅可以投射出一個 2D 圖片,還能顯示出一個光場(Light Field)。
現代的近視眼鏡為了實現 3D 有兩種主要的技術:Stereoscopic(中文翻譯成“立體”,但其實不夠準確),和 Light Field(光場)。Stereoscopic 眼鏡早已商化(比如所有 3D 影院里用的,還有市面上幾乎所有 AR 和 VR 眼鏡/原型——包括 Microsoft HoloLens,Epson Moverio,Lumus DK-40, Facebook Oculus——都是 Stereoscopic)。而 Light Field 還只在實驗室里有雛形(Magic Leap 大概是做得最好的一個)。什么是 Stereoscopic 3D 呢?為什么它不夠好還要做 Light Field 呢?什么又是Light Field 呢?
Stereoscopic 3D 是假 3D
3D 圖像比 2D 圖片多了一個維度,這個維度就是景深(depth),看過 3D 電影和 2D 電影的同學知道感官上有明顯的區(qū)別(只有少數人有雙盲癥不能看到)。大家知道人眼感知景深有很多機制,包括單眼(monocular)和雙眼(binocular)的。
單眼能感知的景深信號很多,比如:一個東西遮擋了另一個(occlusion),熟悉的物體的大小(relative size/height),物體移動的變化(遠的物體變化慢近的物體變化快,即 motion parallax)。在此基礎上,雙眼的景深信號也非常強烈(所以遠古的我們能更好地判斷對面的老虎或者鹿到底離多遠)。兩只眼睛看到同一個場景會有細微差別,這讓大腦能通過三角計算(triangulation)來得到物體景深。
Stereoscopic 3D 就是利用這個原理給雙眼分別顯示不同的圖片(如下圖),它們很相似,只在水平方向上有細微差別。而這兩張圖片拍攝的時候,就是用兩個并排的相機模擬人眼的位置拍的,現在的 3D 電影都是基于這個原理。
但這樣的 Stereoscopic 3D 有什么問題呢?簡單講它會引起用戶身體不適如頭暈、惡心等。為什么呢?這又涉及到人眼的一個有意思的機制。當我們在看一個現實世界中的物體時,眼睛其實有兩種自然反應:
(1)聚焦(Accommodation/Focus)。眼睛的晶狀體就像一個凸透鏡,它會調節(jié)凸度來讓那個物體在咱們視網膜上清楚成像。
(2)“會聚”(Convergence)。在每只眼睛聚焦的同時,兩只眼球還會有旋轉運動來一起指向那個物體。
很自然地,這兩種反射運動在神經上是聯接的(neurally coupled),也就是說任意一種運動會自動引發(fā)另一種運動。這也意味著,在人眼看真實物體的時候,聚焦和會聚的距離總是相等的(vergence distance = accommodation distance,參見下圖A)。
評論