佐治亞理工大學(xué)、萊斯大學(xué)、Meta開發(fā)全新眼動追蹤系統(tǒng)

在不犧牲追蹤算法準(zhǔn)確性的情況下，以更小的尺寸、更高的效率進行眼動追蹤

基于攝像頭的眼動追蹤是AR/VR系統(tǒng)的重要組成，但目前的系統(tǒng)存在一定的局限性，包括體積尺寸，吞吐量，以及攝像頭和后端系統(tǒng)之間的高通信成本。

在一項研究中，美國佐治亞理工大學(xué)、萊斯大學(xué)和Meta的團隊開發(fā)了一種全新的眼動追蹤系統(tǒng)，他們希望通過結(jié)合無透鏡攝像頭、專有算法和加速處理器設(shè)計來克服相關(guān)限制。

研究人員表示：“目前的VR頭顯太重，游戲可能存在滯后，而使用控制器會很麻煩。綜合起來，這會讓用戶無法獲得真正的沉浸式體驗?！?/p>

所以，團隊研發(fā)了名為EyeCoD的新系統(tǒng)。通過用編碼的二進制掩模代替對焦透鏡，F(xiàn)latCam可以比基于透鏡的攝像頭薄5倍～10倍。掩模對入射光進行編碼，而不是直接聚焦?？梢詫latCam傳感測量的編碼信息進行計算解碼，以重建在掩模制造和測量過程中可能引入偽影和噪電的捕獲圖像。

另外，減小的形狀參數(shù)為將后端眼動追蹤處理器連接到更靠近前端攝像頭留出了空間，從而大大減小了攝像頭和處理器之間的距離，并相應(yīng)地降低了眼動追蹤的整個系統(tǒng)延遲的通信成本。

EyeCoD系統(tǒng)的另一個特點是，它只將用戶眼睛注視的屏幕位置設(shè)置為高分辨率。它通過預(yù)測用戶的注視點可能落在哪里，然后以高分辨率即時渲染這些區(qū)域來實現(xiàn)這一點。這可以計算節(jié)省，加上專用加速器，鞏固了EyeCoD提高處理速度和效率的能力。

通過結(jié)合FlatCam，團隊提出的系統(tǒng)能夠在不犧牲追蹤算法準(zhǔn)確性的情況下，以更小的尺寸、更高的效率進行眼動追蹤。系統(tǒng)同時可以通過不包括基于透鏡的攝像頭來增強用戶隱私。 

值得一提的是，團隊在2023年獲得了斯坦福技術(shù)授權(quán)辦公室的25000美元撥款，以幫助項目實現(xiàn)商業(yè)化。他們希望利用這筆資金將當(dāng)前的演示集成到一個緊湊的眼動追蹤系統(tǒng)中，并用于商業(yè)VR/AR頭顯。