高翔博士：單目SLAM在移動端應(yīng)用的實(shí)現(xiàn)難點(diǎn)有哪些？（2）

1. 視覺SLAM的困難

雙目相機(jī)和RGBD相機(jī)能夠測量深度數(shù)據(jù)，于是就不存在初始化和尺度上的問題了。但是，整個視覺SLAM的應(yīng)用中，存在一些共同的困難，主要包括以下幾條：

• 相機(jī)運(yùn)動太快
• 相機(jī)視野不夠
• 計(jì)算量太大
• 遮擋
• 特征缺失
• 動態(tài)物體或光源干擾

2.1 運(yùn)動太快

運(yùn)動太快可能導(dǎo)致相機(jī)圖像出現(xiàn)運(yùn)動模糊，成像質(zhì)量下降。傳統(tǒng)卷簾快門式的相機(jī)，在運(yùn)動較快時將產(chǎn)生明顯的模糊現(xiàn)象。不過現(xiàn)在我們有全局快門的相機(jī)了，即使動起來也不會模糊的相機(jī)，只是價格貴一些。

（你真以為啥圖都可以用來SLAM嗎？拿衣服啊，圖片來自TUM數(shù)據(jù)集）

（全局快門相機(jī)在拍攝高速運(yùn)動的物體仍是清晰的，圖片來自網(wǎng)絡(luò)）

運(yùn)動過快的另一個結(jié)果就是兩個圖像的重疊區(qū)（Overlap）不夠，導(dǎo)致沒法匹配上特征。所以視覺SLAM中都會選用廣角、魚眼、全景相機(jī)，或者干脆多放幾個相機(jī)。

2.2 相機(jī)視野不夠

如前所述，視野不夠可能導(dǎo)致算法易丟失。畢竟特征匹配的前提是圖像間真的存在共有的特征。

2.3 計(jì)算量太大

基于特征點(diǎn)的SLAM大部分時間會花在特征提取和匹配上，所以把這部分代碼寫得非常高效是很有幫助的。這里就有很多奇技淫巧可以用了，比如選擇一些容易計(jì)算的特征/并行化/利用指令集/放到硬件上計(jì)算等等，當(dāng)然最直接的就是減少特征點(diǎn)啦。這部分很需要工程上的測試和經(jīng)驗(yàn)?？偠灾卣鼽c(diǎn)的計(jì)算仍然是主要瓶頸所在。要是哪天相機(jī)直接輸出特征點(diǎn)就更好了。

2.4 遮擋

相機(jī)可能運(yùn)動到一個墻角，還存在一些邪惡的開發(fā)者刻意地用手去擋住你的相機(jī)。他們認(rèn)為你的視覺SLAM即使不靠圖像也能順利地工作。這些觀念是毫無道理的，所以直接無視他們即可。

2.5 特征缺失、動態(tài)光源和人物的干擾

老實(shí)說SLAM應(yīng)用還沒有走到這一步，這些多數(shù)是研究論文關(guān)心的話題（比如直接法）?，F(xiàn)在AR能夠穩(wěn)定地在室內(nèi)運(yùn)行就已經(jīng)很了不起了。

---------------我是分割線-----------------

1. 可能的解決思路

前邊總結(jié)了一些單目視覺可能碰到的困難。我們發(fā)現(xiàn)大部分問題并不能在當(dāng)下的視覺方案能夠解決的。你或許可以通過一些工程技巧加速特征匹配的過程，但像尺度、遮擋之類的問題，明顯無法通過設(shè)計(jì)軟件來解決。

所以怎么辦呢？——既然視覺解決不了，那就靠別的來解決吧。畢竟一臺設(shè)備上又不是只有一塊單目相機(jī)。更常見的方案是，用視覺+IMU的方式做SLAM。

當(dāng)前廣角單目+IMU被認(rèn)為是一種很好的解決方案。它價格比較低廉，IMU能在以下幾點(diǎn)很好地幫助視覺SLAM：

• IMU能幫單目確定尺度
• IMU能測量快速的運(yùn)動
• IMU在相機(jī)被遮擋時亦能提供短時間的位姿估計(jì)

所以不管在理論還是應(yīng)用上，都出現(xiàn)了一些單目+IMU的方案[2,3,4]。眾所周知的Tango和Hololens亦是IMU+單目/多目的定位方式。

（用Tango玩MC，缺點(diǎn)是蓋的房子尺寸和真實(shí)世界一樣。蓋二樓你就得真跑到樓上去蓋——這怎么造圓明園？）

（這貨就是靠后邊這魚眼+IMU做跟蹤的）

（Hololens圖就不上了吧……橫豎也不是自己的）

[1]. Strasdat, Montiel, A.J.Davison, Scale drift-aware large scale monocular SLAM, RSS 2006.

[2]. Leutenegger et. al., Keyframe-based visual-inertial odometry using nonlinear optimization, IJRR 2015.

[3]. Huang Guoquan, Kaess and Leonard, Towards Consistent Visual-Inertial Navigation, ICRA 2014.

[4]. Li Mingyang and Mourikis, High-precision, consistent EKF-based visual-inertial odometry, IJRR, 2013.