綜述 | 基于特征的視覺(jué)同步定位和建圖（2）

在本節(jié)中，將概述最先進(jìn)的基于特征的視覺(jué)SLAM系統(tǒng)。如前所述，特征可以具有不同的層次：低級(jí)特征、中級(jí)特征或高級(jí)特征。視覺(jué) SLAM 系統(tǒng)可以基于使用一種或兩種或多種特征類型的混合，這將在以下部分中討論?；谔卣鞯姆椒ㄗ盍钊藫?dān)憂的問(wèn)題是它們?cè)跊](méi)有特征的情況下會(huì)失敗。無(wú)論它們?cè)谔卣髫S富的環(huán)境中可實(shí)現(xiàn)的高性能和準(zhǔn)確性如何，如果所研究的環(huán)境缺乏視覺(jué) SLAM 所依賴的特征，無(wú)論是點(diǎn)、平面還是物體，定位都會(huì)失敗，并且機(jī)器人周圍環(huán)境的估計(jì)也不會(huì)反映真實(shí)的結(jié)構(gòu)。在下文中，視覺(jué) SLAM 系統(tǒng)根據(jù)系統(tǒng)中使用的特征類型進(jìn)行分類和討論。3.1 基于低級(jí)特征的方法低級(jí)特征是在紋理場(chǎng)景中大量可觀察的幾何基元。絕大多數(shù)現(xiàn)有的視覺(jué) SLAM 系統(tǒng)，例如 [22, 62, 70, 91, 127] 在整個(gè)定位和建圖過(guò)程中都利用了這些特征，并在準(zhǔn)確性和效率方面達(dá)到了非常高的成熟度和效率。但是，如果機(jī)器人運(yùn)行的環(huán)境是無(wú)紋理的或缺乏系統(tǒng)可以跟蹤的特征，則此類方法會(huì)由于缺乏特征而失敗，因此最近的 SLAM 方法開始同時(shí)考慮使用不同級(jí)別的特征。3.1.1 多種特征類型以提高魯棒性基于特征的視覺(jué) SLAM 系統(tǒng)依賴于單一類型的特征，當(dāng)這些特征在所運(yùn)行的環(huán)境中不存在時(shí)，很容易出現(xiàn)故障。為了規(guī)避這個(gè)問(wèn)題，[99] 中提出的工作建議使用點(diǎn)和線一起在紋理不佳的環(huán)境中執(zhí)行單目 SLAM。線由它們的端點(diǎn)參數(shù)化，以促進(jìn)與基于點(diǎn)的方法的集成。在沒(méi)有點(diǎn)特征的情況下，這項(xiàng)工作提出了一種僅使用線來(lái)初始化系統(tǒng)的新技術(shù)。在 [47] 中也采用了相同的地標(biāo)集來(lái)執(zhí)行立體 SLAM。立體視覺(jué)里程計(jì)用于跟蹤點(diǎn)和線，然后使用高斯牛頓優(yōu)化通過(guò)最小化相應(yīng)特征的重投影誤差來(lái)估計(jì)相機(jī)的運(yùn)動(dòng)。在[59]中，點(diǎn)特征的觀察與激光掃描相結(jié)合，并用于因子圖中來(lái)估計(jì)機(jī)器人的姿態(tài)。提出了一種結(jié)合了占用網(wǎng)格地圖和點(diǎn)特征的新地圖表示。通過(guò)將觀察到的特征與地圖中的地標(biāo)相匹配，可以有效地實(shí)現(xiàn)閉環(huán)和定位。因此，在估計(jì)機(jī)器人在環(huán)境中的軌跡時(shí)采用何種類型的特征的靈活性極大地有利于視覺(jué) SLAM 的魯棒性。3.1.2 促進(jìn)實(shí)時(shí)性能低級(jí)特征生成的地圖是稀疏的，卻需要大量的計(jì)算和內(nèi)存資源。這是因?yàn)闄z測(cè)、提取和匹配特征的過(guò)程是 SLAM 流程中計(jì)算成本最高的模塊之一。為了實(shí)現(xiàn)實(shí)時(shí)性能，一些系統(tǒng) [27, 94, 97, 134] 大量利用并行性來(lái)執(zhí)行最初在 PTAM [65] 中提出的跟蹤和映射。兩個(gè)線程同時(shí)運(yùn)行以定位機(jī)器人并映射其周圍環(huán)境 [65, 97]。與跟蹤不同，在大多數(shù)繁重計(jì)算發(fā)生的映射線程中延遲是可以容忍的。為了進(jìn)一步減少計(jì)算量，[94] 限制了要提取的特征數(shù)量，并使用了一個(gè)局部地圖，通過(guò)該地圖進(jìn)行特征匹配。為了最大化并行性，使用了一個(gè)單獨(dú)的線程來(lái)執(zhí)行循環(huán)關(guān)閉，并提出了一個(gè)同步過(guò)程，其中只有當(dāng)點(diǎn)當(dāng)前沒(méi)有被另一個(gè)線程處理時(shí)，才授予線程訪問(wèn)地圖點(diǎn)。在[27]中，采用了三個(gè)并行模塊；用于特征檢測(cè)、提取和匹配的場(chǎng)景流，用于攝像機(jī)運(yùn)動(dòng)估計(jì)的視覺(jué)里程計(jì)，以及用于閉環(huán)和全局一致性的全局 SLAM。定位和建圖也可以由多個(gè)機(jī)器人車輛以分布式方式完成，同時(shí)利用 [134] 中提出的并行性，其中跟蹤和圖像采集是輕量級(jí)過(guò)程，在所有 MAV 上并行運(yùn)行，由于其計(jì)算需求，建圖時(shí)由功能強(qiáng)大的計(jì)算機(jī)在機(jī)外完成。最近在 [102] 中提出了一個(gè)單目 SLAM 系統(tǒng)，其中 EKF 和 BA 一起被利用來(lái)實(shí)現(xiàn)實(shí)時(shí)的魯棒性能。ORB 特征和慣性測(cè)量用于基于 EKF 的視覺(jué)慣性里程計(jì) (VIO) 框架，該框架能夠以最小的延遲估計(jì)相機(jī)運(yùn)動(dòng)。為了進(jìn)一步幫助實(shí)時(shí)性能，并非所有 ORB 特征都是從 VIO 框架中的視覺(jué)幀中提取的，該框架對(duì)所有傳入幀進(jìn)行操作。此外，為了規(guī)避 EKF 導(dǎo)致的估計(jì)誤差，使用 BA 估計(jì)的全局一致地圖會(huì)根據(jù)選定的關(guān)鍵幀頻繁更新，并反饋到 EKF 以糾正任何估計(jì)錯(cuò)誤。選定的關(guān)鍵幀會(huì)經(jīng)過(guò)另一輪特征提取和匹配，因?yàn)闉?VIO 提取的特征不足以構(gòu)建魯棒的地圖。閉環(huán)在并行線程中運(yùn)行，以通過(guò)執(zhí)行位置識(shí)別和 ORB 特征匹配來(lái)糾正累積的錯(cuò)誤。一旦檢測(cè)到循環(huán)，就會(huì)執(zhí)行位姿圖優(yōu)化以及 GBA。由于視覺(jué)和慣性測(cè)量的融合，該方法對(duì)突然運(yùn)動(dòng)具有魯棒性，并且能夠解決尺度模糊問(wèn)題。它還結(jié)合了 EKF 和 BA 的優(yōu)點(diǎn)，分別實(shí)現(xiàn)了實(shí)時(shí)性能和魯棒性。圖 8 總結(jié)了可用于加速定位和建圖過(guò)程并實(shí)時(shí)完成估計(jì)的技術(shù)。3.1.3 解決尺度不確定性當(dāng)使用單目相機(jī)時(shí)，SLAM 系統(tǒng)需要處理固有的尺度不確定性挑戰(zhàn)，這是由于難以從單幀中辨別深度而導(dǎo)致的。[127] 中提出了一種基于 EKF 的方法，其中通過(guò)融合單目視覺(jué)、超聲波和大氣壓力測(cè)量來(lái)補(bǔ)償尺度不確定性和間歇性特征缺失。在 [78] 中還看到了多個(gè)傳感器的融合，其中使用視覺(jué)、慣性和距離測(cè)量來(lái)實(shí)現(xiàn) SLAM 的目標(biāo)。[82] 中的尺度不確定性被雙視圖初始化規(guī)避。根據(jù)它們的相對(duì)旋轉(zhuǎn)，歐氏距離，以及它們之間的時(shí)間差選擇一對(duì)圖像。然后，根據(jù)這些幀之間的匹配特征，使用對(duì)極幾何來(lái)估計(jì)尺度。在另一種單目 SLAM 方法 [142] 中，ORB 特征的深度是根據(jù)它們與場(chǎng)景中識(shí)別的消失點(diǎn)的距離來(lái)計(jì)算的。此外，在[26]中使用逆深度參數(shù)化來(lái)恢復(fù)場(chǎng)景的規(guī)模。圖 8 促進(jìn)實(shí)時(shí)性能的技術(shù)雖然 RGB-D 和立體 SLAM 不需要，但采用一種技術(shù)來(lái)解析地圖的比例對(duì)于單目 SLAM 是必不可少的。圖 9 說(shuō)明了可用于解決尺度不確定性的技術(shù)。3.1.4 對(duì)特征檢測(cè)/關(guān)聯(lián)失敗的恢復(fù)能力在環(huán)境中觀察或匹配低級(jí)特征失敗相當(dāng)于在基于特征的視覺(jué) SLAM 系統(tǒng)的無(wú)紋理環(huán)境中操作失敗。在這兩種情況下，系統(tǒng)都缺乏測(cè)量約束，導(dǎo)致性能嚴(yán)重下降。在傳感器突然運(yùn)動(dòng)或場(chǎng)景中存在動(dòng)態(tài)的情況下，視覺(jué)系統(tǒng)無(wú)法檢測(cè)或匹配幀之間的特征。[122] 中描述的原始 EKF-SLAM 的限制之一是它無(wú)法處理突然運(yùn)動(dòng)。為了克服這個(gè)問(wèn)題，[73] 中提出的方法在過(guò)濾器的兩個(gè)階段都采用了視覺(jué)輸入。預(yù)測(cè)和更新。光流和對(duì)極幾何用于估計(jì)相機(jī)的狀態(tài)轉(zhuǎn)換。在預(yù)測(cè)階段使用圖像使系統(tǒng)對(duì)突然運(yùn)動(dòng)和不頻繁的數(shù)據(jù)采集具有魯棒性。這也消除了對(duì)動(dòng)態(tài)模型的需求，并帶來(lái)了更快、更高效的性能。盡管這種 EKF 變體在特定情況下提高了 SLAM 的魯棒性和效率，但如果場(chǎng)景中沒(méi)有特征，它仍然會(huì)失敗。在 [100] 中提出了 EKF-SLAM 的另一種變體，IMU 測(cè)量用于預(yù)測(cè)階段，RGB-D 圖像用于更新階段。為了實(shí)現(xiàn)全局一致性，執(zhí)行了位姿圖優(yōu)化。IMU 測(cè)量的融合使系統(tǒng)能夠在無(wú)紋理和動(dòng)態(tài)環(huán)境中成功運(yùn)行。ORB-SLAM2 [91] 是最先進(jìn)的視覺(jué) SLAM 系統(tǒng)，它在標(biāo)準(zhǔn) CPU 上運(yùn)行時(shí)僅基于 ORB 特征實(shí)時(shí)執(zhí)行跟蹤、映射和閉環(huán)。由于對(duì)視覺(jué)特征的依賴，ORB-SLAM2 在場(chǎng)景中沒(méi)有 ORB 特征的情況下失敗。為此，在 [15] 中提出了里程計(jì)和 ORB-SLAM2 的緊密耦合融合，其中運(yùn)動(dòng)模型被里程計(jì)取代，這支持在場(chǎng)景中無(wú)法檢測(cè)到任何特征時(shí)的估計(jì)。類似地，[62] 中提出的方法利用慣性和視覺(jué)測(cè)量的緊密耦合融合來(lái)執(zhí)行視覺(jué)慣性里程計(jì)。然后通過(guò)閉環(huán)檢測(cè)和全局位姿圖優(yōu)化來(lái)實(shí)現(xiàn)全局一致性。ORB-SLAM2 的另一種變體可以在 [121] 中找到，其中 ORB 特征被學(xué)習(xí)的點(diǎn)特征取代，稱為 GCNv2。結(jié)果表明，所提出的方法在大多數(shù)情況下具有與 ORB-SLAM2 相當(dāng)?shù)男阅?，但在快速旋轉(zhuǎn)的情況下表現(xiàn)略好。圖 9 解決尺度模糊的技術(shù)場(chǎng)景中的動(dòng)態(tài)也可能導(dǎo)致無(wú)法在后續(xù)幀中關(guān)聯(lián)特征。[128] 中提出的工作證明了在動(dòng)態(tài)環(huán)境中成功執(zhí)行 RGB-D SLAM 的能力，同時(shí)僅觀察低級(jí)特征。使用基本矩陣，提取屬于場(chǎng)景移動(dòng)部分的特征點(diǎn)。然后，使用高效的 PnP 估計(jì)相機(jī)在環(huán)境中的位姿。然后通過(guò)BA進(jìn)一步優(yōu)化重投影誤差。所提出的方法在實(shí)際實(shí)驗(yàn)中成功使用，但僅在連續(xù)幀之間存在小視差和超過(guò) 24 點(diǎn)匹配的假設(shè)下。因此，該方法在存在突然運(yùn)動(dòng)且環(huán)境中沒(méi)有低級(jí)特征的情況下工作會(huì)失敗。為了提高視覺(jué) SLAM 在動(dòng)態(tài)環(huán)境中的性能，[21] 中提出的方法采用了稀疏運(yùn)動(dòng)去除方案。貝葉斯濾波器用于計(jì)算連續(xù)幀之間的相似性和差異性以確定動(dòng)態(tài)特征。消除這些特征后，場(chǎng)景被輸入經(jīng)典的視覺(jué) SLAM 方法來(lái)執(zhí)行姿態(tài)估計(jì)。這種方法僅適用于場(chǎng)景中存在特征的情況，否則會(huì)失敗。在 [13] 中發(fā)現(xiàn)了另一種對(duì)動(dòng)態(tài)場(chǎng)景中發(fā)生的錯(cuò)誤數(shù)據(jù)關(guān)聯(lián)具有魯棒性的方法。該方法基于一種新穎的過(guò)濾器，其中姿勢(shì)被編碼為雙四元數(shù)。ORB 特征觀察和地圖地標(biāo)的關(guān)聯(lián)是通過(guò)基于光流的方法完成的，這使其對(duì)場(chǎng)景中的動(dòng)態(tài)具有魯棒性?？傊^察場(chǎng)景中缺乏特征、突然的相機(jī)運(yùn)動(dòng)和動(dòng)態(tài)是無(wú)法執(zhí)行數(shù)據(jù)關(guān)聯(lián)的主要原因。文獻(xiàn)中用于解決這些問(wèn)題的一些技術(shù)包括使用多個(gè)傳感器來(lái)觀察場(chǎng)景中的不同信息，并消除涉及動(dòng)態(tài)的觀察。表 2 提供了回顧過(guò)的基于特征的低級(jí)方法的實(shí)現(xiàn)細(xì)節(jié)。3.2 基于特征的中級(jí)方法中級(jí)特征是在環(huán)境中觀察到的平面或斑點(diǎn)。在難以觀察低級(jí)特征的無(wú)紋理環(huán)境中，使用諸如地標(biāo)之類的特征可以提高 SLAM 性能；以走廊為例。為了觀察這些特征，采用了模型擬合方法。因此，在估計(jì)精度和需要從環(huán)境中計(jì)算準(zhǔn)確的模型的時(shí)間之間存在權(quán)衡。表 2 低級(jí)基于特征的方法采用的實(shí)現(xiàn)選擇FG 因子圖、PG 位姿圖、BA 束調(diào)整、EKF 擴(kuò)展卡爾曼濾波器、MAP 最大后驗(yàn)、VT 詞匯樹、PF 粒子濾波器、FM 特征匹配、BBW 二進(jìn)制詞袋、GN Gauss Newton、LM Levenberg Marquardt、FF 第一幀、PM 先驗(yàn)圖、SI 立體初始化、EG 極線幾何、IDP 逆深度參數(shù)化、Odom Odometry、SBI 小模糊圖像重定位、LSO 最小二乘優(yōu)化、IMI 圖像矩不變量 - 表示有關(guān)相應(yīng)元素的實(shí)現(xiàn)細(xì)節(jié)/block 沒(méi)有提供單獨(dú)使用這些特征并不常見(jiàn)，因?yàn)閷⑺鼈兣c低級(jí)和高級(jí)特征融合會(huì)產(chǎn)生更好的準(zhǔn)確性，如 Sect. 3.4.在 [113] 中，提出了一種僅基于 RGB-D 數(shù)據(jù)的 SLAM 方法。使用代表墻壁和地板的平面構(gòu)建環(huán)境的 3D 地圖，同時(shí)從場(chǎng)景中移除所有其他對(duì)象。RANSAC 用于估計(jì)平面表面，然后通過(guò)估計(jì)它們的法線并提取相應(yīng)的凸面來(lái)對(duì)其進(jìn)行細(xì)化。然后，使用 l0 范數(shù)最小化算法來(lái)維護(hù)極有可能表示墻壁或地板的平面，同時(shí)最小化包含較小的平面。使用這種方法，可以重建墻壁和地板的地圖，如圖 10 所示。但是，地圖中沒(méi)有其他特征，這使得它無(wú)法用于大多數(shù) SLAM 應(yīng)用程序。這激發(fā)了考慮高級(jí)特征的需要，如下一節(jié)所述。3.3 基于高級(jí)特征的方法當(dāng)期望機(jī)器人執(zhí)行需要場(chǎng)景理解的任務(wù)時(shí)，例如在災(zāi)難后搜索受害者、構(gòu)建有意義的地圖以及抓取或操作特定對(duì)象時(shí)，感知高級(jí)特征是至關(guān)重要的。這對(duì)于使用低級(jí)特征重建的地圖來(lái)說(shuō)是非常具有挑戰(zhàn)性的，因?yàn)樗鼈內(nèi)狈Ρ磉_(dá)性的表示，這使得人類更難理解 [39, 46]。高級(jí)特征添加了有關(guān)場(chǎng)景結(jié)構(gòu)的關(guān)鍵信息，并傳達(dá)了重建地圖每個(gè)部分的語(yǔ)義。它們是特定于環(huán)境的，并且可能在大小、形狀和動(dòng)態(tài)方面有所不同。在城市規(guī)模的應(yīng)用程序中，可能的地標(biāo)包括樹木、建筑物、街道或人行道。另一方面，家具、辦公用品和家用電器可以作為室內(nèi)應(yīng)用的地標(biāo)。在本節(jié)中，將深入討論基于高級(jí)特征的 SLAM 方法中數(shù)據(jù)關(guān)聯(lián)的不同方法。然后，將介紹在場(chǎng)景中實(shí)現(xiàn)實(shí)時(shí)性能和處理動(dòng)態(tài)的技術(shù)。3.3.1 將高級(jí)特征觀察與地標(biāo)相關(guān)聯(lián)盡管檢測(cè)到高級(jí)特征并進(jìn)行語(yǔ)義注釋，但在環(huán)境中存在同一對(duì)象類別的多個(gè)實(shí)例的情況下，數(shù)據(jù)關(guān)聯(lián)在高級(jí)特征中提出了基本挑戰(zhàn)?；谒教卣鞯囊曈X(jué) SLAM 系統(tǒng) [88]。圖 10 基于平面特征的重建地圖示意圖在 [95] 中，對(duì)象在類別級(jí)別而不是實(shí)例級(jí)別被檢測(cè)和表征。這是基于這樣一個(gè)事實(shí)，即一個(gè)類中的所有對(duì)象都有共同的 3D 點(diǎn)，而不管它們的類別如何。這些點(diǎn)稱為關(guān)鍵點(diǎn)，用于區(qū)分同一類的不同類別。輸入的單目幀被傳遞到目標(biāo)檢測(cè)器 YOLO9000 [103]，生成的邊界框中的 3D 關(guān)鍵點(diǎn)通過(guò)另一個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行定位。使用 Ceres 求解器優(yōu)化形狀和姿勢(shì)。不是在每一幀上執(zhí)行對(duì)象和關(guān)鍵點(diǎn)檢測(cè)，而是在連續(xù)幀中跟蹤對(duì)象，從而提高效率和速度。[45] 中提出了另一種新穎的數(shù)據(jù)關(guān)聯(lián)方法，用于在先驗(yàn)地圖中定位機(jī)器人。首先，為每個(gè)圖像計(jì)算查詢圖，其中頂點(diǎn)表示對(duì)象的類和質(zhì)心，頂點(diǎn)之間的無(wú)向邊表示滿足接近要求。然后通過(guò)使用它們之間的歐幾里德距離連接來(lái)自連續(xù)圖像的頂點(diǎn)來(lái)創(chuàng)建所有圖像的合并圖。彼此太近的頂點(diǎn)被合并以避免重復(fù)。第二步是為每個(gè)頂點(diǎn)生成隨機(jī)游走描述符。也就是說(shuō)，一個(gè) n×m 矩陣包含 n 次隨機(jī)游走中 m 個(gè)訪問(wèn)過(guò)的頂點(diǎn)的標(biāo)簽。第三，查詢圖將基于相似度得分與全局?jǐn)?shù)據(jù)庫(kù)圖相匹配。兩個(gè)頂點(diǎn)的相似度分?jǐn)?shù)表示它們描述符中相同行的數(shù)量。然后使用最高的 k 個(gè)匹配來(lái)本地化數(shù)據(jù)庫(kù)圖中的查詢圖。在[69]中，語(yǔ)義標(biāo)記的對(duì)象及其相互關(guān)系被用于建立輸入單目幀之間的對(duì)應(yīng)關(guān)系的過(guò)程。首先將 RGB 幀傳遞給 Faster R-CNN 以檢測(cè)對(duì)象。然后，通過(guò)首先生成沿線的多個(gè)長(zhǎng)方體來(lái)計(jì)算連續(xù)圖像之間的變換，這些長(zhǎng)方體由相機(jī)中心和邊界框的中心形成，并將它們投影到檢測(cè)到的邊界框上。長(zhǎng)方體的生成是在離散的距離和角度上完成的。之后，執(zhí)行坐標(biāo)下降以最小化檢測(cè)到的邊界框的角與每個(gè)長(zhǎng)方體在圖像平面中的投影之間的差異。然后刪除多余的長(zhǎng)方體。然后將剩余的每個(gè)長(zhǎng)方體用作種子以生成場(chǎng)景，該場(chǎng)景是一組長(zhǎng)方體，每個(gè)長(zhǎng)方體對(duì)應(yīng)于檢測(cè)到的邊界框，基于上下文約束。為了找到生成的場(chǎng)景集之間的對(duì)應(yīng)關(guān)系，使用了基于采樣的方法。基于語(yǔ)義標(biāo)簽搜索每對(duì)場(chǎng)景的對(duì)應(yīng)關(guān)系。從每對(duì)中挑選三個(gè)對(duì)應(yīng)關(guān)系，并為每個(gè)場(chǎng)景構(gòu)建參考框架。相應(yīng)地計(jì)算場(chǎng)景之間的變換，并根據(jù)剩余對(duì)應(yīng)關(guān)系使用計(jì)算出的變換擬合的好壞進(jìn)行評(píng)分。然后使用具有最高等級(jí)的樣本來(lái)估計(jì)相機(jī)姿勢(shì)之間的轉(zhuǎn)換。在 [24] 中，如果在多個(gè)幀中觀察到相同的對(duì)象片段，則生成對(duì)象假設(shè)，并使用有助于閉環(huán)的 3D 特征描述符表示。計(jì)算當(dāng)前對(duì)象與地圖中對(duì)象之間的內(nèi)部對(duì)應(yīng)關(guān)系，然后，將對(duì)象與實(shí)現(xiàn)最高對(duì)應(yīng)數(shù)量的假設(shè)相關(guān)聯(lián)。如果對(duì)應(yīng)的數(shù)量低于閾值，則添加新的對(duì)象表示。假設(shè)環(huán)境中只有一個(gè)或幾個(gè)對(duì)象類別的靜態(tài)實(shí)例。使用 OmniMapper [124] 計(jì)算基于里程計(jì)和 ICP 的機(jī)器人姿態(tài)的先驗(yàn)估計(jì)?；诖?，當(dāng)前幀的片段被投影到與所有先前分割的對(duì)象的公共參考框架中。每個(gè)段的質(zhì)心與地圖中最近的段質(zhì)心匹配。為了驗(yàn)證匹配，比較當(dāng)前段的邊界框和與之匹配的段的邊界框。如果邊界框之間沒(méi)有足夠的重疊，則初始化一個(gè)新對(duì)象。最終的對(duì)象模型是通過(guò)在根據(jù)相對(duì)相機(jī)位姿進(jìn)行轉(zhuǎn)換后聚合所有相應(yīng)的片段來(lái)創(chuàng)建的。然后將對(duì)象模型和機(jī)器人位姿之間的空間約束添加到 SLAM 系統(tǒng)中。在 [88] 中，SLAM 和數(shù)據(jù)關(guān)聯(lián)被視為緊密耦合的問(wèn)題，并提出了一種新方法來(lái)同時(shí)估計(jì)機(jī)器人的位置并將其觀察結(jié)果與地標(biāo)相關(guān)聯(lián)。后端方法用于聯(lián)合解決目標(biāo)檢測(cè)和 SLAM 問(wèn)題。物體被檢測(cè)到后，由其從RGB-D數(shù)據(jù)中獲得的點(diǎn)云的質(zhì)心來(lái)表示。數(shù)據(jù)關(guān)聯(lián)和環(huán)境中地標(biāo)的總數(shù)都不是先驗(yàn)已知的。因此引入了基于狄利克雷過(guò)程的概率模型來(lái)建立適當(dāng)?shù)臄?shù)據(jù)關(guān)聯(lián)。總體而言，建立了一個(gè)混合整數(shù)非線性問(wèn)題來(lái)估計(jì)機(jī)器人的姿態(tài)、地標(biāo)位置和給定機(jī)器人的相對(duì)姿態(tài)和觀察值的數(shù)據(jù)關(guān)聯(lián)。在存在同一對(duì)象類別的多個(gè)實(shí)例的情況下，最常見(jiàn)的數(shù)據(jù)關(guān)聯(lián)方法是 [23] 中提出的距離閾值。所提出的分布式 SLAM 框架中的每個(gè)機(jī)器人都通過(guò)基于視覺(jué)和里程計(jì)測(cè)量的 OmniMapper [124] 執(zhí)行 SLAM。每個(gè)輸入的 RGB 圖像都被傳遞到 YOLO 對(duì)象檢測(cè)器。檢測(cè)到的被分割的對(duì)象，在點(diǎn)云中的PFHRGB 特征和相應(yīng)的模型被提取和匹配。如果檢測(cè)到至少 12 個(gè)對(duì)應(yīng)關(guān)系，則執(zhí)行廣義迭代最近點(diǎn) (GICP) [110] 以計(jì)算對(duì)象的精細(xì)姿勢(shì)。然后通過(guò)在距離閾值內(nèi)搜索相同檢測(cè)到的對(duì)象類別的實(shí)例來(lái)執(zhí)行數(shù)據(jù)關(guān)聯(lián)。圖 11 總結(jié)了文獻(xiàn)中發(fā)現(xiàn)的執(zhí)行高級(jí)特征數(shù)據(jù)關(guān)聯(lián)的主要方法。3.3.2 促進(jìn)實(shí)時(shí)性能執(zhí)行實(shí)時(shí)定位和映射對(duì)于一些機(jī)器人任務(wù)非常關(guān)鍵，尤其是那些在惡劣環(huán)境中執(zhí)行的搜索和救援任務(wù)。然而，SLAM流程中某些模塊的處理時(shí)間，例如對(duì)象檢測(cè)和分割，超出了這個(gè)范圍。在本節(jié)中，重點(diǎn)將專注于用于促進(jìn)高級(jí)基于特征的 SLAM 方法的實(shí)時(shí)性能的技術(shù)。[95] 中提出的工作建議不對(duì)所有輸入幀執(zhí)行目標(biāo)檢測(cè)。相反，在關(guān)鍵幀中檢測(cè)到對(duì)象后，會(huì)在連續(xù)幀中對(duì)其進(jìn)行跟蹤，這大大減少了處理數(shù)據(jù)所需的時(shí)間。出于同樣的目的，[24] 中提出的系統(tǒng)通過(guò)將場(chǎng)景劃分為平面和非平面（對(duì)象）段來(lái)對(duì)場(chǎng)景進(jìn)行預(yù)處理。移除平面線段后，對(duì)象線段會(huì)被細(xì)化并與地圖中已有的地標(biāo)相關(guān)聯(lián)。使用二次曲線表示對(duì)象是一種替代技術(shù)，可以在視覺(jué) SLAM 系統(tǒng)中使用語(yǔ)義標(biāo)記的地標(biāo)來(lái)減少計(jì)算量。[93] 中提出的工作使用對(duì)象檢測(cè)器作為傳感器，其中檢測(cè)到的邊界框用于識(shí)別表示相應(yīng)對(duì)象的二次曲線的參數(shù)。二次曲線提供關(guān)于對(duì)象大小、位置和方向的信息，編碼為十個(gè)獨(dú)立參數(shù)。提出了一種幾何誤差公式來(lái)解釋物體檢測(cè)的空間不確定性，例如由遮擋引起的。使用二次曲線而不是詳細(xì)的對(duì)象模型可以提高系統(tǒng)的速度，但會(huì)以重建在廣泛應(yīng)用中有用的信息豐富的地圖為代價(jià)。圖 12 提供了有助于提高基于特征的高級(jí)視覺(jué)SLAM 系統(tǒng)效率的討論技術(shù)的插圖。圖 11 高級(jí)特征數(shù)據(jù)關(guān)聯(lián)技術(shù)的圖解3.3.3 處理場(chǎng)景中的動(dòng)態(tài)大多數(shù) SLAM 系統(tǒng)是在不切實(shí)際的假設(shè)環(huán)境是靜態(tài)的情況下開發(fā)的。文獻(xiàn)中只提出了少數(shù)考慮場(chǎng)景動(dòng)態(tài)的系統(tǒng)。這些系統(tǒng)中的大多數(shù)檢測(cè)觀察場(chǎng)景的非靜止部分，將其消除，然后根據(jù)剩余的靜態(tài)環(huán)境執(zhí)行 SLAM。這種方法的一個(gè)例子可以在[5]中找到，其中移動(dòng)物體被跟蹤，靜止物體被用來(lái)生成被調(diào)查環(huán)境的靜態(tài)地圖。使用激光掃描儀進(jìn)行觀察，并使用多級(jí) RANSAC 方法進(jìn)行數(shù)據(jù)關(guān)聯(lián)。不同的是，[137] 中提出的工作使用長(zhǎng)方體作為對(duì)象的表示，其中提出了對(duì)象 SLAM 系統(tǒng)。該系統(tǒng)依賴于來(lái)自單目相機(jī)的觀察，并利用場(chǎng)景中的動(dòng)態(tài)對(duì)象通過(guò)將運(yùn)動(dòng)模型約束添加到用于解決優(yōu)化問(wèn)題的多視圖 BA 公式來(lái)改進(jìn)定位。在連續(xù)幀中跟蹤屬于它們的對(duì)象和特征點(diǎn)，估計(jì)并使用運(yùn)動(dòng)模型來(lái)提高軌跡和地圖估計(jì)的準(zhǔn)確性。利用動(dòng)態(tài)對(duì)象的運(yùn)動(dòng)模型而不是忽略它們會(huì)對(duì)系統(tǒng)施加額外的約束，從而提高估計(jì)的準(zhǔn)確性。表 3 提供了前幾節(jié)中所有回顧過(guò)的基于特征的高級(jí)方法的總結(jié)。3.4 混合基于特征的方法在前幾節(jié)中，討論和分析了采用單一類型特征的 SLAM系統(tǒng)。每個(gè)級(jí)別的特征都通過(guò)一種獨(dú)特的方式增強(qiáng)了圖12中SLAM的結(jié)果。表 3 高級(jí)基于特征的 SLAM 方法采用的實(shí)現(xiàn)選擇- 表明關(guān)于未提供相應(yīng)的元素/塊例如，基于觀察低級(jí)特征的定位方法在準(zhǔn)確性和效率方面已經(jīng)達(dá)到了很高的成熟度。然而，他們產(chǎn)生的地圖是高度稀疏的，沒(méi)有任何語(yǔ)義指示。利用場(chǎng)景中的中級(jí)特征（例如平面）可以在無(wú)紋理環(huán)境圖12通過(guò)基于高級(jí)特征的視覺(jué) SLAM 方法實(shí)現(xiàn)實(shí)時(shí)性能的技術(shù)中獲得更高的重建密度和更強(qiáng)的魯棒性。為了創(chuàng)建人類可以輕松感知的有意義的地圖，最近的 SLAM 方法有效地利用了新興的對(duì)象檢測(cè)技術(shù)，并在整個(gè)定位和映射過(guò)程中采用了語(yǔ)義標(biāo)記的觀察。為了充分利用場(chǎng)景中可以視覺(jué)觀察到的內(nèi)容并增強(qiáng)其整體結(jié)果，SLAM 系統(tǒng)最近開始在兩個(gè)或更多級(jí)別上使用特征，如本節(jié)所述。在本節(jié)中，將回顧采用多層次特征的基于特征的視覺(jué) SLAM 方法。審查的系統(tǒng)根據(jù)用于執(zhí)行 SLAM 的功能分為三類；低級(jí)和中級(jí)基于特征的方法，低級(jí)和高級(jí)基于特征的方法，以及低級(jí)、中級(jí)和高級(jí)基于特征的方法。表 4 總結(jié)了審查過(guò)的方法所采用的實(shí)施選擇。