清華大學(xué)&英偉達最新｜Occ3D：通用全面的大規(guī)模3D Occupancy預(yù)測基準(zhǔn)（1）

自動駕駛感知需要對3D幾何和語義進行建模?，F(xiàn)有的方法通常側(cè)重于估計3D邊界框，忽略了更精細(xì)的幾何細(xì)節(jié)，難以處理一般的、詞匯表外的目標(biāo)。為了克服這些限制，本文引入了一種新的3D占用預(yù)測任務(wù)，旨在從多視圖圖像中估計目標(biāo)的詳細(xì)占用和語義。為了促進這項任務(wù)，作者開發(fā)了一個標(biāo)簽生成pipeline，為給定場景生成密集的、可感知的標(biāo)簽。該pipeline包括點云聚合、點標(biāo)簽和遮擋處理。作者基于Waymo開放數(shù)據(jù)集和nuScenes數(shù)據(jù)集構(gòu)造了兩個基準(zhǔn)，從而產(chǎn)生了Occ3D Waymo和Occ3D nuScene基準(zhǔn)。最后，作者提出了一個模型，稱為“粗略到精細(xì)占用”（CTF-Occ）網(wǎng)絡(luò)。這證明了在3D占用預(yù)測任務(wù)中的優(yōu)越性能。這種方法以粗略到精細(xì)的方式解決了對更精細(xì)的幾何理解的需求。

3D感知是自動駕駛等基于視覺的自動駕駛系統(tǒng)的關(guān)鍵組成部分。最流行的視覺感知任務(wù)之一是3D目標(biāo)檢測，它根據(jù)單目或雙目相機圖像估計固定本體樹中定義的目標(biāo)的位置和尺寸。雖然輸出是可供下游任務(wù)使用的簡潔的3D邊界框，但其表達能力仍然有限，如下圖1所示：

1. 3D邊界框表示消除了目標(biāo)的幾何細(xì)節(jié)，例如，彎曲的總線有兩個或多個部分通過旋轉(zhuǎn)連接，工程車輛，所述工程車輛具有從所述主體突出的機械臂；

2. 很少看到的目標(biāo)，如街道上的垃圾或樹枝，通常被忽略，并且在數(shù)據(jù)集中沒有標(biāo)注，因為目標(biāo)類別不能在本體樹中廣泛枚舉。

這些限制要求通用且連貫的感知表示，該感知表示可以對本體樹中和本體樹外的目標(biāo)的詳細(xì)幾何結(jié)構(gòu)和語義進行建模。作者認(rèn)為，了解3D空間中每個體素的占用狀態(tài)對于實現(xiàn)這一目標(biāo)很重要。移動自動駕駛中估計占用狀態(tài)的一項經(jīng)典任務(wù)是占用網(wǎng)格圖（OGM）。OGM在一段時間內(nèi)聚集range測量（如激光雷達掃描），并在貝葉斯框架內(nèi)估計每個體素被占用的概率。然而，這種解決方案假設(shè)了靜態(tài)環(huán)境，不適用于視覺輸入。

在這項工作中，作者為基于視覺的自動駕駛感知定義了一個全面的3D場景理解任務(wù)，稱為3D占用預(yù)測。3D占用預(yù)測聯(lián)合估計多視圖圖像中場景中每個體素的占用狀態(tài)和語義標(biāo)簽。每個體素的占用狀態(tài)可以是空閑的、占用的或未觀察到的。在3D占有率預(yù)測中，為體素提供未觀察到的標(biāo)簽至關(guān)重要，以考慮可見性并排除未觀測到的體素。對占用的體素估計語義標(biāo)簽。對于數(shù)據(jù)集中具有預(yù)定義類別的目標(biāo)，它們的語義標(biāo)簽對應(yīng)于各自的類別。相反，未分類的目標(biāo)被標(biāo)注為常規(guī)目標(biāo)（GOs）。盡管GOs很少被編碼，但出于安全考慮，它們對于自動駕駛感知任務(wù)至關(guān)重要，因為它們通常不會被預(yù)定義類別的3D目標(biāo)檢測檢測到。

此外，作者為3D占用預(yù)測任務(wù)創(chuàng)建了一個標(biāo)簽生成pipeline，以生成場景的密集和可見性感知的真值。該pipeline由幾個步驟組成，如時間點云分離、動態(tài)目標(biāo)變換、激光雷達能見度估計和相機能見度估計。通過利用自我姿態(tài)和目標(biāo)軌跡，點云聚合和動態(tài)目標(biāo)變換增強了靜態(tài)場景的密度，并恢復(fù)了動態(tài)目標(biāo)的詳細(xì)幾何結(jié)構(gòu)。此外，作者利用基于光線投射的方法來估計激光雷達和相機的可見性，因為可見性mask對于評估3D占用預(yù)測任務(wù)至關(guān)重要。在公共Waymo開放數(shù)據(jù)集和nuScenes數(shù)據(jù)集的基礎(chǔ)上，作者相應(yīng)地為任務(wù)生成了兩個基準(zhǔn)，Occ3D Waymo和Occ3D nuScenes。該任務(wù)采用了一系列以體素為中心的語義分割評價指標(biāo)。最后，作者開發(fā)了一個基于transformer的粗略到精細(xì)3D占用預(yù)測模型，命名為CTF-Occ。CTF-Occ通過交叉注意力操作以有效的從粗到細(xì)的方式將2D圖像特征聚集到3D空間中。

綜上所述，本文的貢獻如下：

1. 作者提出了3D占用預(yù)測，這是一項用于基于視覺的自動駕駛應(yīng)用的通用和全面的3D感知任務(wù)。占用預(yù)測可以有效地再現(xiàn)任何場景的語義和幾何結(jié)構(gòu)。

2. 作者為occupancy預(yù)測開發(fā)了一個嚴(yán)格的標(biāo)簽生成pipeline，構(gòu)建了兩個具有挑戰(zhàn)性的數(shù)據(jù)集（Occ3D Waymo和Occ3D nuScenes），并建立了一個基準(zhǔn)和評估指標(biāo)，以促進未來的研究。

3. 作者提出了一種新的CTF-Occ網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有出色的占用預(yù)測性能。對于這項具有挑戰(zhàn)性的任務(wù)，CTF-Occ在Occ3D-Waymo上的性能優(yōu)于基線3.1 mIoU.

3D檢測： 3D目標(biāo)檢測的目標(biāo)是在預(yù)先定義的本體中估計目標(biāo)的位置和尺寸。3D目標(biāo)檢測通常在激光雷達點云中進行。最近，基于視覺的3D目標(biāo)檢測由于其低成本和豐富的語義內(nèi)容而受到更多關(guān)注，此外領(lǐng)域內(nèi)還提出了幾種激光雷達相機融合方法。

3D占用預(yù)測：3D occpancy預(yù)測的一項相關(guān)任務(wù)是占用網(wǎng)格圖（OGM），這是移動自動駕駛中的一項經(jīng)典任務(wù)，旨在從連續(xù)的噪聲范圍測量中生成概率圖。通常，自動駕駛的姿態(tài)是已知的，并且這個建圖問題可以在貝葉斯框架內(nèi)解決。最近的一些工作進一步將語義分割與OGM相結(jié)合，用于下游任務(wù)。請注意，OGM需要來自激光雷達和雷達等測距傳感器的測量，并且還假設(shè)場景隨著時間的推移是靜態(tài)的。作者提出的3D占用預(yù)測任務(wù)不具有這些約束，可以應(yīng)用于動態(tài)場景中的純視覺自動駕駛系統(tǒng)。一項并行工作TPVFormer提出了一種三視角視圖方法來預(yù)測3D占用率。然而，由于激光雷達的監(jiān)督，其輸出很少。

語義場景補全：另一項相關(guān)任務(wù)是語義場景補全（SSC），其目標(biāo)是從部分觀測中估計密集的語義空間。SSC與3D占用預(yù)測在兩個方面有所不同：

1. SSC專注于通過給定可見部分推斷遮擋區(qū)域，而占用預(yù)測并不去估計不可見區(qū)域；

2. SSC通常適用于靜態(tài)場景，而占用預(yù)測適用于動態(tài)場景。

給定傳感器輸入序列，3D occpancy預(yù)測的目標(biāo)是估計3D場景中每個體素的狀態(tài)。具體地，任務(wù)的輸入是N個環(huán)視圖相機圖像的T幀歷史序列，其中i=1......N和t=1.......T。

作者還假設(shè)每個幀中已知的傳感器固有參數(shù)和外在參數(shù){[R_i| t_i]} 。任務(wù)的預(yù)期輸出是每個體素的狀態(tài)，包括占用（“已占用”、“空”）和語義（類別或“未知”）。例如，車輛上的體素標(biāo)注為（“已占用”、“車輛”），自由空間中的體素則標(biāo)注為（“空”、“無”）。注意，3D占用預(yù)測框架還支持額外的屬性作為輸出，例如實例ID和運動向量；作者把它們作為未來的工作。

3D語義模糊預(yù)測任務(wù)的主要優(yōu)勢之一是有可能處理GOs或未知目標(biāo)。與預(yù)先定義所有目標(biāo)類別的3D目標(biāo)檢測不同，3D占用預(yù)測使用占用網(wǎng)格和語義來處理任意目標(biāo)。目標(biāo)的幾何形狀通常由體素表示，包括標(biāo)注為（“已占用”、“未知”）的詞匯表外目標(biāo)。這種表示和檢測通用目標(biāo)的能力使任務(wù)更具通用性，更適合自動駕駛感知。

mIoU：由于3D體素級占用預(yù)測任務(wù)與2D像素級語義分割任務(wù)具有相似性，作者使用mIoU來評估模型的性能：

其中、和分別表示類別c的真正例、假正例和假反例預(yù)測。由于強調(diào)以視覺為中心的任務(wù)，在實踐中，許多真值體素在圖像中是不可見的。因此，作者只計算圖像中可見區(qū)域的mIoU。

為3D場景獲取密集的體素級別標(biāo)注可能具有挑戰(zhàn)性且不切實際。為了解決這一問題，作者提出了一種半自動標(biāo)簽生成pipeline，該pipeline利用現(xiàn)有的標(biāo)注3D感知數(shù)據(jù)集。首先，作者依次聚合來自多個幀的點。然后，作者對加密的點云進行體素化。最后，作者根據(jù)它們的可見性來識別體素類型。

數(shù)據(jù)準(zhǔn)備：標(biāo)簽生成pipeline（如下圖2所示）需要一個3D數(shù)據(jù)集，其中每個場景都包含以下傳感器數(shù)據(jù)：

1. （多視圖）相機圖像序列；

2. 3D激光雷達點云序列；

3. 來自IMU的3D姿勢序列。

所有相機和激光雷達的內(nèi)參和外參也是坐標(biāo)轉(zhuǎn)換和投影所必需的。此外，作者需要常見目標(biāo)的人工標(biāo)注框級語義標(biāo)簽，以及可選的點級語義標(biāo)簽。

點云聚合：稀疏激光雷達觀測的3D重建是實時定位和建圖（SLAM）[10]中的經(jīng)典問題。給定一系列激光雷達點云和每幀的IMU姿態(tài)測量，作者可以聯(lián)合優(yōu)化自我姿態(tài)，并將點云聚合到一個統(tǒng)一的世界坐標(biāo)系中。然而，動態(tài)目標(biāo)在時間聚集之后會出現(xiàn)運動模糊。因此，作者分別處理動態(tài)目標(biāo)和靜態(tài)目標(biāo)。根據(jù)每個幀處的邊界框標(biāo)注和不同幀之間的自我姿態(tài)，對動態(tài)目標(biāo)的點進行轉(zhuǎn)換和聚合。對于靜態(tài)目標(biāo)的點，作者只是根據(jù)自我姿態(tài)來聚合它們。

由于標(biāo)注序列的每一幀都很耗時，因此一些現(xiàn)有的數(shù)據(jù)集僅在關(guān)鍵幀處進行標(biāo)注，例如，nuScenes以10Hz的頻率捕獲，但以2Hz的頻率進行標(biāo)注。因此，作者在執(zhí)行上述動態(tài)點聚合之前，對帶標(biāo)注的目標(biāo)框序列進行時間插值，以自動標(biāo)注未帶標(biāo)注的幀。關(guān)于未標(biāo)注的幀中沒有被邊界框的點，它們很可能是靜態(tài)背景。因此，作者使用K-最近鄰進行投票，以確定它們的語義標(biāo)簽。通過這種方式，作者獲得了密集標(biāo)注的前景動態(tài)目標(biāo)實例和背景靜態(tài)點云。

激光雷達能見度：為了從聚合的激光雷達點云中獲得密集而規(guī)則的3D occpancy網(wǎng)格，一種直接的方法是將包含點的體素設(shè)置為“占用”，其余設(shè)置為“空”。然而，由于激光雷達點是稀疏的，一些被占用的體素不會被激光雷達光束掃描，并且可能被錯誤地標(biāo)注為“空”。為了避免這個問題，作者執(zhí)行光線投射操作來確定每個體素的可見性。具體來說，作者將每個激光雷達點與傳感器原點連接以形成射線，如果體素反射激光雷達點（“占用”）或被射線穿透（“空”），則體素是可見的；否則，它被標(biāo)注為“未觀察到”。通過這種方式，作者產(chǎn)生了一個體素級別的激光雷達可見性mask。

遮擋推理和相機可見性：由于專注于以視覺為中心的任務(wù)，作者進一步提出了一種遮擋推理算法，并生成了一個相機可見性mask，指示在當(dāng)前的多相機視圖中是否觀察到每個體素。具體地說，對于每個相機視圖，作者將每個占用的體素中心與相機中心連接起來，并形成一條射線。沿著每條射線，將第一個被占用的體素之前的體素（包括第一個被占據(jù)的體素）設(shè)置為“觀察到的”，將其余的體素設(shè)置為“未觀測到的”。未被任何相機射線掃描的體素也被標(biāo)注為“未觀察到”。如下圖3所示，在累積激光雷達視圖中觀察到白色體素但在當(dāng)前相機視圖中未觀察到。

請注意，激光雷達能見度mask和相機能見度mask可能因兩個原因而不同：

（1）激光雷達和相機的安裝位置不同；

（2） 激光雷達的能見度在整個序列中是一致的，而相機的能見度在每個時間戳都不同。

確定體素的可見性對于評估3D占用預(yù)測任務(wù)很重要：評估僅在激光雷達和相機視圖中對“觀察到的”體素進行。