ICCV2021|一種用于解決點云場景中同類對象分割的網(wǎng)絡(luò)

首次提出：一種用于解決點云場景中同類對象分割的端到端網(wǎng)絡(luò)

融合協(xié)同對比學習和相互注意采樣機制進行無監(jiān)督點云對象的同類分割

Unsupervised Point Cloud Object Co-segmentation by Co-contrastive Learning and Mutual Attention Sampling

代碼地址：https://github.com/jimmy15923/unsup_point_coseg

在本文中作者提出了一項新的點云問題，點云同類對象分割，即分割一組場景點云中的同類3D 對象（可以看作是一個二類（前景、背景）分割問題）。作者將此任務(wù)定義為一個對象點采樣問題，并通過相互注意模塊和共同對比學習機制實現(xiàn)它。所提出的方法采用基于神經(jīng)網(wǎng)絡(luò)的兩點采樣器，即對象采樣器和背景采樣器。其中前者針對常見物體的采樣，而后者則專注于其他物體。相互注意模塊探索點云之間的逐點相關(guān)性。它嵌入在兩個采樣器中，可以從其他采樣器中識別出具有強行跨越云相關(guān)性的點。在為兩個采樣器選擇的點提取特征后，繼續(xù)通過開發(fā)協(xié)同對比損失函數(shù)來優(yōu)化網(wǎng)絡(luò)，這樣可以最小化估計對象點之間的特征差異，同時最大差異化估計對象和背景點之間的特征。該方法適用于任意對象類的點云。它是端到端可訓練的，不需要點級注釋。通過在 ScanObjectNN 和 S3DIS 數(shù)據(jù)集上進行評估，并取得了有潛力的結(jié)果。本文主要貢獻如下：

1）首次嘗試為點云同類對象分割開發(fā)端到端的可訓練網(wǎng)絡(luò)。

2）其次，將點云同類對象分割定義為采樣任務(wù)，由提出的相互注意模塊和共同對比學習機制來完成最終采樣。

3）第三，作者的方法在兩個真實數(shù)據(jù)集上進行了評估，并展示網(wǎng)絡(luò)的潛力。

圖1 無監(jiān)督點云同類對象分割方法概述。該方法的輸入是一組覆蓋公共類別對象的點云（如本例中的椅子）。同時該方法只需要 3D 坐標作為輸入。

1、目前存在的問題

基于深度學習的點云分割方法大量依賴于帶有點級注釋的訓練數(shù)據(jù)。訓練數(shù)據(jù)收集的高注釋成本阻礙了點云分割的效率。

在2D 圖像同類對象分割問題中，可以在沒有附加注釋的情況下分割一組圖像中的常見對象。極大的降低了標注成本。然而，如果直接將 2D 圖像同類對象分割技術(shù)應(yīng)用于3D點云是具有挑戰(zhàn)性的，因為它必須解決三個主要問題。

第一，大多數(shù)圖像分割方法依賴于目標提議生成器或顯著性檢測器。這些生成器和檢測器適用于圖像像素，但不適用于 3D 點的空間幾何。

第二，與圖像相比，點云是無序和非結(jié)構(gòu)化的。提取的點特征通常不足以進行同類對象分割。

第三，大多數(shù) 2D 同類對象分割方法采用預(yù)先在大型數(shù)據(jù)集上進行預(yù)訓練的方式，例如 用ImageNet提取高級語義特征。

如圖 1 所示，該方法主要包括三個模塊，分別用于解決上述三個問題。

首先，作者將點云同類對象分割作為一個對象點采樣問題處理。采用了一對點采樣器：對象采樣器針對屬于常見對象的采樣點，而背景采樣器則抓取其余的采樣點。其中，對象和背景采樣器都是在SampleNet網(wǎng)絡(luò)上開發(fā)。

其次，作者開發(fā)了一個相互注意模塊來探索不同點云之間的逐點相關(guān)性，并嵌入到兩個采樣器中使用。識別給定圖像或點云中的常見 2D 像素或 3D 點是同類對象分割的關(guān)鍵部分。為此，該模塊計算跨點云的注意力圖并編譯用于共同分割的信息特征。實驗證明，此模塊的采樣器可實現(xiàn)更好的前景-背景分離。

第三，開發(fā)了一種對比損失函數(shù)來解決缺乏預(yù)訓練數(shù)據(jù)和缺乏用于共同分割的監(jiān)督信號的問題。通過最小化對象采樣器采樣的點的特征差異，同時最大化不同采樣器選擇的點之間的特征差異。作者使用這種損失函數(shù)來推導(dǎo)出采樣器及其相關(guān)的相互注意模塊。

2、核心方法

圖2方法概述。網(wǎng)絡(luò)架構(gòu)由兩個相互注意模塊的采樣器 So 和 Sb 以及一個特征提取器 f 組成。

1）問題描述：

針對一組覆蓋未知類別對象的N個點云D。假設(shè)每個云中的點數(shù)為 M，點云同類對象分割就是要發(fā)現(xiàn)包含屬于每個公共對象的所有點的子集。請注意，這里既沒有提供點級注釋，也沒有提供點云級注釋。并且只使用幾何特征（沒有任何 RGB 信息）。圖 2是所提出方法的框架。

圖 3 中給出了關(guān)于相互注意模塊如何嵌入到采樣器 So 和 Sb 中的詳細過程。它的作用是估計跨點云、逐點的相互相關(guān)性，然后在采樣期間將其考慮在內(nèi)。

圖3相互注意模塊的架構(gòu)

2）物體與背景采樣：

這里作者將點云對象分割定義為前景點采樣問題?；谧罱难芯刻岢隽它c云采樣的可微松弛。于是作者在 SampleNet 上開發(fā)了對象采樣器 So 和背景采樣器 Sb。具體來說，為了在點云上實現(xiàn)共同分割，作者對 SampleNet 進行了三項修改，包括下游任務(wù)、成對競爭采樣器和跨點云注意機制。

其中下游任務(wù)是無監(jiān)督的同類對象分割。由于缺乏數(shù)據(jù)注釋，作者開發(fā)了無監(jiān)督的協(xié)同對比損失，用來優(yōu)化采樣器。模型中的特征提取器 f 來為每個采樣點生成特征。

對于共同分割，目標就是將前景點與其他點分開。為此，作者使用對象采樣器 So 和背景采樣器 Sb分別為每個點云 P推斷前景子集On和背景子集Bn。通過使用對比損失函數(shù)，采樣器 So 和 Sb 分別傾向于收集前景和背景點。為了進一步防止兩個采樣器選擇相同的點，作者還將排斥損失函整合到采樣器訓練中，即

其中dc是Chamfer距離，超參數(shù)σ=1控制分離余量。

3）相互注意模型：

受現(xiàn)有方法可以在非本地操作下完成捕獲遠程依賴項的自注意力模塊的啟發(fā)，作者開發(fā)了一個相互注意模塊來發(fā)現(xiàn)跨點云點的相關(guān)性。與探索圖像內(nèi)位置相關(guān)性的自注意力模塊相比，圖3中所示的相互注意力模塊側(cè)重于小量級中點云之間的相互點相關(guān)性。如圖 3 所示，作者還引入了殘差學習以獲得更好的性能。

4）共同對比損失：

對比性學習近年來已經(jīng)被研究用于無監(jiān)督的表征學習。因此為了實現(xiàn)了在點云內(nèi)部和點云之間的對比學習，作者分別在點和對象兩個層面上實現(xiàn)。對比學習的訓練數(shù)據(jù)通過增強的方式從一個數(shù)據(jù)實例中生成。

其中點對比損失函數(shù)為：

其中成對相似度是通過使用內(nèi)積來衡量，N 是給定點云的數(shù)量

目標對比損失函數(shù)為：

在對象層面，一個數(shù)據(jù)對是由不同的點云創(chuàng)建的。此外，該部分還被用于共同分割，因此，作者將由此產(chǎn)生的目標函數(shù)命名為對比損失。

實驗環(huán)節(jié)：

數(shù)據(jù)集：

由于點云對象共分割是一項新任務(wù)，因此還沒有可用于評估的基準數(shù)據(jù)集。作者暫時采用的ScanObjectNN 和 S3DIS。

表1在具有不同監(jiān)督級別和設(shè)置的不同方法在 ScanObjectNN 的 OBJ BG 測試集上的分割結(jié)果 (mIoU)。100%、10% 和 1pt 分別表示用 100%、10% 和每個對象類別的單個標記點訓練的方法。

考慮到本文是第一個用于點云同類對象分割的方法，暫時沒有同類的方法進行性能對比。實驗環(huán)節(jié)采用與三種不同監(jiān)督設(shè)置的點云對象分割方法進行比較。具體來說，首先，比較了點云分割的全監(jiān)督方法，并將它們作為性能上限的參考。其次，比較了兩種最新的弱監(jiān)督分割方法。他們的目標是使用部分點級標簽（point-level labels）或云級標簽（cloud-level labels）作為弱注釋形式來分割 3D 對象。第三，比較了最新的形狀共同分割方法 AdaCoSeg。

表2 ScanObjectNN 數(shù)據(jù)集上不同變體的分割結(jié)果 (mIoU)。

表3 S3DIS 數(shù)據(jù)集上的分割結(jié)果 (mIoU)

表4 ScanObjectNN 數(shù)據(jù)集的定性結(jié)果。從左到右，從上到下，分別是包、床、垃圾桶、椅子、門、枕頭、架子、水槽、沙發(fā)和桌子。對于每個示例，作者展示了輸入云、真實標簽和分割結(jié)果。

表5 S3DIS 數(shù)據(jù)集的定性結(jié)果。作者展示了五個對象類的示例：從上到下分別為書柜、椅子、門、沙發(fā)和桌子，每個類有兩個示例。對于每個例子，展示了輸入點云、真實標簽和分割結(jié)果

作者除了評估分割方法本身的效果之外，還對分割結(jié)果嵌入到背景感知網(wǎng)絡(luò)background-aware network (BGA)進行分類效果的評價。表 5 顯示使用偽標簽進行訓練可以提高分類準確率。

表 5：ScanObjectNN PB_T50_RS數(shù)據(jù)上的準確度(%)

總結(jié)：

本文提出了一個點云新問題，即點云同類對象分割問題，并提出了一種無需使用昂貴注釋成本即可解決該問題的方法。此外，作者還證明了該方法可以提供偽標簽以改善現(xiàn)實世界數(shù)據(jù)集中的對象分類性能。