ICCV2021|一種用于解決點(diǎn)云場(chǎng)景中同類對(duì)象分割的網(wǎng)絡(luò)

首次提出：一種用于解決點(diǎn)云場(chǎng)景中同類對(duì)象分割的端到端網(wǎng)絡(luò)

融合協(xié)同對(duì)比學(xué)習(xí)和相互注意采樣機(jī)制進(jìn)行無(wú)監(jiān)督點(diǎn)云對(duì)象的同類分割

Unsupervised Point Cloud Object Co-segmentation by Co-contrastive Learning and Mutual Attention Sampling

代碼地址：https://github.com/jimmy15923/unsup_point_coseg

在本文中作者提出了一項(xiàng)新的點(diǎn)云問(wèn)題，點(diǎn)云同類對(duì)象分割，即分割一組場(chǎng)景點(diǎn)云中的同類3D 對(duì)象（可以看作是一個(gè)二類（前景、背景）分割問(wèn)題）。作者將此任務(wù)定義為一個(gè)對(duì)象點(diǎn)采樣問(wèn)題，并通過(guò)相互注意模塊和共同對(duì)比學(xué)習(xí)機(jī)制實(shí)現(xiàn)它。所提出的方法采用基于神經(jīng)網(wǎng)絡(luò)的兩點(diǎn)采樣器，即對(duì)象采樣器和背景采樣器。其中前者針對(duì)常見(jiàn)物體的采樣，而后者則專注于其他物體。相互注意模塊探索點(diǎn)云之間的逐點(diǎn)相關(guān)性。它嵌入在兩個(gè)采樣器中，可以從其他采樣器中識(shí)別出具有強(qiáng)行跨越云相關(guān)性的點(diǎn)。在為兩個(gè)采樣器選擇的點(diǎn)提取特征后，繼續(xù)通過(guò)開(kāi)發(fā)協(xié)同對(duì)比損失函數(shù)來(lái)優(yōu)化網(wǎng)絡(luò)，這樣可以最小化估計(jì)對(duì)象點(diǎn)之間的特征差異，同時(shí)最大差異化估計(jì)對(duì)象和背景點(diǎn)之間的特征。該方法適用于任意對(duì)象類的點(diǎn)云。它是端到端可訓(xùn)練的，不需要點(diǎn)級(jí)注釋。通過(guò)在 ScanObjectNN 和 S3DIS 數(shù)據(jù)集上進(jìn)行評(píng)估，并取得了有潛力的結(jié)果。本文主要貢獻(xiàn)如下：

1）首次嘗試為點(diǎn)云同類對(duì)象分割開(kāi)發(fā)端到端的可訓(xùn)練網(wǎng)絡(luò)。

2）其次，將點(diǎn)云同類對(duì)象分割定義為采樣任務(wù)，由提出的相互注意模塊和共同對(duì)比學(xué)習(xí)機(jī)制來(lái)完成最終采樣。

3）第三，作者的方法在兩個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了評(píng)估，并展示網(wǎng)絡(luò)的潛力。

圖1 無(wú)監(jiān)督點(diǎn)云同類對(duì)象分割方法概述。該方法的輸入是一組覆蓋公共類別對(duì)象的點(diǎn)云（如本例中的椅子）。同時(shí)該方法只需要 3D 坐標(biāo)作為輸入。

1、目前存在的問(wèn)題

基于深度學(xué)習(xí)的點(diǎn)云分割方法大量依賴于帶有點(diǎn)級(jí)注釋的訓(xùn)練數(shù)據(jù)。訓(xùn)練數(shù)據(jù)收集的高注釋成本阻礙了點(diǎn)云分割的效率。

在2D 圖像同類對(duì)象分割問(wèn)題中，可以在沒(méi)有附加注釋的情況下分割一組圖像中的常見(jiàn)對(duì)象。極大的降低了標(biāo)注成本。然而，如果直接將 2D 圖像同類對(duì)象分割技術(shù)應(yīng)用于3D點(diǎn)云是具有挑戰(zhàn)性的，因?yàn)樗仨毥鉀Q三個(gè)主要問(wèn)題。

第一，大多數(shù)圖像分割方法依賴于目標(biāo)提議生成器或顯著性檢測(cè)器。這些生成器和檢測(cè)器適用于圖像像素，但不適用于 3D 點(diǎn)的空間幾何。

第二，與圖像相比，點(diǎn)云是無(wú)序和非結(jié)構(gòu)化的。提取的點(diǎn)特征通常不足以進(jìn)行同類對(duì)象分割。

第三，大多數(shù) 2D 同類對(duì)象分割方法采用預(yù)先在大型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的方式，例如 用ImageNet提取高級(jí)語(yǔ)義特征。

如圖 1 所示，該方法主要包括三個(gè)模塊，分別用于解決上述三個(gè)問(wèn)題。

首先，作者將點(diǎn)云同類對(duì)象分割作為一個(gè)對(duì)象點(diǎn)采樣問(wèn)題處理。采用了一對(duì)點(diǎn)采樣器：對(duì)象采樣器針對(duì)屬于常見(jiàn)對(duì)象的采樣點(diǎn)，而背景采樣器則抓取其余的采樣點(diǎn)。其中，對(duì)象和背景采樣器都是在SampleNet網(wǎng)絡(luò)上開(kāi)發(fā)。

其次，作者開(kāi)發(fā)了一個(gè)相互注意模塊來(lái)探索不同點(diǎn)云之間的逐點(diǎn)相關(guān)性，并嵌入到兩個(gè)采樣器中使用。識(shí)別給定圖像或點(diǎn)云中的常見(jiàn) 2D 像素或 3D 點(diǎn)是同類對(duì)象分割的關(guān)鍵部分。為此，該模塊計(jì)算跨點(diǎn)云的注意力圖并編譯用于共同分割的信息特征。實(shí)驗(yàn)證明，此模塊的采樣器可實(shí)現(xiàn)更好的前景-背景分離。

第三，開(kāi)發(fā)了一種對(duì)比損失函數(shù)來(lái)解決缺乏預(yù)訓(xùn)練數(shù)據(jù)和缺乏用于共同分割的監(jiān)督信號(hào)的問(wèn)題。通過(guò)最小化對(duì)象采樣器采樣的點(diǎn)的特征差異，同時(shí)最大化不同采樣器選擇的點(diǎn)之間的特征差異。作者使用這種損失函數(shù)來(lái)推導(dǎo)出采樣器及其相關(guān)的相互注意模塊。

2、核心方法

圖2方法概述。網(wǎng)絡(luò)架構(gòu)由兩個(gè)相互注意模塊的采樣器 So 和 Sb 以及一個(gè)特征提取器 f 組成。

1）問(wèn)題描述：

針對(duì)一組覆蓋未知類別對(duì)象的N個(gè)點(diǎn)云D。假設(shè)每個(gè)云中的點(diǎn)數(shù)為 M，點(diǎn)云同類對(duì)象分割就是要發(fā)現(xiàn)包含屬于每個(gè)公共對(duì)象的所有點(diǎn)的子集。請(qǐng)注意，這里既沒(méi)有提供點(diǎn)級(jí)注釋，也沒(méi)有提供點(diǎn)云級(jí)注釋。并且只使用幾何特征（沒(méi)有任何 RGB 信息）。圖 2是所提出方法的框架。

圖 3 中給出了關(guān)于相互注意模塊如何嵌入到采樣器 So 和 Sb 中的詳細(xì)過(guò)程。它的作用是估計(jì)跨點(diǎn)云、逐點(diǎn)的相互相關(guān)性，然后在采樣期間將其考慮在內(nèi)。

圖3相互注意模塊的架構(gòu)

2）物體與背景采樣：

這里作者將點(diǎn)云對(duì)象分割定義為前景點(diǎn)采樣問(wèn)題?；谧罱难芯刻岢隽它c(diǎn)云采樣的可微松弛。于是作者在 SampleNet 上開(kāi)發(fā)了對(duì)象采樣器 So 和背景采樣器 Sb。具體來(lái)說(shuō)，為了在點(diǎn)云上實(shí)現(xiàn)共同分割，作者對(duì) SampleNet 進(jìn)行了三項(xiàng)修改，包括下游任務(wù)、成對(duì)競(jìng)爭(zhēng)采樣器和跨點(diǎn)云注意機(jī)制。

其中下游任務(wù)是無(wú)監(jiān)督的同類對(duì)象分割。由于缺乏數(shù)據(jù)注釋，作者開(kāi)發(fā)了無(wú)監(jiān)督的協(xié)同對(duì)比損失，用來(lái)優(yōu)化采樣器。模型中的特征提取器 f 來(lái)為每個(gè)采樣點(diǎn)生成特征。

對(duì)于共同分割，目標(biāo)就是將前景點(diǎn)與其他點(diǎn)分開(kāi)。為此，作者使用對(duì)象采樣器 So 和背景采樣器 Sb分別為每個(gè)點(diǎn)云 P推斷前景子集On和背景子集Bn。通過(guò)使用對(duì)比損失函數(shù)，采樣器 So 和 Sb 分別傾向于收集前景和背景點(diǎn)。為了進(jìn)一步防止兩個(gè)采樣器選擇相同的點(diǎn)，作者還將排斥損失函整合到采樣器訓(xùn)練中，即

其中dc是Chamfer距離，超參數(shù)σ=1控制分離余量。

3）相互注意模型：

受現(xiàn)有方法可以在非本地操作下完成捕獲遠(yuǎn)程依賴項(xiàng)的自注意力模塊的啟發(fā)，作者開(kāi)發(fā)了一個(gè)相互注意模塊來(lái)發(fā)現(xiàn)跨點(diǎn)云點(diǎn)的相關(guān)性。與探索圖像內(nèi)位置相關(guān)性的自注意力模塊相比，圖3中所示的相互注意力模塊側(cè)重于小量級(jí)中點(diǎn)云之間的相互點(diǎn)相關(guān)性。如圖 3 所示，作者還引入了殘差學(xué)習(xí)以獲得更好的性能。

4）共同對(duì)比損失：

對(duì)比性學(xué)習(xí)近年來(lái)已經(jīng)被研究用于無(wú)監(jiān)督的表征學(xué)習(xí)。因此為了實(shí)現(xiàn)了在點(diǎn)云內(nèi)部和點(diǎn)云之間的對(duì)比學(xué)習(xí)，作者分別在點(diǎn)和對(duì)象兩個(gè)層面上實(shí)現(xiàn)。對(duì)比學(xué)習(xí)的訓(xùn)練數(shù)據(jù)通過(guò)增強(qiáng)的方式從一個(gè)數(shù)據(jù)實(shí)例中生成。

其中點(diǎn)對(duì)比損失函數(shù)為：

其中成對(duì)相似度是通過(guò)使用內(nèi)積來(lái)衡量，N 是給定點(diǎn)云的數(shù)量

目標(biāo)對(duì)比損失函數(shù)為：

在對(duì)象層面，一個(gè)數(shù)據(jù)對(duì)是由不同的點(diǎn)云創(chuàng)建的。此外，該部分還被用于共同分割，因此，作者將由此產(chǎn)生的目標(biāo)函數(shù)命名為對(duì)比損失。

實(shí)驗(yàn)環(huán)節(jié)：

數(shù)據(jù)集：

由于點(diǎn)云對(duì)象共分割是一項(xiàng)新任務(wù)，因此還沒(méi)有可用于評(píng)估的基準(zhǔn)數(shù)據(jù)集。作者暫時(shí)采用的ScanObjectNN 和 S3DIS。

表1在具有不同監(jiān)督級(jí)別和設(shè)置的不同方法在 ScanObjectNN 的 OBJ BG 測(cè)試集上的分割結(jié)果 (mIoU)。100%、10% 和 1pt 分別表示用 100%、10% 和每個(gè)對(duì)象類別的單個(gè)標(biāo)記點(diǎn)訓(xùn)練的方法。

考慮到本文是第一個(gè)用于點(diǎn)云同類對(duì)象分割的方法，暫時(shí)沒(méi)有同類的方法進(jìn)行性能對(duì)比。實(shí)驗(yàn)環(huán)節(jié)采用與三種不同監(jiān)督設(shè)置的點(diǎn)云對(duì)象分割方法進(jìn)行比較。具體來(lái)說(shuō)，首先，比較了點(diǎn)云分割的全監(jiān)督方法，并將它們作為性能上限的參考。其次，比較了兩種最新的弱監(jiān)督分割方法。他們的目標(biāo)是使用部分點(diǎn)級(jí)標(biāo)簽（point-level labels）或云級(jí)標(biāo)簽（cloud-level labels）作為弱注釋形式來(lái)分割 3D 對(duì)象。第三，比較了最新的形狀共同分割方法 AdaCoSeg。

表2 ScanObjectNN 數(shù)據(jù)集上不同變體的分割結(jié)果 (mIoU)。

表3 S3DIS 數(shù)據(jù)集上的分割結(jié)果 (mIoU)

表4 ScanObjectNN 數(shù)據(jù)集的定性結(jié)果。從左到右，從上到下，分別是包、床、垃圾桶、椅子、門、枕頭、架子、水槽、沙發(fā)和桌子。對(duì)于每個(gè)示例，作者展示了輸入云、真實(shí)標(biāo)簽和分割結(jié)果。

表5 S3DIS 數(shù)據(jù)集的定性結(jié)果。作者展示了五個(gè)對(duì)象類的示例：從上到下分別為書柜、椅子、門、沙發(fā)和桌子，每個(gè)類有兩個(gè)示例。對(duì)于每個(gè)例子，展示了輸入點(diǎn)云、真實(shí)標(biāo)簽和分割結(jié)果

作者除了評(píng)估分割方法本身的效果之外，還對(duì)分割結(jié)果嵌入到背景感知網(wǎng)絡(luò)background-aware network (BGA)進(jìn)行分類效果的評(píng)價(jià)。表 5 顯示使用偽標(biāo)簽進(jìn)行訓(xùn)練可以提高分類準(zhǔn)確率。

表 5：ScanObjectNN PB_T50_RS數(shù)據(jù)上的準(zhǔn)確度(%)

總結(jié)：

本文提出了一個(gè)點(diǎn)云新問(wèn)題，即點(diǎn)云同類對(duì)象分割問(wèn)題，并提出了一種無(wú)需使用昂貴注釋成本即可解決該問(wèn)題的方法。此外，作者還證明了該方法可以提供偽標(biāo)簽以改善現(xiàn)實(shí)世界數(shù)據(jù)集中的對(duì)象分類性能。