多視圖立體匹配論文分享：P-MVSNet

論文題目：P-MVSNet: Learning Patch-wise Matching Confidence Aggregation for Multi-View Stereo

1.文章概述

本篇文章是ICCV 的一篇文章，討論的是從多張RGB圖和攝像機(jī)參數(shù)中，預(yù)測(cè)深度圖并生成點(diǎn)云的問(wèn)題。該篇文章依然是在繼MVSNet之后，對(duì)代價(jià)體部分進(jìn)行了改進(jìn)，從而在一定程度上提高了點(diǎn)云結(jié)果的完整性和準(zhǔn)確性。

本文的主要?jiǎng)?chuàng)新點(diǎn)在于提出了基于區(qū)域匹配置信的代價(jià)體，通過(guò)學(xué)習(xí)的方式將每個(gè)假想面上的特征匹配置信聚合變?yōu)橐粋€(gè)向量而非常量。從而提高立體匹配的準(zhǔn)確度。

2.研究方法

該種方法主要分為以下三個(gè)模塊：特征提取，學(xué)習(xí)居于匹配置信，預(yù)測(cè)深度圖。下文將分別介紹。

圖1. P-MVSNet結(jié)構(gòu)

1）特征提取

不同于以往的特征提取，本文將特征提取分為兩個(gè)層級(jí)：L1和L2。L1層級(jí)只作用于參考圖像，通過(guò)一個(gè)3D的編碼****，抽象出的L1特征，用于最終指導(dǎo)形成高分辨率的深度圖。L2層級(jí)則作用于除參考圖像外的所有其他圖像，通過(guò)3D編碼器提取特征。L2層級(jí)特征將用于建立匹配置信體。

2）學(xué)習(xí)局域匹配置信

學(xué)習(xí)匹配置信分為兩個(gè)步驟，首先使用上一步中得到的L2層級(jí)特征以及對(duì)應(yīng)的攝像機(jī)參數(shù)，建立像素的匹配置信體。然后通過(guò)學(xué)習(xí)的方式建立區(qū)域匹配置信，以此增強(qiáng)匹配的魯棒性和準(zhǔn)確性。

像素的匹配置信通過(guò)標(biāo)準(zhǔn)的平面掃描立體方法建立，定義為M=M（d，p，c），代表了第C個(gè)特征通道在特征圖F0以及臨近的特征圖中像素P的匹配置信。計(jì)算公式如公式1所示：

公式1 像素匹配置信計(jì)算

計(jì)算了像素的匹配置信后，我們通過(guò)學(xué)習(xí)的方式來(lái)計(jì)算區(qū)域匹配置信。該學(xué)習(xí)過(guò)程可以用兩個(gè)公式來(lái)表示，該過(guò)程中，將像素p在深度區(qū)間d所對(duì)應(yīng)的區(qū)域置信體定義為M*=M*(d,p,c)。計(jì)算過(guò)程如公式2所示：

公式2 區(qū)域匹配置信計(jì)算

其中Ω1(﹒)定義為在假想平面以p為中心的3*3區(qū)域，Ω2(﹒)則定義為相鄰的三個(gè)假象平面的集合。ρ1、ρ2、ρ3則是一些可學(xué)函數(shù)，具體參數(shù)設(shè)置可參考原文。最后，文章使用Tanh來(lái)正則化置信體。

3）深度圖預(yù)測(cè)

在深度圖預(yù)測(cè)部分，作者使用了3D U-Net來(lái)從上一步的結(jié)果中得到潛在的概率體，定義為V2，具體參數(shù)如圖2所示。

圖2 3D U-Net結(jié)構(gòu)

得到潛在概率體V2后，文章采用了類(lèi)似于MVSNet中計(jì)算深度圖的方式，通過(guò)softMax操作來(lái)從潛在概率體V2中計(jì)算最終預(yù)測(cè)深度圖的概率體P2。最終每個(gè)像素的深度是通過(guò)將每個(gè)深度d通過(guò)P2加權(quán)平均取得。計(jì)算公式如公式3所示：

公式3 深度圖計(jì)算公式

以上計(jì)算的深度記為Dl2深度，對(duì)應(yīng)之前的L2特征層級(jí)，但因?yàn)樵趯?shí)際中，L2層級(jí)往往是低分辨率的，所以本文同時(shí)計(jì)算了Dl1深度，對(duì)應(yīng)前文的L1特征層級(jí)，在得到L1層級(jí)的特征圖后，將其與上采樣的V2級(jí)聯(lián)，之后按照類(lèi)似于Dl2的計(jì)算方法，同樣計(jì)算出Vl1、Pl1和DL1。

4）Loss方程

Loss方程使用的是真實(shí)值和預(yù)測(cè)值之間的絕對(duì)誤差，同時(shí)考慮了Dl1和Dl2兩個(gè)方面，公式如下：

公式4 Loss方程

3.實(shí)驗(yàn)結(jié)果

本文依舊是在DTU和Tanks&Temples上進(jìn)行訓(xùn)練和測(cè)試，本文給出了在DTU數(shù)據(jù)集上的測(cè)試定量結(jié)果。

圖3 實(shí)驗(yàn)定量結(jié)果

圖4 重建結(jié)果1

圖5 重建結(jié)果2

可以看出，在完整性上，本文有了一定的提升，但是在平均準(zhǔn)確率上，與MVSNet相差不是很多。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。