華為3D實(shí)景地圖，30分鐘構(gòu)建超精細(xì)數(shù)字世界，達(dá)到厘米級(jí)

華為 HDC2022 發(fā)布了 3D 實(shí)景地圖，可以實(shí)現(xiàn)任意視角下 3D 物理環(huán)境的實(shí)景渲染。

千百年來(lái)，人類都致力于記錄和解釋身處的物理世界。隨著計(jì)算機(jī)科學(xué)的發(fā)展，將物理世界數(shù)字化重建，不僅是長(zhǎng)遠(yuǎn)的理想，更是千行百業(yè)努力的當(dāng)下工作。真實(shí)的數(shù)字化重建三維物理環(huán)境，進(jìn)而從任意視角觀察重建的環(huán)境，是圖形學(xué)、計(jì)算機(jī)視覺(jué)領(lǐng)域每個(gè)人的終極夢(mèng)想，也是虛擬增強(qiáng)現(xiàn)實(shí)、元宇宙等眾多未來(lái)應(yīng)用的基石。

華為 HDC2022 發(fā)布了令人震撼的 3D 實(shí)景地圖，可以實(shí)現(xiàn)任意視角下 3D 物理環(huán)境的實(shí)景渲染。通過(guò) 2500 張照片，僅需 30 分鐘就可以構(gòu)建出 5 平方公里的超精細(xì)數(shù)字世界，擁有厘米級(jí)精細(xì)化建筑和真實(shí)光照還原能力。

華為 3D 實(shí)景地圖技術(shù)由畢業(yè)于斯坦福大學(xué)、現(xiàn)華為 2012 實(shí)驗(yàn)室技術(shù)專家黃經(jīng)緯博士及其團(tuán)隊(duì)研發(fā)完成。先來(lái)看看使用實(shí)景渲染技術(shù)的室內(nèi)外效果。

1 問(wèn)題背景

從任意視角觀察一個(gè)三維場(chǎng)景被廣泛應(yīng)用于游戲領(lǐng)域。通過(guò)美術(shù)師繪制的三維場(chǎng)景加以標(biāo)準(zhǔn)的 CG 渲染管線，用戶可以自由的探索場(chǎng)景的每個(gè)角落。為了用自動(dòng)化的手段得到更加真實(shí)的場(chǎng)景，計(jì)算機(jī)視覺(jué)從業(yè)人員致力于采集真實(shí)的物理世界的數(shù)據(jù)，用以重建一個(gè)孿生的三維場(chǎng)景供人預(yù)覽。然而經(jīng)過(guò)數(shù)十年的發(fā)展，重建模型的渲染效果仍不足以替代人工生產(chǎn)的場(chǎng)景。為了進(jìn)一步改善復(fù)雜光照?qǐng)鼍跋碌匿秩拘Ч?，光?chǎng)重建和渲染技術(shù)被提出，并在小場(chǎng)景下得到了驚艷的效果。近些年，神經(jīng)輻射場(chǎng)（NeRF）的概念，可用于同時(shí)重建復(fù)雜的幾何和光照。然而對(duì)于復(fù)雜的大場(chǎng)景，這些方案都存在一定的局限性。華為 3D 實(shí)景地圖整合了各方案的優(yōu)勢(shì)，從而可以在復(fù)雜大場(chǎng)景下進(jìn)行高質(zhì)量的真實(shí)重建和快速渲染。

2 相關(guān)工作的局限與機(jī)遇

除去很多昂貴的三維重建解決方案，最接近商用的解決方案仍然是基于多視角圖片的三維重建。然而，重建技術(shù)往往假設(shè)表面在各視角下?lián)碛幸恢碌墓庹眨虼藷o(wú)法處理高光、半透明物體的重建。光場(chǎng)重建模型可以根據(jù)不同視角采集的光線加權(quán)來(lái)處理復(fù)雜光照，但在表面重建錯(cuò)誤的情況下，新視角下的渲染往往存在殘影。雖然神經(jīng)輻射場(chǎng)（NeRF）技術(shù)使用復(fù)雜的模型能正確的概括真實(shí)場(chǎng)景，但恢復(fù)模型參數(shù)往往需要稠密采集的圖片，否則就成為一個(gè)欠約束問(wèn)題，在稀疏采集的大場(chǎng)景下新視角的泛化性尤為欠缺。

然而，各個(gè)方案亦有他們的優(yōu)勢(shì)?；诙嘁暯菆D片的各向同性光照假設(shè)，在大部分情況下都是實(shí)用的，基于搜索深度信息的本質(zhì)使其擁有稀疏視角的高效重建并擁有很好的泛化性，能夠很好的彌補(bǔ)光場(chǎng)渲染和神經(jīng)輻射場(chǎng)渲染的不足。光場(chǎng)渲染可以直接從采集的光線中獲取顏色，既保證真實(shí)，又無(wú)需像神經(jīng)輻射場(chǎng)那樣優(yōu)化復(fù)雜的 MLP 或者球諧函數(shù)。神經(jīng)輻射場(chǎng)作為一個(gè)全局模型，改善了傳統(tǒng)重建融合局部重建結(jié)果無(wú)法全局優(yōu)化的情況，同時(shí)引入不透明度下的體渲染增強(qiáng)了模型描述環(huán)境的能力。

3 解決方案

華為 3D 實(shí)景地圖結(jié)合了各家所長(zhǎng)，提出了顯式輻射場(chǎng)模型，系統(tǒng)模塊如下：

第一階段，系統(tǒng)使用傳統(tǒng)三維重建方法對(duì)環(huán)境進(jìn)行粗略構(gòu)建，形成三角形網(wǎng)格。針對(duì) 3D 數(shù)字溪村場(chǎng)景，初始的幾何構(gòu)建能力使系統(tǒng)能使用 500 米高空航拍的 2500 張圖片快速構(gòu)建，并擁有新視角下渲染的泛化性。這個(gè)模型是粗模，雖然可以被直接用于渲染，但幾何和環(huán)境光照的恢復(fù)不夠真實(shí)。

在第二階段，粗模作為環(huán)境輪廓，被初始化為顯示輻射場(chǎng)。其具體的表達(dá)形式是純幾何的，即在粗模表面附近顯式的記錄不透明度為 1，其他地方不透明度為 0。接下來(lái)，系統(tǒng)使用采集的圖片和三維重建中獲取的圖片位姿進(jìn)一步優(yōu)化輻射場(chǎng)模型。具體而言，可以對(duì)于每個(gè)局部區(qū)域進(jìn)行區(qū)域增長(zhǎng)式優(yōu)化不透明度，從而過(guò)濾重建粗模中的噪音，并補(bǔ)全模型的缺失幾何。在此過(guò)程中，不同于神經(jīng)輻射場(chǎng)對(duì)光照模型用 MLP 或球諧函數(shù)來(lái)表達(dá)，而是直接使用類似于光場(chǎng)渲染的采樣技術(shù)，快速獲得特定位置和方向上的最佳模型光照。采樣中由于使用加權(quán)平均的限制，空間中沒(méi)有表面的點(diǎn)與對(duì)應(yīng)采集圖片相應(yīng)像素比，仍會(huì)引起較大的顏色誤差。因此，可以使用 L2 損失函數(shù)調(diào)整不透明度，從而優(yōu)化幾何體。

在最終階段，輻射場(chǎng)模型轉(zhuǎn)化為可用于渲染管線支持的網(wǎng)格模型。使用紋理模型進(jìn)行光柵化渲染對(duì)性能尤為關(guān)鍵。系統(tǒng)將顯式的輻射場(chǎng)模型重構(gòu)回網(wǎng)格，并根據(jù)光場(chǎng)渲染壓縮技術(shù)將表面光照壓縮成多個(gè)紋理，用于使用著色器進(jìn)行快速渲染。對(duì)于大規(guī)模場(chǎng)景，系統(tǒng)對(duì)幾何進(jìn)行 LOD 層次化，使模型渲染可以由粗至細(xì)加載進(jìn)行。

借此，顯式輻射場(chǎng)技術(shù)綜合百家所長(zhǎng)，能夠?qū)崿F(xiàn)良好的視角泛化性、精細(xì)的幾何和真實(shí)光照效果，并以高效的渲染效率處理大規(guī)模場(chǎng)景。

4 效果展示

顯式輻射場(chǎng)技術(shù)，可以幫助重建的環(huán)境獲取真實(shí)的渲染光照效果。

對(duì)比傳統(tǒng)幾何重建（左），輻射場(chǎng)能夠更好的恢復(fù)精細(xì)的橋梁結(jié)構(gòu)（右）。

同時(shí)，本技術(shù)可以恢復(fù)復(fù)雜的材質(zhì)（如透明玻璃、高光桌面）效果和復(fù)雜的幾何體（植物、吊燈）。

5 挑戰(zhàn)與未來(lái)

雖然在技術(shù)上實(shí)現(xiàn)了顯著突破，但其商業(yè)價(jià)值仍需時(shí)間去發(fā)掘和思考，其主要問(wèn)題在于環(huán)境采集的方式。為了得到優(yōu)質(zhì)的環(huán)境重建，圖像的采集往往需要專業(yè)人士或者專業(yè)設(shè)備來(lái)實(shí)現(xiàn)。例如，大規(guī)模的室外環(huán)境可以通過(guò)專業(yè)的大飛機(jī)傾斜攝影完成。航飛場(chǎng)景往往容易遮擋地面，對(duì)于地面應(yīng)用，如高自由度的街景，仍需要地面采集的數(shù)據(jù)以避免航飛帶來(lái)的遮擋問(wèn)題。另外為了保證環(huán)境的高覆蓋采集，地面的采集往往需要使用全景設(shè)備，也為采集帶來(lái)了額外的成本而不適用于眾包生產(chǎn)。

從應(yīng)用來(lái)看，未來(lái)最廣闊的市場(chǎng)仍屬于是廣大消費(fèi)者，因此，對(duì)于大規(guī)模實(shí)景地圖的云渲染技術(shù)至關(guān)重要。另外，如何讓實(shí)景渲染的真實(shí)場(chǎng)景與有價(jià)值的應(yīng)用結(jié)合帶來(lái)全新的用戶體驗(yàn)，仍然是元宇宙行業(yè)需要思考的首要命題。對(duì)于 2B 場(chǎng)景，確實(shí)有大量的客戶需要實(shí)景渲染能力，然而其所帶來(lái)的價(jià)值以及生產(chǎn)成本的平衡，需要進(jìn)一步探索，從而找到技術(shù)的真正落地點(diǎn)。

6 致謝

本技術(shù)由華為 2012 實(shí)驗(yàn)室技術(shù)專家黃經(jīng)緯，預(yù)研算法工程師郭曉陽(yáng)、時(shí)北極，三維重建工程師張彥峰，空三與采集負(fù)責(zé)人張行航等成員共同完成。更多有關(guān) 3D 數(shù)字溪村的體驗(yàn)可在 Petal Map 地圖應(yīng)用中搜索松山湖溪村進(jìn)行體驗(yàn)。

• 歡迎訪問(wèn)技術(shù)負(fù)責(zé)人主頁(yè)：https://cs.stanford.edu/~jingweih

• 或者通過(guò)郵件方式聯(lián)系作者：jingweih@cs.stanford.edu