新聞中心

EEPW首頁 > 智能計(jì)算 > 業(yè)界動態(tài) > NVIDIA透過人工智能 將2D平面照片轉(zhuǎn)變?yōu)?D立體場景

NVIDIA透過人工智能 將2D平面照片轉(zhuǎn)變?yōu)?D立體場景

作者: 時(shí)間:2022-03-31 來源:CTIMES 收藏

當(dāng)人們在75年前使用寶麗來 (Polaroid ) 相機(jī)拍攝出世界上第一張實(shí)時(shí)成像照片時(shí),便是一項(xiàng)以逼真 2D 影像迅速捕捉 世界畫面的創(chuàng)舉。時(shí)至今日,人工智能 (AI) 研究人員反將此作法倒轉(zhuǎn)過來,亦即在幾秒鐘內(nèi)將一組靜態(tài)影像變成數(shù)字 場景。
 圖片.png

本文引用地址:http://m.butianyuan.cn/article/202203/432690.htm

Research 透過人工智能,在一瞬間將 2D 平面照片變成 立體場景


這項(xiàng)稱為逆向渲染 (inverse rendering) 的過程,利用 AI 來預(yù)估光線在真實(shí)世界中的表現(xiàn),讓研究人員能利用從不同角度拍攝的少量 2D 影像來重建 3D 場景。 Research 團(tuán)隊(duì)開發(fā)出一種方法,幾乎能在瞬間內(nèi)完成這項(xiàng)任務(wù),是同類中首批將超高速神經(jīng)網(wǎng)絡(luò)訓(xùn)練與快速渲染相結(jié)合的模型之一。
將該方法應(yīng)用在一種稱為神經(jīng)輻射場 (Neural Radiance Fields;NeRF) 的熱門新技術(shù)上,創(chuàng)造出 Instant NeRF 這項(xiàng)當(dāng)今渲染速度最快的 NeRF 技術(shù),在某些情況下速度可以提升超過 1,000 倍。用數(shù)十張靜態(tài)照片,便能在幾秒鐘內(nèi)完成訓(xùn)練模型,再加上拍攝角度的數(shù)據(jù),在幾十毫秒內(nèi)即可渲染出生成的 3D 場景。
NVIDIA 繪圖研究部門副總裁 David Luebke 表示:「如果說多邊形網(wǎng)格這樣的傳統(tǒng) 3D 表現(xiàn)方式像是向量圖形,那么 NeRF 就像是位圖,它們會密集捕捉光線從物體或場景中輻射出來的方式。從這個(gè)意義上來說,Instant NeRF 對 3D 的重要性,不亞于數(shù)字相機(jī)和 JPEG 壓縮技術(shù)對 2D 攝影的重要性,其可大幅提升 3D 捕捉與分享的速度、便利性和范圍?!?br/>在 NVIDIA GTC 大會議程中展示的 Instant NeRF,可用于為虛擬世界建立化身或場景、以 3D 方式拍攝視頻會議的與會者以及所處環(huán)境,或是為 3D 數(shù)字地圖重建場景。
NVIDIA Research 團(tuán)隊(duì)為了向早期的寶麗來照片致敬,重現(xiàn)了安迪.沃荷 (Andy Warhol) 拍攝實(shí)時(shí)成像照片的經(jīng)典照片,利用 Instant NeRF 將其轉(zhuǎn)變?yōu)?3D 場景。
NeRF是什么?
NeRF 會依照輸入的一組 2D 影像,使用神經(jīng)網(wǎng)絡(luò)來表現(xiàn)及渲染逼真的 3D 場景。
收集資料再投入 NeRF 的做法,有點(diǎn)類似紅毯上的攝影師試著從各個(gè)角度拍攝名人身上的華麗服裝,而神經(jīng)網(wǎng)絡(luò)需要有從場景四周多個(gè)位置拍攝的數(shù)十張照片,以及每張照片的相機(jī)位置等數(shù)據(jù)支持。
場景里的人或物體若移動,拍攝照片的速度則是愈快愈好。要是在拍攝 2D 影像的過程中,人或物體有過多的移動,AI 便會生成模糊的 3D 場景。
基本上,NeRF 在此時(shí)會填補(bǔ)空白處,訓(xùn)練一個(gè)小型神經(jīng)網(wǎng)絡(luò),預(yù)測從 3D 空間中任何一點(diǎn)朝著任意方向輻射出的光線顏色來重建場景。這項(xiàng)技術(shù)甚至能解決當(dāng)某些照片里的物體被其它照片中的柱子等障礙物遮住時(shí)所產(chǎn)生的遮擋問題。
利用 Instant NeRF 將渲染速度提升1,000倍
人類天生就會按照一部分所見畫面來估算物體的深度和外觀,但這對 AI 來說卻是一項(xiàng)高難度的任務(wù)。
根據(jù)畫面的復(fù)雜性和分辨率,以傳統(tǒng)方法建立一個(gè) 3D 場景須花費(fèi)數(shù)小時(shí)甚至更長的時(shí)間。而利用 AI 則可加快處理速度。早期開發(fā)的 NeRF 模型在幾分鐘內(nèi)便能渲染出無偽影的清晰場景,但仍需數(shù)小時(shí)進(jìn)行訓(xùn)練。
然而,Instant NeRF 卻大幅縮短了渲染時(shí)間,其以 NVIDIA 所開發(fā)出的 Multi-resolution Hash Encoding 技術(shù)為基礎(chǔ),而這項(xiàng)經(jīng)過優(yōu)化調(diào)整的技術(shù)可以在 NVIDIA 上高效運(yùn)行。研究人員透過一種新的輸入編碼法,可以利用一個(gè)高速運(yùn)行的微型神經(jīng)網(wǎng)絡(luò)來創(chuàng)造高質(zhì)量的結(jié)果。
研究人員使用 NVIDIA CUDA 工具套件與 Tiny CUDA 神經(jīng)網(wǎng)絡(luò)函式庫來開發(fā)此模型。這個(gè)小巧的神經(jīng)網(wǎng)絡(luò)可以在單一 NVIDIA 上進(jìn)行訓(xùn)練和運(yùn)行,并在搭載 NVIDIA Tensor 核心的顯示適配器上有著最高的運(yùn)行速度。
這項(xiàng)技術(shù)可以用于拍攝實(shí)體環(huán)境物體的 2D 照片或影片,以訓(xùn)練機(jī)器人和自動駕駛車來了解這些物體的大小及形狀。建筑業(yè)與娛樂產(chǎn)業(yè)也能使用這項(xiàng)技術(shù),快速為實(shí)體環(huán)境建立數(shù)字畫面,創(chuàng)作者便能用它來進(jìn)行修改和構(gòu)建。
除了 NeRF,NVIDIA 的研究人員也在探索如何將這種輸入編碼技術(shù)用于加速處理多項(xiàng) AI 領(lǐng)域的難題,包括強(qiáng)化學(xué)習(xí)、語言翻譯和通用的深度學(xué)習(xí)算法。



關(guān)鍵詞: 3D CPU GPU NVIDIA

評論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉