“工程師的元宇宙”又添新應(yīng)用：NVIDIA深度學(xué)習(xí)技術(shù)讓2D圖像瞬間“起立”變3D
加入技術(shù)交流群
快系好安全帶，你的平面汽車可以隨時(shí)出發(fā)！
GANverse3D 由多倫多的 NVIDIA AI 研究實(shí)驗(yàn)室開發(fā)，作為 NVIDIA Omniverse 平臺(tái)的擴(kuò)展應(yīng)用，它能將平面圖像轉(zhuǎn)換成逼真的 3D 模型，并將其可視化地呈現(xiàn)在虛擬空間中，供人們自由操控。
GANverse3D已為美國電視劇《霹靂游俠》 （Knight Rider） 中的 AI 汽車基特 （KITT) 注入新的靈魂。研究人員將汽車基特的平面圖像輸入到模型中，通過預(yù)測相應(yīng)的 3D 紋理網(wǎng)格， GANverse3D 生成出了基特的 3D 模型，讓其在虛擬空間中行駛，并配有逼真的前燈、尾燈和轉(zhuǎn)向燈。
此外，NVIDIA Omniverse 套件和 NVIDIA PhysX 工具還可以將預(yù)測的紋理轉(zhuǎn)成高質(zhì)量材料，使基特具有更加真實(shí)的外觀和“觸感”。
通過 GANverse3D ，即使沒有 3D 建模方面的知識(shí)，建筑師、創(chuàng)作者、游戲開發(fā)人員和設(shè)計(jì)師也能輕松地將平面設(shè)計(jì)轉(zhuǎn)換成立體模型，并能最大程度削減渲染方面的預(yù)算。
GANverse3D 的基礎(chǔ)原理是生成式對(duì)抗網(wǎng)絡(luò)（GAN, Generative Adversarial Networks ）。
生成式對(duì)抗網(wǎng)絡(luò)是一種新近的深度學(xué)習(xí)模型，最早由伊安·好伙伴教授（Ian Goodfellow）于 2014 年提出，一經(jīng)提出，學(xué)界對(duì) GAN 的研究如火如荼。
GAN的框架包括至少兩個(gè)模塊：生成模型（Generative Model）和判別模型（Discriminative Model）。
好伙伴教授將其原理比作制假鈔的偽造者 (Generator） 和警察 （Discriminator） 之間的博弈。偽造者不斷更新技術(shù)制造以假亂真的鈔****，警察則需用更先進(jìn)的技術(shù)甄別假鈔，兩人在對(duì)抗中不斷升級(jí)各自的技能。
因此，在 GAN 模型的訓(xùn)練過程中，生成網(wǎng)絡(luò) G（Generator，簡稱 G） 的任務(wù)就是要生成逼真的圖像欺騙判別網(wǎng)絡(luò) D（Discriminator，簡稱 D），而 D 的目標(biāo)是區(qū)分 G 生成的圖像和真實(shí)圖像。如此，G 和 D 便構(gòu)成了一個(gè)動(dòng)態(tài)“博弈過程”。最終，在理想情況下，G 能夠生成以假亂真的圖像成功混淆 D 的判斷。
在原始理論中， G 和 D 只要是能夠擬合相應(yīng)模型的函數(shù)即可，并不要求二者都是神經(jīng)網(wǎng)絡(luò)。但實(shí)際開發(fā)中人們多使用深度神經(jīng)網(wǎng)絡(luò)作為 G 和 D 。一個(gè)優(yōu)秀的 GAN 應(yīng)用需要科學(xué)有效的訓(xùn)練方法，否則神經(jīng)網(wǎng)絡(luò)模型的自由性可能會(huì)導(dǎo)致輸出不理想。
NVIDIA 利用生成式對(duì)抗網(wǎng)絡(luò)形成訓(xùn)練數(shù)據(jù)集。這就像攝影師繞著一輛停泊的汽車，從不同的角度拍攝以獲得多視角圖像一樣。這些多視角圖像最終會(huì)被放入逆向圖 （inverse graphics） 的渲染框架中，以此合成 3D 圖像。
逆向圖指是從 2D 圖像推斷 3D 網(wǎng)格模型的過程。以前的逆向圖模型依賴于 3D 圖形作為訓(xùn)練數(shù)據(jù)，NVIDIA 的 GANverse3D 則是根據(jù)真實(shí)圖像進(jìn)行訓(xùn)練。NVIDIA 研究員 Jun Gao 表示，以真實(shí)圖像作為訓(xùn)練基礎(chǔ)得到的AI模型，“能更好地推廣到現(xiàn)實(shí)世界中。”
在沒有 3D 要素的幫助下，“我們把 GAN 模型變成了一個(gè)非常高效的數(shù)據(jù)生成器，這樣我們就可以基于網(wǎng)絡(luò)上的任何 2D 圖像創(chuàng)建出 3D 對(duì)象。”NVIDIA 研究員 Wenzheng Chen 說。
有關(guān) GAN verse3D 研究成果將在 5 月份的 ICLR 會(huì)議和 6 月份的 CVPR 會(huì)議上發(fā)表。
為工程師搭建元宇宙
眾多科技公司都在從元宇宙 （Metaverse） 概念中汲取靈感，英偉達(dá)也不例外，趁熱推出元宇宙的工程師版。
黃仁勛在 2021 GTC 大會(huì)上宣布，英偉達(dá)要推出 to B 端的實(shí)時(shí)協(xié)作仿真平臺(tái) Omniverse ——一個(gè)面向企業(yè)的虛擬工作平臺(tái)。
英偉達(dá)早在去年 10 月推出 Omniverse 測試版，并在游戲、建筑等領(lǐng)域得到應(yīng)用。寶馬、愛立信、沃爾沃、Adobe 等超過超過 17,000 名客戶體驗(yàn)了測試版。
黃仁勛在此前的采訪中表示， Omniverse 能讓游戲開發(fā)者輕松應(yīng)對(duì)復(fù)雜的流水線工作，以此提升工作效率。在 Omniverse 平臺(tái)上，動(dòng)畫、紋理、燈光、幾何圖形等常規(guī)游戲制作的流水線工程將能一舉打通鏈接。每個(gè)人都能看到他人在做什么，并能做到“眼見為實(shí)”。
游戲、架構(gòu)和設(shè)計(jì)領(lǐng)域的創(chuàng)作者們高度依賴于虛擬世界，在產(chǎn)品完成之前，他們需要測試和可視化其原型。但僅是渲染一輛汽車、一條街道就需要捕獲成百上千的多視角圖像，期間會(huì)產(chǎn)生大量成本。因此并非每位創(chuàng)作者資源和精力將其繪制的圖像轉(zhuǎn)成 3D 模型。
基于此， NVIDIA 開發(fā) GANverse3D 應(yīng)用，可以迅速追蹤實(shí)時(shí)光線來創(chuàng)造一個(gè)真實(shí)的虛擬世界。
任何 2D 圖像都可以在 Omniverse 中轉(zhuǎn)換成可以自定義和制作動(dòng)畫的 3D 圖形。
NVIDIA 深度學(xué)習(xí)工程師 Jean-Francois Lafleche 表示：“Omniverse 讓研究人員能夠?qū)⒓?dòng)人心的前沿研究直接帶給創(chuàng)作者和最終用戶。作為 Omniverse 的擴(kuò)展程序, GANverse3D 將幫助藝術(shù)家為游戲開發(fā)、城市規(guī)劃甚至訓(xùn)練新的機(jī)器學(xué)習(xí)模型創(chuàng)建更豐富的虛擬世界。”
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
