OpenAI開源Point-E，可在Nvidia V100 GPU上1-2分鐘生成3D模型

在推出針對文本和圖像的生成人工智能模型之后，OpenAI現(xiàn)在展示了下一步可能出現(xiàn)的東西：一個從文本到三維模型的生成器。通過文本描述，Point-E生成了3D點云，可以作為虛擬環(huán)境中的模型。除OpenAI之外，已經(jīng)有其他用于3D生成的工智能模型，如谷歌的Dreamfusion或Nvidia的Magic3D。

Point-E生成展示

然而，據(jù)說OpenAI的開源Point-E速度明顯更快，在一個Nvidia V100 GPU上可以在一到兩分鐘內(nèi)生成3D模型。

OpenAI的Point-E生成點云

實際上，Point-E并不生成傳統(tǒng)意義上的3D模型，而是代表3D形狀的點云。相比之下，谷歌的Dreamfusion生成NeRFs（Neural Radiance Fields）——需要更多的時間，但與點云相比，NeRFs可以呈現(xiàn)出更多明顯的細節(jié)。很顯然，Point-E的質(zhì)量相對較低，因而使得該系統(tǒng)的效率很高。

Point-E從文本描述中生成的點云的一些例子

當Point-E生成點云后，再由另一個作為三維建模和設計標準的模型將其轉(zhuǎn)化為網(wǎng)格。根據(jù)OpenAI的說法，這個過程還不能完全避免出錯：在某些情況下，云的某些部分會被錯誤地處理，導致生成錯誤的網(wǎng)格。

Point-E中的兩個生成模型

具體來看，Point-E本身由兩個模型組成：一個GLIDE模型和一個image-to-3D模型。前者類似于DALL-E或Stable Diffusion等系統(tǒng)，可以從文本描述中生成圖像。第二個模型由OpenAI對圖像和相關3D目標物體進行訓練，學習從圖像中生成相應點云。為了更好地訓練，OpenAI使用了數(shù)百萬個3D目標和相關的元數(shù)據(jù)。

通過GLIDE模型在 A corgi 中創(chuàng)建一個圖像，然后通過點云擴散模型創(chuàng)建一個3D corgi

該團隊報告說，“這兩步過程可能會失敗”。但它是如此之快，以至于生成目標的速度比Dreamfusion快近600倍。"這可能讓它在某些應用上更加實用，或者發(fā)現(xiàn)更高質(zhì)量的3D對象，"該團隊表示。

“我們已經(jīng)推出了Point-E，一個用于文本條件合成3D點云的系統(tǒng)。它首先生成合成視圖，然后根據(jù)這些視圖生成彩色點云。我們發(fā)現(xiàn)Point-E能夠有效地產(chǎn)生以文本提示為條件的多樣化和復雜的3D形狀。”

據(jù)OpenAI稱，Point-E是公司未來展開文本到三維合成業(yè)務的起點，目前已在Github上開放了源代碼。Point-E 2可能最早在明年撼動3D市場。

參考鏈接：

https://the-decoder.com/point-e-openai-shows-dall-e-for-3d-models/