Waymo利用AI生成攝像頭圖像，用于自動駕駛仿真

據(jù)外媒報道，日前，Waymo表示開發(fā)了新方法SurfelGAN，利用自動駕駛汽車收集的傳感器數(shù)據(jù)，通過AI生成用于仿真的攝像頭圖像。SurfelGAN使用紋理映射表面元素(surface elements，簡稱surfel)重建場景和攝像頭視角，以獲取位置和方向。

諸如Waymo這樣的自動駕駛汽車公司利用仿真環(huán)境來訓練、測試和驗證系統(tǒng)，然后再將系統(tǒng)部署到現(xiàn)實世界的車輛中。設計模擬器有多種方法，但一些基礎的模擬器忽略了對于場景理解至關重要的線索，比如行人的手勢和閃爍的燈光。而像Waymo CarCraft這樣更復雜的模擬器，由于試圖對材料進行高度精確的建模，因此需要耗費大量的計算資源，以確保像激光雷達和雷達等傳感器在真實世界中可靠地工作。

隨著SurfelGAN的推出，Waymo提出了一種更簡單的、數(shù)據(jù)驅(qū)動的方法來模擬傳感器數(shù)據(jù)。SurfelGAN從真實世界的激光雷達傳感器和攝像頭獲取數(shù)據(jù)，創(chuàng)建并保存場景中所有物體的3D幾何、語義和外觀的豐富信息。然后，再從不同的距離和視角渲染仿真場景，以進行重建。

Waymo發(fā)言人稱，“在仿真中，當自動駕駛汽車和其他道路使用者的移動軌跡發(fā)生變化時，系統(tǒng)會生成真實的視覺傳感器數(shù)據(jù)，幫助我們在新的環(huán)境中建模場景。部分系統(tǒng)正在生產(chǎn)中?！?/p>

SurfelGAN利用紋理增強表面元素地圖的場景表示方法，這是一種緊湊、易于構(gòu)造的場景表示方法，能夠在保留傳感器信息的同時保持合理的計算效率。SurfelGAN將激光雷達掃描到的體元(3D空間中定義點的圖形信息的單位)轉(zhuǎn)換成表面元素盤(surfel discs)，可根據(jù)攝像頭數(shù)據(jù)估算顏色，然后對這些元素進行后處理，以處理光線和姿態(tài)的變化。

為了處理車輛這類動態(tài)物體，SurfelGAN還使用了Waymo Open Dataset中的注釋。興趣物體的激光雷達掃描數(shù)據(jù)不斷積累，以便在仿真中Waymo可以生成汽車和行人的重建。

SurfelGAN中的生成對抗網(wǎng)絡(GAN)模塊負責將表面元素圖像渲染轉(zhuǎn)換成逼真的圖像。其生成器模型從使用分布采樣的隨機噪聲中生成合成示例，這些示例連同來自訓練數(shù)據(jù)集的真實示例一起反饋給鑒別器，而鑒別器視圖區(qū)分這兩者。生成器和鑒別器的能力不斷提升，直到鑒別器無法區(qū)分合成示例和真實示例。

SurfelGAN模塊以一種無人監(jiān)管的方式進行訓練，意味著其在沒有參考已知、標記或注釋結(jié)果的情況下推斷語料庫中的模式。有趣的是，每當鑒別器正確地識別合成示例時，就會告訴生成器如何調(diào)整輸出，從而更加真實。

Waymo進行了一系列測試來評估SurfelGAN的表現(xiàn)，給它輸入了798個訓練序列，包括20秒的攝像頭數(shù)據(jù)和激光雷達數(shù)據(jù)，以及來自Waymo Open Dataset數(shù)據(jù)集中關于車輛、行人和騎行者的注釋。SurfelGAN團隊還創(chuàng)建和使用新的數(shù)據(jù)集Waymo Open Dataset-Novel View，為原始數(shù)據(jù)中的每一幀創(chuàng)建全新的表面元素圖像渲染。

最后，Waymo收集了未注釋攝像頭圖像的額外序列(共9800個，每個100幀)，并構(gòu)建了一個稱為雙攝像頭后數(shù)據(jù)集(Dual-Camera-Post Dataset，DCP)的語料庫，以測量SurfelGAN生成圖像的真實度。DCP可處理兩輛車同時觀察同一場景的情況；Waymo使用來自第一輛車的數(shù)據(jù)重建場景，并在第二輛車的精確姿態(tài)下渲染表面元素圖像。

研究人員稱，當SurfelGAN生成的圖像提供給現(xiàn)成的車輛探測器時，最高質(zhì)量的合成圖像達到了與真實圖像相同的標準。SurfelGAN還改進了DCP(雙攝像頭后數(shù)據(jù)集)中的表面元素渲染，在一定距離內(nèi)生成更逼真的圖像。此外，研究人員還證明，SurfelGAN生成的圖像還將車輛探測器的平均精度從11.9%提高到13%。

Waymo指出SurfelGAN并不完美。例如，它有時無法從損壞的幾何圖形中恢復，導致車輛看起來不真實。在沒有表面元素信息的情況下，AI表現(xiàn)出了很大的差異。盡管如此，研究人員仍然認為SurfelGAN是未來動態(tài)物體建模和視頻生成仿真系統(tǒng)的堅實基礎。