英偉達黃仁勛：我們給真實世界和元宇宙間建了個穿梭門

老黃說元宇宙叫Omniverse不叫Meta，誰有意見

——

文｜洪雨晗   

老黃家熟悉的廚房又出現(xiàn)了，不過這次英偉達沒有像“虛擬數(shù)字人”那次賣關(guān)子，在11月9日GTC大會（GPU Technology Conference）的主題演講開始不久廚房就開始逐漸虛化，對，人真了但廚房是假的！場景轉(zhuǎn)換為英偉達大樓。

英偉達的每次GTC發(fā)布會總能給人帶來不少驚喜。在大會正式開始之前，英偉達股價在上周便開始應(yīng)聲而漲。有不少投資者認為此次大會可能會凸顯英偉達在今年火爆的“元宇宙”主題下的機遇，應(yīng)為英偉達所擅長的GPU之于元宇宙，就相當于鋰電池之于新能源車。雖然老黃在一個半小時多的主題演講里沒有太刻意去強調(diào)元宇宙的概念，但本次大會中，確實有不少新技術(shù)產(chǎn)品的背后都有元宇宙的影子。

先下結(jié)論，老黃的整個主題演講其實就想傳達一個核心觀念——英偉達在推進AI在各行各業(yè)發(fā)展的過程中扮演了關(guān)鍵角色。串起這個觀念的內(nèi)容自然是展示自家的核心技術(shù)，簡要來說，英偉達展示了自家產(chǎn)品在企業(yè)和數(shù)據(jù)中心AI、對話式AI和自然語言處理領(lǐng)域的最新技術(shù)，以及邊緣AI的應(yīng)用，如機器人、醫(yī)療和自動駕駛汽車等。

這次主題演講的重頭戲自然跟外界炒的沸沸揚揚元宇宙難脫關(guān)系。英偉達在本次GTC大會上發(fā)布了NVIDIA Omniverse——一個用于3D工作流程的虛擬世界模擬和協(xié)作平臺 。其實英偉達在去年12月就發(fā)布了Omniverse平臺的公開測試版，它可以讓創(chuàng)造者在物理精確模擬或3D渲染中進行實時協(xié)作。

如今，Omniverse平臺再次升級，新發(fā)布了Omniverse Avatar和Omniverse Replicator。其中，Omniverse Avatar是一個用于生成交互式AI化身的技術(shù)平臺。它集合了英偉達在語音AI、計算機視覺、自然語言理解、推薦引擎和模擬技術(shù)方面積累的技術(shù)，為創(chuàng)建人工智能助手打開了大門，可以幫助處理數(shù)十億的日?？蛻舴?wù)互動。Omniverse Replicator則是一種合成數(shù)據(jù)生成引擎，可以基于現(xiàn)有數(shù)據(jù)持續(xù)生成用于訓練的合成數(shù)據(jù)。

Omniverse的門戶是USD（通用場景描述）黃仁勛認為Omniverse的本質(zhì)是一個數(shù)字蟲洞。未來任何計算機都可以連接到Omniverse，并將一個Omniverse世界連接到另一個世界，USD之于Omniverse就像HTML（一種標記語言，可以將網(wǎng)絡(luò)上的文檔格式統(tǒng)一）基于網(wǎng)站。

黃仁勛對Omniverse頗有野心。老黃表示，人們經(jīng)常說“互聯(lián)網(wǎng)改變了一切”，在萬物互聯(lián)的當下，互聯(lián)網(wǎng)本質(zhì)上是這個世界的數(shù)字化表達，這種數(shù)字化覆蓋了所有2D層面的信息，即文本、語音、圖像、視頻。如今，隨著技術(shù)的進一步發(fā)展，3D層面的信息也在不斷涌現(xiàn)。

在黃仁勛的設(shè)想當中，未來會有很多的設(shè)計者、創(chuàng)造者在虛擬現(xiàn)實、Metaverse中設(shè)計數(shù)字事物，然后才在現(xiàn)實世界中去完成設(shè)計，包括汽車、包、鞋子等等產(chǎn)品。而此次發(fā)布的Omniverse平臺，正是擁有著創(chuàng)建全新3D世界或為物理世界建模的技術(shù)。

用一句互聯(lián)網(wǎng)黑話表示，就是所有現(xiàn)實世界中物理存在或不存在的東西，都值得在Omniverse上再做一遍。可這么看來，Omniverse不就和游戲引擎一樣了嘛，但老黃說了Omniverse是面向數(shù)據(jù)中心的規(guī)模來設(shè)計的，在未來或可能達到全球數(shù)據(jù)規(guī)模，也就是說英偉達的預期是未來的Omniverse能真的為物理世界建模。

當然，讓Omniverse中的虛擬物品與物理世界中的人進行實時交互仍存在諸多挑戰(zhàn)。黃仁勛表示：“如何使用Omniverse模擬倉庫、工廠、物理和生物系統(tǒng)、5G邊緣、機器人、自動駕駛汽車，甚至是虛擬形象的數(shù)字孿生，是一個永恒的主題。”

接下來黃仁勛展示了Omniverse Avatar結(jié)合英偉達各項技術(shù)后生產(chǎn)出來的實時應(yīng)用程序。首先是用于客戶支持的Project Tokkio，“Tokkio”是一款智能操作臺應(yīng)用程序，在視頻案例中“Tokkio”在一家快餐店服務(wù)，與兩位顧客直接對話并幫助顧客進行了點餐服務(wù)。

基于Omniverse Avatar制作的智能操作臺應(yīng)用程序Tokkio

如果將Omniverse Avatar與Drive Concierge相結(jié)合，可愛的自定義行車虛擬助手便出現(xiàn)了。

Omniverse Avatar展示的另一個例子則是老黃自己的AI化身，英偉達的員工們早就開始用老黃的聲音構(gòu)建出了一個會對話的語音合成AIToy-Me——一個玩具AI老黃。不得不說，老黃確實懂得多，玩具版的AI老黃在視頻案例中輕松回答了氣候、天文、生物三個領(lǐng)域?qū)＜业膶I(yè)問題。

黃仁勛表示：“你會看到這個虛擬形象是基于目前訓練的最大語言模型的語言處理打造，包括聲音也是用我自己的語音進行合成，還可以看到實時基于光線追蹤的精美圖像。”

實時對話AI機器人“Toy Jensen Omniverse Avatar”

老黃還將Omniverse Avatar與視頻會議平臺Maxine相結(jié)合，為虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用添加了音視頻功能。在視頻案例中，一位女士在嘈雜的咖啡廳中可以視頻會議中簡單的去除背景噪音后通話，同時，她的英文可以被實時轉(zhuǎn)化為多種語言，并生成對應(yīng)口型及語調(diào)的虛擬形象。

一個看似簡單AI數(shù)字人其實并不簡單，Omniverse Avatar能夠如此強大的原因在于其背后英偉達近年來的技術(shù)突破，老黃直稱在幾年前想要實現(xiàn)上述案例的功能幾乎不可能。如今，Omniverse Avatar的推薦引擎采用Merlin方案，該框架允許企業(yè)能夠建立處理大量數(shù)據(jù)的深度學習推薦系；感知能力則來自計算機視覺框架Metropolis；頭像動畫由Video2Face和Audio2Face（二維和三維AI驅(qū)動的面部動畫和渲染技術(shù)）驅(qū)動。

黃仁勛在演講上發(fā)布的另一項產(chǎn)品Omniverse Replicator，已產(chǎn)生了兩個用于生成合成數(shù)據(jù)的應(yīng)用——NVIDIA DRIVE Sim?、NVIDIA Isaac Sim?。它們分別是用于承載自動駕駛汽車數(shù)字孿生的虛擬世界和用于可操縱機器人數(shù)字孿生的虛擬世界。

Omniverse Replicator的優(yōu)勢在于它能在一定程度上代替真人來進行昂貴、費力的數(shù)據(jù)標記工作，同時這些虛擬世界中產(chǎn)生的數(shù)據(jù)可以涵蓋各類不同場景，包括在現(xiàn)實世界中無法經(jīng)常經(jīng)歷的場景以及極度危險的場景。它還能生成人類難以或無法標記的真值數(shù)據(jù)，如速度、深度、被遮擋的物體、惡劣的天氣條件、追蹤各傳感器上的物體移動等。當自動駕駛汽車和機器人在系列虛擬環(huán)境中得到充分訓練后，才會逐漸應(yīng)用到現(xiàn)實世界當中。

此外，黃仁勛還公布了Omniverse的另外四項功能。Showroom——一個包含演示和示例應(yīng)用程序，展示了Omniverse核心技術(shù)；Farm——一個系統(tǒng)層，用于協(xié)調(diào)跨多個系統(tǒng)、工作站、服務(wù)器和虛擬化批作業(yè)處理，可以用于批量渲染，AI合成數(shù)據(jù)生成或分布式計算；Omniverse AR——可以將將圖形串流到手機或者AR眼鏡；Omniverse VR——首款全幀交互式光線追蹤VR。英偉達對Omniverse的期待遠不止于此，英偉達還將利用Omniverse來構(gòu)建一個數(shù)字孿生模型來模擬和預測氣候變化。黃仁勛表示：“預測氣候變化，以制定減緩和適應(yīng)策略，可以說是當今社會面臨的最大挑戰(zhàn)之一。”

英偉達的上一臺超級計算機是Cambridge-1，而如今用來模擬和預測氣候變化的這臺新的超級計算機將叫做E-2（Earth Two），寓意為地球的數(shù)字孿生，它能夠在Omniverse中以數(shù)百萬倍的速度運行Modulus創(chuàng)建的AI物理模型。

在主題演講最后，黃仁勛表示人類需要在為時已晚之前采取行動緩解和適應(yīng)當今越來越頻繁的極端天氣，而“我們目前發(fā)明的所有技術(shù)，均是實現(xiàn)Earth Two所必不可少的，我想不出比這更宏偉、更重要的用途?！?/p>