交大教授盛斌：元宇宙熱潮下，應(yīng)更關(guān)注研究應(yīng)用轉(zhuǎn)化模式突破

“現(xiàn)在國內(nèi)外各界熱烈討論虛擬現(xiàn)實及元宇宙等概念是好事，也是推動相關(guān)學(xué)科進(jìn)步的催化劑，但作為科學(xué)研究來說，我認(rèn)為最重要的可能不在于某個技術(shù)或算法的本身本身的進(jìn)步，而是相關(guān)技術(shù)對傳統(tǒng)科學(xué)研究思維范式的突破，對于既往人類生活、運動、及健康管理方式的改變?！鄙虾＝煌ù髮W(xué)計算機(jī)科學(xué)與工程系教授盛斌接受澎湃新聞（www.thepapewr.cn）專訪時表示。盛斌為國家“萬人計劃”青年拔尖人才獲得者、教育部人工智能重點實驗室及上海人工智能研究院智慧醫(yī)療技術(shù)負(fù)責(zé)人，在人工智能及虛擬現(xiàn)實（Virtual Reality，VR）領(lǐng)域均有所研究。盛斌課題組基于上海交通大學(xué)附屬第六人民醫(yī)院賈偉平院士領(lǐng)銜構(gòu)建的全球最大規(guī)模社區(qū)糖尿病眼底影像數(shù)據(jù)庫，構(gòu)建了糖尿病視網(wǎng)膜病變?nèi)〕讨悄茉\斷系統(tǒng)——DeepDR系統(tǒng)，實現(xiàn)對糖尿病視網(wǎng)膜病變從輕度到增殖期病變的全病程自動診斷，并能對眼底圖像的質(zhì)量進(jìn)行實時反饋以及眼底病變的識別分割。論文被《Nature》子刊《Nature Communications》遴選為亮點論文(Editors’Highlights)，被認(rèn)為是近來國際學(xué)術(shù)界“在轉(zhuǎn)化及臨床研究領(lǐng)域中取得的最重要技術(shù)創(chuàng)新和研究成果之一”。

在虛擬現(xiàn)實領(lǐng)域，從2019年盛斌團(tuán)隊深度參與由上海體育學(xué)院牽頭的科技部“科技冬奧”攻關(guān)項目中，為中國備戰(zhàn)2022北京冬奧會的運動員構(gòu)建基于虛擬現(xiàn)實的雪車仿真訓(xùn)練平臺。由于雪車滑道造價高昂，技術(shù)要求極高，目前全世界極少數(shù)國家分布著17條雪車滑道，相關(guān)場地資源的極度需求極大困擾中國運動員備戰(zhàn)比賽。例如由于沒有合適的賽道支持，2017年的首屆中國雪車錦標(biāo)賽都是在加拿大卡爾加里舉行的。

“在上海體育學(xué)院王然教授和高炳宏教授的大力支持和幫助下，我們曾多次征求中國國家隊領(lǐng)隊、教練和運動員的意見與反饋，其目的就是希望直面困擾中國冰雪運動大規(guī)模普及在技術(shù)上的卡脖子挑戰(zhàn)，進(jìn)而在根本上通過科技力量推動中國冰雪運動水平提升。在科技冬奧項目支持下，我們通過真實感圖形建模與渲染，冰雪滑行中的物理仿真、以及高沉浸式的虛擬現(xiàn)實交互，將虛擬環(huán)境下的雪車運動訓(xùn)練轉(zhuǎn)變?yōu)榫哂懈咚礁偧俭w驗效果的虛擬仿真輔助教學(xué)與訓(xùn)練系統(tǒng)，而不是游戲?！笔⒈蟊硎尽?/p>

“冰雪運動不應(yīng)該僅僅屬于谷愛凌”，盛斌笑著說，“虛擬現(xiàn)實技術(shù)可以讓更多中國青少年體驗到冰雪運動帶來的快樂。”2019年起盛斌帶隊研發(fā)的冰雪運動虛擬仿真系統(tǒng)及其教學(xué)應(yīng)用被上海市教委遴選為上海市虛擬仿真教學(xué)項目及上海交通大學(xué)校級一流課程。

2022年1月，在北京冬奧會召開前夕，由上海體育學(xué)院王繼紅副校長牽頭，上海交通大學(xué)、寶山區(qū)教育局及上海人工智能研究院等產(chǎn)學(xué)研用單位聯(lián)合，在教育部支持下組建“智能體育教育部應(yīng)用實踐共同體”，其中的一項任務(wù)就是依托盛斌團(tuán)隊研制的冰雪運動虛擬仿真系統(tǒng)，將其推廣到上海市寶山區(qū)各個中小學(xué)的體育教學(xué)和科技體驗中，幫助更多上海青少年了解并熱愛冰雪運動。盛斌說道，“相當(dāng)于在他內(nèi)心里留下一點點火苗?！?/p>

“我們國家曾長期在冬奧會上的競技表現(xiàn)不突出，究其原因，首先固然是沒有足夠的冰雪地理資源，其二是我們對青少年的冰雪運動的知識普及工作存在短板?！笔⒈蟊硎?。不僅在中國如此，事實上除了舉辦過冬季奧運會的國家之外幾乎沒有多少國家會建設(shè)這種高投入低產(chǎn)出的專業(yè)滑道——大型滑雪場還可以在比賽之后轉(zhuǎn)成民用休閑設(shè)施，純粹專業(yè)化的賽道實在難有除訓(xùn)練比賽之外的后續(xù)利用的價值。而且雪車運動速度一般可達(dá)130公里每小時，世界紀(jì)錄已經(jīng)突破200公里每小時，有“雪上F1”之稱，出于安全考慮也對參與者有很高專業(yè)性要求。

對此，盛斌認(rèn)為，“不管是鋼架雪車、滑雪，還是速滑，這些運動員之所以成功背后固然有其身體條件及興趣愛好等因素。但中國人口眾多，擁有豐富的身體素質(zhì)適合冰雪運動的運動人才資源，但受到地理氣候原因限制，并非所有這些人都能很容易在啟蒙階段就能實地接觸到冰雪運動，大量的冰雪天才也許就此埋沒，那么，上海交通大學(xué)和上海體育學(xué)院聯(lián)合研制的虛擬現(xiàn)實環(huán)境中冰雪運動仿真系統(tǒng)，也許能最大程度地幫助中國冰雪運動未來的人才儲備，幫助他們邁出冰雪人生的第一步。”

盛斌同時也結(jié)合當(dāng)下炙熱的“元宇宙”概念，進(jìn)一步闡釋了冰雪運動虛擬仿真系統(tǒng)背后的技術(shù)背景，“我們的冰雪運動虛擬仿真系統(tǒng)可以看成是關(guān)于冰雪運動教學(xué)的元宇宙應(yīng)用，而元宇宙可以看成是虛擬現(xiàn)實環(huán)境里人類網(wǎng)絡(luò)化生活的表達(dá)形式。虛擬現(xiàn)實中所謂虛擬，就是指采用以計算機(jī)技術(shù)為核心，結(jié)合相關(guān)科學(xué)領(lǐng)域，生成虛擬的數(shù)字化環(huán)境，提供人們視覺、聽覺、觸覺、空間信息以及其他感知；而所謂現(xiàn)實，就是指這樣的數(shù)字化虛擬環(huán)境及其提供給人們的各類感知信息，能讓人沉浸其中，產(chǎn)生真實感。”

VR初成熟：眩暈還未完全解決

5G乃至后5G時代，支持VR大規(guī)模發(fā)展的基礎(chǔ)硬件如芯片、傳感器、光學(xué)元件、顯示屏等皆已具備成熟發(fā)展條件。使用VR等設(shè)備作為接口的元宇宙概念股公司Roblox在2021年3月上市后市值就達(dá)500億美元，后字節(jié)跳動收購國內(nèi)第一家VR廠商Pico又一次引起廣泛關(guān)注。此外，歌爾集團(tuán)從2012年開始布局VR/AR產(chǎn)業(yè)，目前占據(jù)全球中高端虛擬現(xiàn)實頭顯70%的市場份額，并率先引進(jìn)世界領(lǐng)先的12英寸納米壓印生產(chǎn)線，打造全球領(lǐng)先的VR/AR高端光學(xué)零組件產(chǎn)業(yè)基地。

據(jù)IDC在2021年11月發(fā)布的報告預(yù)測，VR頭戴設(shè)備的出貨量將從2020年的約500萬臺增加到2025年的超過2800萬臺。Meta（原Facebook）CEO扎克伯格曾表示，在一個平臺上需要有約1000萬人使用和購買VR內(nèi)容才能使開發(fā)人員持續(xù)研發(fā)以及獲利；而一旦超過這個門檻，內(nèi)容和生態(tài)系統(tǒng)將會實現(xiàn)跨越式發(fā)展。

在虛擬現(xiàn)實的國內(nèi)學(xué)術(shù)生態(tài)建設(shè)上，由中國學(xué)術(shù)界自主創(chuàng)辦的虛擬現(xiàn)實領(lǐng)域國際期刊Virtual Reality & Intelligent Hardware（VRIH）創(chuàng)刊不到三年，即于今年1月底被世界上最廣泛，最完整的工程文獻(xiàn)數(shù)據(jù)庫EI Compendex收錄，并即將于今年10月與虛擬現(xiàn)實及圖形學(xué)領(lǐng)域里歷史最悠久的知名國際學(xué)術(shù)會議Computer Graphics International（CGI2022）聯(lián)袂組織”元宇宙”專輯，作為VRIH期刊編委，盛斌認(rèn)為，上述事件均側(cè)面證明了中國虛擬現(xiàn)實學(xué)術(shù)及產(chǎn)業(yè)成果在國際具有日益重要的影響力。

在設(shè)計冰雪運動虛擬仿真系統(tǒng)過程中，盛斌體會其中最微妙的地方在于跨越固有知識領(lǐng)域限制，針對一項完全沒有過任何前期經(jīng)驗的運動開展真實感建模與仿真，并致力于用虛擬現(xiàn)實與人工智能技術(shù)將別人對這個活動的真實體驗和感受最大程度地還原與再現(xiàn)出來?！斑@其實就是元宇宙的魅力之一，要真正做好這件事，除了對于建模、渲染或交互技術(shù)一個個難題的攻關(guān)之外，很重要的地方也在于把其他學(xué)科，如運動生理學(xué)、一些設(shè)備器材在冰上運動規(guī)律等，融會在系統(tǒng)開發(fā)過程中?！?/p>

賽迪研究院發(fā)布的《虛擬現(xiàn)實產(chǎn)業(yè)發(fā)展白皮書2021》顯示，當(dāng)前虛擬現(xiàn)實產(chǎn)業(yè)眩暈、交互等關(guān)鍵核心技術(shù)上尚未突破，VR、AR、MR等終端設(shè)備的佩戴舒適度和視覺舒適度與舒適體驗還有差距。

對于眩暈感，盛斌解釋道，“本質(zhì)上來說，暈眩實際上來自大腦處理‘不夠真實的信息’時帶來的不適感。如視覺感知上帶來的不真實感，畫面閃爍、分辨率很低，或光影效果不太正常，都會帶來不適?，F(xiàn)在有很多處理眩暈的技術(shù)，但目前這個問題我覺得并沒有被完全攻克。這也是為什么現(xiàn)在很多說元宇宙，但實際體驗上還是會卡在設(shè)備?！?/p>

“終極顯示”：未來人類數(shù)字化社會的虛擬現(xiàn)實窗口-元宇宙

早在1965年，計算機(jī)圖形學(xué)之父伊萬·薩瑟蘭曾發(fā)表一篇題為《終極顯示》（The Ultimate Display）的短文，提出顯示技術(shù)的終極目標(biāo)就是使人直接沉浸在計算機(jī)控制的虛擬環(huán)境之中，就如同日常生活在真實世界一樣。“當(dāng)時對這種顯示技術(shù)終極狀態(tài)的預(yù)期還是Windows系統(tǒng)的窗口，人可以走進(jìn)Windows里，就像愛麗絲夢游仙境一樣然可以運動，可以聽可以看可以摸可以聞?！笔⒈笳f道。

這樣的“終極顯示”思想延續(xù)到了今天就有了“下一代通用計算平臺”的說法。2016年高盛發(fā)布報告《VR與AR：解讀下一個通用計算平臺》（AR增強(qiáng)現(xiàn)實，Augmented Reality）。2022年2月，國泰君安發(fā)布報告《MR：通向元宇宙的下一代通用計算平臺》（MR混合現(xiàn)實，Mixed Reality）。盛斌透露，他目前正在與上海交通大學(xué)講席教授賈偉平院士團(tuán)隊密切合作攻關(guān)，與來自體育科學(xué)、臨床醫(yī)學(xué)、心理學(xué)及腦科學(xué)的多學(xué)科專家團(tuán)隊協(xié)同開展科研攻關(guān)，研制面向未來生活中人民健康智能精細(xì)化管理的“靈境”系統(tǒng)，希望通過人工智能和虛擬現(xiàn)實去回答當(dāng)前困擾科學(xué)界多年的難題：真實世界體育鍛煉與虛擬世界(元宇宙)VR運動各自對于人類身心健康有何影響。

盛斌認(rèn)為這些努力的背后蘊(yùn)含著他所堅持的科研信念，“如果我們最后跟機(jī)器的溝通通過AR、VR或MR這樣的方式，那么通過綜合運用多學(xué)科交叉知識，基于大數(shù)據(jù)和高性能通用計算平臺，虛擬仿真與人工智能完全可實現(xiàn)對真實世界與人體狀態(tài)變化規(guī)律的模擬與預(yù)測。”