華科學(xué)子研發(fā)全新成像技術(shù)：以高精度看到隱秘物體，合成波長全息術(shù)打造“****眼”

墻也能變?yōu)椤扮R子”？拐角處的物體也能成像？

畢業(yè)于美國西北大學(xué)的李馮強(qiáng)博士，在幾天前與合作者在 Nature Communications 發(fā)表的論文中[1]，詳細(xì)介紹了所涉及的主要技術(shù)——合成波長全息術(shù)。

借助該技術(shù)可對拐角處成像，當(dāng)駕車穿過山口或蜿蜒曲折道路時(shí)，可通過顯示附近看不見的其他車輛或動物，來防止交通事故的發(fā)生。

這就好比汽車行走在彎道時(shí)，在墻上安裝了一面虛擬鏡子，哪怕你的視線被擋住，依然能看到其他地方來的車輛。

另外由于是主動成像，該技術(shù)可在夜晚甚至有霧情況下工作。其次，也可用做工業(yè)檢測，在無需拆卸的情況下，即可對設(shè)備內(nèi)部進(jìn)行高精度成像和檢修。

另一個(gè)應(yīng)用是醫(yī)學(xué)成像領(lǐng)域，由于該技術(shù)可對透過散射介質(zhì)成像，因此可以對皮膚下組織比如毛細(xì)血管進(jìn)行非侵入式高精度成像，甚至可以對胸腔中跳動的心臟成像。

來自于湖北荊門的李馮強(qiáng)博士，本科畢業(yè)于華中科技大學(xué)光電信息工程專業(yè)，碩士就讀于美國里海大學(xué)電子工程專業(yè)，2020 年在美國西北大學(xué)取得計(jì)算機(jī)科學(xué)的博士學(xué)位，期間主要從事計(jì)算成像方面的工作。在攻讀博士期間，李博士和萊斯大學(xué)、威斯康辛麥迪遜大學(xué)、南衛(wèi)理公會大學(xué)、阿貢國家實(shí)驗(yàn)室，以及大連海事大學(xué)的趙明博士有廣泛的合作。

李博士目前就職于蘋果公司，從事三維計(jì)算機(jī)視覺方面的算法研發(fā)工作。來到蘋果之前，他曾在谷歌 X 實(shí)驗(yàn)室和 Facebook Reality Labs 分別實(shí)習(xí)過，期間進(jìn)行機(jī)器視覺和 AR/VR 的研究工作。本次發(fā)表的論文，是他讀博期間的代表作。

他表示，該研究是對位于遮擋或者散射介質(zhì)后的物體進(jìn)行成像，也可稱為非視線成像。與之前的非視線成像技術(shù)相比，該方法能以亞毫米的精度，快速捕獲大面積的全場圖像。

之前大部分非視線成像技術(shù)是基于飛行時(shí)間傳感技術(shù) （time-of-flight），這類非視線成像需要通過振鏡掃描來捕獲全場圖像，這種基于機(jī)械掃描的方式不僅耗時(shí)，而且也限制了圖像的分辨率。

另外一些基于記憶效應(yīng) (memory effect) 的非視線成像技術(shù)，雖然擁有較小的探測區(qū)域、以及出色的空間分辨率，但是這些技術(shù)的掃描視角極小一般在 2 度以下，故此這類技術(shù)在應(yīng)用上會受到限制。

而該研究提出的非視線成像技術(shù)是基于合成波長全息術(shù) (synthetic wavelength holography)。由于光波的波長較短大約有幾百個(gè)納米，當(dāng)光波照射到粗糙的墻面的時(shí)候，會發(fā)生散射效應(yīng)，從而導(dǎo)致光波平面被破壞，也就無法得到光波所攜帶的物體結(jié)構(gòu)的信息，因?yàn)檫@些信息很難被解碼。

如果波長變長的話，波平面就會不容易被破壞，甚至可以穿透墻體成像比如聲波。從物理課中我們知道，當(dāng)兩個(gè)頻率相近但不同的聲波發(fā)生干涉時(shí)，會得到一個(gè)頻率是原先兩個(gè)聲波頻率之差的聲波，這個(gè)頻率之差的絕對值被稱為差頻 (beat frequency)。

而合成波長全息術(shù)正是基于這一想法，通過兩束頻率相近的激光光束，來得到一個(gè)頻率低和波長較長的（cm）的光波，這樣即可實(shí)現(xiàn)把墻面變“鏡面”，從而對拐角處的物體成像，以及穿透散射介質(zhì)后的對物體進(jìn)行成像。

在非視線成像中，基于合成波長全息術(shù)可使用更小的探測區(qū)域、更大的角度視場、以及更高的空間分辨率。同時(shí)在成像系統(tǒng)中，使用焦平面陣列相機(jī)還可避免之前研究中的機(jī)械掃描，從而獲得更高的時(shí)間分辨率，這樣就能具備對移動目標(biāo)的成像能力。

盡管這項(xiàng)工作目前還處于研究階段，但其具有很多潛在的應(yīng)用。我們知道在平常拍照時(shí)，相機(jī)只能記錄暴露在相機(jī)視場的物體信息而無法記錄被物體遮擋的信息。而非視線成像正是打破這一限制。

舉例來說，通過門縫可以看到房間里的信息，這是因?yàn)楣饩€存在彎折。如果用傳統(tǒng)相機(jī)拍照的話，則無法通過門縫看到房里面的信息，這時(shí)就可借助該技術(shù)通過門縫也能看到房間內(nèi)所有物體的信息。

另外以汽車預(yù)警導(dǎo)航為例，汽車駕駛在彎道時(shí)通常會放置一個(gè)曲面鏡。這樣就可看到對面方向來的車，從而避免交通事故。非視線成像的實(shí)現(xiàn)起到類似的作用，假設(shè)車輛行走在道路蜿蜒時(shí)看不到前方的車，借助拐角成像，就可在拐角處看到平常用相機(jī)拍不到的信息，進(jìn)而看到彎道后面的車輛信息，最終實(shí)現(xiàn)避免交通事故的發(fā)生。

再比如說，通過一面墻看到墻拐角的物體地方，我們可以把墻面理解成一個(gè)散射介質(zhì)，這時(shí)使用傳統(tǒng)相機(jī)無法透過墻面這一散射介質(zhì)看到拐角信息。但是，因?yàn)樵撗芯繋淼暮铣刹ㄩL足夠長，墻面帶來散射影響并不是很大，所以墻面就能變成一個(gè)反射鏡。

對于透射介質(zhì)來說，比如通過皮膚看皮下組織信息時(shí)，我們可以把皮膚看作是一個(gè)遮擋物，它會阻礙相機(jī)對皮下組織的成像，但是該研究提出的合成波由于波長足夠長，使其可穿過遮擋物對皮下組織進(jìn)行成像。

據(jù)介紹，這項(xiàng)研究由李博士的同事弗洛里安·威洛米策（Florian Willomitzer）博士領(lǐng)導(dǎo)，李博士作為共同作者參與了整個(gè)項(xiàng)目的研發(fā)，包括項(xiàng)目論證以及理論分析，實(shí)驗(yàn)平臺搭建以及實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果分析和討論，重建算法開發(fā)等，其博士導(dǎo)師西北大學(xué)計(jì)算機(jī)科學(xué)副教授奧利弗·科薩特（Oliver Cossairt）則負(fù)責(zé)指導(dǎo)該研究。

這項(xiàng)研究的靈感，來自該團(tuán)隊(duì)在飛行時(shí)間三維成像技術(shù)的工作。之前，該團(tuán)隊(duì)通過使用合成光波實(shí)現(xiàn)了對大尺度的物體高精度的三維掃描，相關(guān)論文發(fā)表在 IEEE International Conference on Computational Photography （ICCP）2018和 IEEE Transactions on Pattern Analysis and Machine Intelligence 2021。李博士作為第一作者和通訊作者領(lǐng)導(dǎo)了這兩項(xiàng)工作。

與此同時(shí)由于是計(jì)算成像，該研究涉及到各種交叉學(xué)科，包含物理建模，光學(xué)設(shè)計(jì)，電子器件的耦合控制，數(shù)據(jù)的采集及處理，以及圖形處理和重建及優(yōu)化算法開發(fā)。

在本次研究中，該團(tuán)隊(duì)先是跟南衛(wèi)理公會大學(xué)幾位合作者進(jìn)行了理論分析，接著進(jìn)行仿真模擬實(shí)驗(yàn)，模擬在不同的粗糙墻面單波長和合成波長的反射以及散射效應(yīng)，并且開發(fā)了二維和三維重建算法。

通過模擬實(shí)驗(yàn)，該團(tuán)隊(duì)更深一步地理解了在整個(gè)成像過程中的物理效應(yīng)和原理。最后，李博士等人進(jìn)行實(shí)際實(shí)驗(yàn)論證、搭建實(shí)驗(yàn)平臺、開發(fā)實(shí)驗(yàn)采集、數(shù)據(jù)處理以及重建算法，并在不同的非視線成像情況 包括拐角處以及散射介質(zhì)后，對物體進(jìn)行成像。

相比于之前的研究，該團(tuán)隊(duì)提出了一種全新的非視線成像的解決方案，審稿人也給出了積極評價(jià)，對于研究結(jié)果也很興奮。

據(jù)李博士介紹，他們在研究中也遇到了一些困難。他表示在實(shí)驗(yàn)驗(yàn)證時(shí)碰到和解決各種工程問題，很多問題在模擬仿真中并未被注意到。

比如，實(shí)驗(yàn)平臺搭好以后發(fā)現(xiàn)得到的合成波長全息圖非常的弱，排查了所有硬件和處理算法后，發(fā)現(xiàn)是參考光和物光的強(qiáng)度不匹配，通過調(diào)整參考光的強(qiáng)度，他們最終順利得到了預(yù)想中的合成波長全息圖。

對于該研究的后續(xù)工作，據(jù)李博士介紹，該團(tuán)隊(duì)計(jì)劃在圖像采集速度，成像質(zhì)量，圖像處理上進(jìn)一步提高。同時(shí)在系統(tǒng)集成上，該團(tuán)隊(duì)也希望使整體系統(tǒng)更加小型和輕便化。

-End-

參考：

1.Willomitzer, F., Rangarajan, P.V., Li, F. et al. Fast non-line-of-sight imaging with high-resolution and wide field of view using synthetic wavelength holography. Nat Commun12, 6647 (2021). https://doi.org/10.1038/s41467-021-26776-w