SK海力士ToF技術(shù)開(kāi)創(chuàng)機(jī)器人和元宇宙的未來(lái)時(shí)代

這么多年來(lái)，《星球大戰(zhàn)》系列電影一直震撼著無(wú)數(shù)觀影者的心靈：不論是絕地武士不顧險(xiǎn)惡與邪惡勢(shì)力斗爭(zhēng)，亦或是抵抗組織面對(duì)壓迫時(shí)反抗的勇氣和犧牲，以及最后通過(guò)出色的戰(zhàn)略贏得勝利的過(guò)程……除此之外，電影中精彩絕倫的光劍決斗，還有R2-D2、C-3PO和BB-8等機(jī)器人的行動(dòng)，都令人印象深刻。如果沒(méi)有這些機(jī)器人，《星球大戰(zhàn)》可能無(wú)法擁有一個(gè)如此驚人的結(jié)局。

機(jī)器人和元宇宙是2022年國(guó)際消費(fèi)類電子產(chǎn)品展覽會(huì)（CES，International Consumer Electronics Show）¹⁾上最熱門(mén)的話題之一。時(shí)至今日，替我們工作的非人形機(jī)器已十分常見(jiàn)，如送貨機(jī)器人²⁾、自動(dòng)駕駛汽車(chē)、掃地機(jī)器人和空中飛行的無(wú)人機(jī)等?？紤]到CES的影響，我們可能即將迎來(lái)一個(gè)新時(shí)代：每個(gè)家庭都至少擁有一個(gè)如同《星球大戰(zhàn)》等科幻電影場(chǎng)景中的機(jī)器人。

另一方面，在新冠疫情期間無(wú)接觸式服務(wù)持續(xù)加速發(fā)展，因此將虛擬與現(xiàn)實(shí)融合的元宇宙服務(wù)正不斷普及，人們對(duì)此類服務(wù)的需求也呈指數(shù)級(jí)增長(zhǎng)。許多人開(kāi)始使用增強(qiáng)現(xiàn)實(shí)（AR，Augmented Reality）或虛擬現(xiàn)實(shí)（VR，Virtual Reality）³⁾技術(shù)。不久后，AR和VR設(shè)備將會(huì)像智能手機(jī)一樣，被我們隨身攜帶。這將開(kāi)啟一個(gè)新時(shí)代——各類服務(wù)將隨時(shí)隨地唾手可得，這意味著我們不再需要特地造訪銀行或者制造商，更能在不進(jìn)入工廠的情況下實(shí)現(xiàn)產(chǎn)品的維護(hù)。

機(jī)器之眼（機(jī)器視覺(jué)）

在半導(dǎo)體處理和圖像信號(hào)處理（ISP，Image Signal Processing）技術(shù)的驚人進(jìn)步、價(jià)格的下降和出色的高分辨率高性能的支持下，互補(bǔ)金屬氧化物半導(dǎo)體（CMOS，Complementary Metal-Oxide Semiconductor）圖像傳感器（或CIS, CMOS Image Sensor）技術(shù)成為了智能手機(jī)等各種設(shè)備的“眼睛”。像素是決定相機(jī)性能的因素，而圍繞像素的競(jìng)爭(zhēng)，現(xiàn)已將攝像頭技術(shù)推動(dòng)至6億像素這一超越人眼的水平。

但是，高分辨率圖像是否必然適合用于機(jī)器視覺(jué)呢？對(duì)于負(fù)責(zé)安全保障的尖端機(jī)器的眼睛來(lái)說(shuō)，即使是最清晰的二維（2D）圖像數(shù)據(jù)，也無(wú)法滿足它們代替人類工作時(shí)的需求。這樣的機(jī)器可能無(wú)法像R2-D2一樣，在戰(zhàn)術(shù)行動(dòng)中執(zhí)行任務(wù)。但對(duì)于自動(dòng)駕駛汽車(chē)和無(wú)人機(jī)來(lái)說(shuō)，在高速行駛過(guò)程中，需要準(zhǔn)確識(shí)別剎車(chē)時(shí)刻；對(duì)于面部識(shí)別設(shè)備來(lái)說(shuō)，需要精確掃描人臉，而不是平面圖像；對(duì)于AR設(shè)備來(lái)說(shuō)，需要實(shí)時(shí)進(jìn)行大空間掃描，以實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)。這些機(jī)器都不僅需要2D的圖像數(shù)據(jù)，還需要三維（3D）的技術(shù)支撐。一臺(tái)機(jī)器可以通過(guò)超聲波或激光設(shè)備等輔助工具，在沒(méi)有攝像頭的情況下通過(guò)復(fù)雜的計(jì)算過(guò)程獲得3D數(shù)據(jù)。但是，帶有如此眾多附加部件的機(jī)器，在設(shè)計(jì)以及價(jià)格上都會(huì)被消費(fèi)者拒絕。

圖2：機(jī)器之眼的必要特征

在雙眼和大腦的配合下，人們可以立體地觀察物體并識(shí)別深度和距離。通過(guò)類似的機(jī)制，機(jī)器也可以通過(guò)三角測(cè)量法，識(shí)別多維物體并測(cè)量距離，例如立體視覺(jué)便是采用兩個(gè)攝像頭和一個(gè)處理器來(lái)達(dá)到識(shí)別效果。然而，這樣的機(jī)制也存在缺陷，如計(jì)算復(fù)雜、測(cè)量平面距離時(shí)缺乏準(zhǔn)確性，以及在相對(duì)較暗的地方準(zhǔn)確性低等，這些問(wèn)題縮小了此類機(jī)制的應(yīng)用范圍。最近，飛行時(shí)間法（ToF，Time-of-Flight ）作為克服這些缺點(diǎn)的一種替代方法，已經(jīng)得到了實(shí)際應(yīng)用。ToF是一種通過(guò)計(jì)算光從物體上反射回來(lái)的時(shí)間測(cè)量距離的簡(jiǎn)單方法。這種方法運(yùn)行起來(lái)簡(jiǎn)易而快速，還有一個(gè)優(yōu)點(diǎn)：由于它使用獨(dú)立的光源，無(wú)論光照環(huán)境如何，都能準(zhǔn)確地測(cè)量距離。

ToF：通過(guò)測(cè)量發(fā)射光的往返時(shí)間獲取距離

立體視覺(jué)：兩個(gè)光學(xué)系統(tǒng)從相對(duì)于同一基線的兩個(gè)不同點(diǎn)觀察同一目標(biāo)

圖3：立體視覺(jué)和ToF識(shí)別物體方法的比較

飛行時(shí)間法

ToF可被分為直接ToF（d-ToF，direct ToF ）和間接ToF（i-ToF，indirect ToF）兩種類別，前者是根據(jù)光從物體上反射后返回的時(shí)間來(lái)測(cè)量距離，后者則是利用返回光的相位差來(lái)計(jì)算距離。SK海力士開(kāi)發(fā)這兩種ToF技術(shù)，以便在各種產(chǎn)品中加以利用。說(shuō)不定，未來(lái)的機(jī)器人會(huì)有一只眼睛使用i-ToF來(lái)識(shí)別近距離的物體，而另一只眼睛使用d-ToF來(lái)探索遠(yuǎn)處。

而本文的目的，在于闡明SK海力士的i-ToF技術(shù)。

圖4：間接ToF和直接ToF的比較分析

i-ToF方法以一個(gè)像素內(nèi)兩個(gè)以上不同存儲(chǔ)器中積累的電荷比例來(lái)計(jì)算與光源的相位差，并依此測(cè)量距離[1, 2]。與d-ToF相比，這種機(jī)制在測(cè)量距離方面有一定局限性，因?yàn)楫?dāng)光從遠(yuǎn)處返回時(shí)，由于強(qiáng)度減弱，可分離的信號(hào)較少。然而，與d-ToF相比，它的優(yōu)點(diǎn)則是分辨率更高，由于其電路簡(jiǎn)單，像素可以自己分離信號(hào)，容易縮小像素。為了彌補(bǔ)i-ToF的限制，并最大限度地發(fā)揮其優(yōu)勢(shì)，大量研究現(xiàn)正已以提高信噪比（SNR， Signal to Noise Ratio）、增加紅外光源的量子效率（QE，Quantum Efficiency）或采用技術(shù)去除背景光（BGL，Background Light）為目的而展開(kāi)。

目前的i-ToF像素結(jié)構(gòu)大體上可以分為柵極結(jié)構(gòu)和擴(kuò)散結(jié)構(gòu)。柵極結(jié)構(gòu)方法通過(guò)向光柵施加調(diào)制電壓⁴⁾，產(chǎn)生電勢(shì)差⁵⁾，以收集周?chē)娮?[2]。而擴(kuò)散結(jié)構(gòu)作為電流輔助光子解調(diào)器（CAPD，Current Assisted Photonic Demodulator），利用對(duì)基底施加調(diào)制電壓產(chǎn)生的電流來(lái)收集電子[3]。與前者相比，后者可以快速檢測(cè)到在更深區(qū)域產(chǎn)生的電子，使傳輸效率更高，但由于它使用多數(shù)載劣電流，因此需要更大的功耗[4]。此外，隨著像素變小以及高分辨率導(dǎo)致的像素?cái)?shù)量增加，其功耗亦進(jìn)一步增大[5]。

為了最大限度地發(fā)揮CAPD的優(yōu)勢(shì)和減少其局限性，SK海力士開(kāi)發(fā)了10um QVGA⁶⁾級(jí)和5um VGA級(jí)[6]像素技術(shù)，采用了一種名為VFM（Vertical Field Modulator）的新結(jié)構(gòu)。接下來(lái)，讓我們深入了解一下VFM技術(shù)及其優(yōu)勢(shì)。

VFM像素技術(shù)的優(yōu)勢(shì)

判別一個(gè)優(yōu)秀的距離測(cè)量傳感器有各種各樣標(biāo)準(zhǔn)，但首要的是，它應(yīng)能準(zhǔn)確地檢測(cè)距離，并通過(guò)較低的功耗來(lái)減少發(fā)熱問(wèn)題。換句話說(shuō)，一個(gè)好的傳感器必須以較高的效率和較低的功耗快速檢測(cè)信號(hào)，同時(shí)它還必須根據(jù)相位差準(zhǔn)確地分離信號(hào)。

1. SK海力士的CIS背照式（BSI，Back Side Illumination）技術(shù)和組合

與CIS一樣，背照式⁷⁾處理給ToF的設(shè)計(jì)或性能帶來(lái)了很多優(yōu)勢(shì)。用于計(jì)算飛行時(shí)間的光源為紅外線（IR，Infrared Ray），因?yàn)樗仨毷侨搜鄄豢梢?jiàn)的。而且，即使在低光環(huán)境下，它也能計(jì)算出準(zhǔn)確的距離。與可見(jiàn)光相比，紅外線的波長(zhǎng)較長(zhǎng)，這意味著如果不使用比CIS更厚的晶圓，大部分光線就會(huì)被穿透，導(dǎo)致像素中產(chǎn)生的信號(hào)水平極低。但這并不意味著厚度可以無(wú)限增長(zhǎng)。要快速收集在較深區(qū)域產(chǎn)生的電子是很困難的，就像深海捕魚(yú)比在捕魚(yú)點(diǎn)捕魚(yú)更困難一樣。當(dāng)應(yīng)用背照式而不是前照式（FSI，F(xiàn)ront Side Illumination）⁸⁾時(shí)，信號(hào)能夠快速地被檢測(cè)到，因?yàn)楸痴帐阶尮馐占嚯x更近，其中起到釣魚(yú)線作用的電場(chǎng)，亦通過(guò)從相反的一面投射光而變得更強(qiáng)（圖5）。

圖5. 前照式和背照式的比較（滲透率和每個(gè)厚度的光收集）

i-ToF的性能取決于它根據(jù)電荷積聚率分離信號(hào)的能力。在這方面，前照式的傳感器可能會(huì)造成距離上的誤差，因?yàn)楣饩€經(jīng)過(guò)像素表面時(shí)，忽略相位差直接進(jìn)入檢測(cè)節(jié)點(diǎn)的可能性較大。這就好比在課堂點(diǎn)名時(shí)教室中還有其他班級(jí)的學(xué)生一樣。在前照式中，為確保更高的填充因子⁹⁾，金屬布線也有很多限制，而背照式則使金屬布線有了更廣泛的選擇，就如從地下汲水要比在茂密的森林中砍樹(shù)收集雨水更有效（圖6）。

圖6：不同照明方法的i-ToF電荷積累率（以地下汲水和砍伐茂密森林中的樹(shù)木類比）

背照式這一優(yōu)勢(shì)可以通過(guò)與SK海力士的CIS背照式技術(shù)結(jié)合來(lái)實(shí)現(xiàn)，SK海力士擁有創(chuàng)造小于1微米（千分之一毫米）的像素的技術(shù)。

2. 小透鏡陣列（SLA，Small Lens Array）& 溝槽結(jié)構(gòu)光波導(dǎo)和量子效率(QE)

根據(jù)使用電荷積累率的i-ToF機(jī)制，我們需要最大水平的信號(hào)來(lái)獲得更遠(yuǎn)距離的準(zhǔn)確距離數(shù)據(jù)。因此，紅外波長(zhǎng)范圍¹⁰⁾ 的高QE¹¹⁾是必不可少的。
如上所述，由于紅外光源的高穿透力，其光強(qiáng)度比可見(jiàn)光弱，所以光收集的深度很深。一種應(yīng)對(duì)方法是有意在高處形成微透鏡結(jié)構(gòu)（根據(jù)相機(jī)鏡頭下像素的大小和數(shù)量排列的小尺寸透鏡），以實(shí)現(xiàn)更好的光收集，但由于技術(shù)限制，高度是有限的。SK海力士則采取了一種不同的方法來(lái)克服這一缺陷。通過(guò)在每個(gè)像素上放置幾個(gè)小于像素大小的鏡頭，該方法增加了光收集深度，從而增加了接收到的光線總量。

此外，SK海力士還通過(guò)在背面挖出特殊的圖案結(jié)構(gòu)，使入射光線觸達(dá)結(jié)構(gòu)并被其反射，延長(zhǎng)了光線傳輸路徑，并將光線聚焦到調(diào)制區(qū)域，從而降低光損失率，并提高了同一光強(qiáng)度下的傳輸效率，達(dá)到一石二鳥(niǎo)的效果。實(shí)上，這證實(shí)了在940nm光源下，QE增加了一倍多。在更高的QE下，與以前的方法相比，它成功地將實(shí)際距離和測(cè)量距離之間的誤差降低了將近55%。

圖7：SLA（左）和溝槽結(jié)構(gòu)光波導(dǎo)（右）

3. 確保低功耗、高性能

除去光源的功耗，ToF傳感器運(yùn)作時(shí)在調(diào)制信號(hào)的電路中功耗最大。調(diào)制驅(qū)動(dòng)電路的功率與流過(guò)電路板的電流成正比。換句話說(shuō)，我們可以通過(guò)減少基底電流來(lái)降低功耗。另外，準(zhǔn)確和精確的距離測(cè)量需要更短的調(diào)制周期和快速的信號(hào)檢測(cè)。車(chē)輛（光子）必須通過(guò)踩油門(mén)來(lái)加速，以便快速穿過(guò)相同的距離（硅厚度），這就會(huì)消耗許多的燃料（或電流）。換一個(gè)例子說(shuō)，從深井中汲水需要很大的力量來(lái)抬起滑輪。但是，如果你能用泵把地下水抽上來(lái)呢？你可以不費(fèi)吹灰之力，只需打開(kāi)水龍頭，就能抽出所需的水。

VFM方法通過(guò)優(yōu)化像素離子植入的條件和結(jié)構(gòu)來(lái)增加耗盡區(qū)，使其能夠發(fā)揮類似泵的作用，并加強(qiáng)垂直電場(chǎng)。因此，電場(chǎng)的力量被加到電流上，能有效地收集電子，同時(shí)還能在電流較小的情況下實(shí)現(xiàn)快速收集，增強(qiáng)功耗實(shí)力。大量的實(shí)驗(yàn)證明，當(dāng)電流增加時(shí)，VFM像素的性能就會(huì)損耗，這意味著它是一種更適于低功率的結(jié)構(gòu)，而電流也不再是一個(gè)重要的因素。換句話說(shuō)，該方法通過(guò)能夠?qū)崿F(xiàn)強(qiáng)大垂直電場(chǎng)的設(shè)計(jì)來(lái)控制電流，使其僅僅起到引導(dǎo)作用，進(jìn)而提高了像素的性能。5um的VGA級(jí)ToF傳感器與QVGA級(jí)ToF傳感器相比，即使像素尺寸更小、分辨率更高，每個(gè)像素的電流卻減少了，其功耗的增加也近乎為零。

圖8：作為T(mén)oF傳感器，VFM結(jié)構(gòu)具有更高效的功耗

總結(jié)

SK海力士在開(kāi)發(fā)ToF技術(shù)的同時(shí)，通過(guò)提供密切的技術(shù)支持和傳感器，使各種模塊制造商進(jìn)入廣泛的應(yīng)用市場(chǎng)，為創(chuàng)造經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值作出貢獻(xiàn)。

未來(lái)，我們將能使用AR/VR設(shè)備環(huán)游世界，借助無(wú)人機(jī)運(yùn)送包裹，讓家庭機(jī)器人將包裹帶到我們身邊，請(qǐng)掃地機(jī)器人為我們清潔打掃，甚至能坐在通過(guò)面部識(shí)別發(fā)動(dòng)的自動(dòng)駕駛汽車(chē)中觀看新聞。我們期待這些場(chǎng)景都可以在SK海力士的深度解決方案技術(shù)即將開(kāi)辟的新世界中得以實(shí)現(xiàn)。

腳注

¹⁾國(guó)際消費(fèi)類電子產(chǎn)品展覽會(huì)（CES，International Consumer Electronics Show）：舉辦于美國(guó)拉斯維加斯，是世界上最大的技術(shù)展會(huì)；其展出品類不僅是家用電器，更有包括機(jī)器人和移動(dòng)工具在內(nèi)的所有行業(yè)的電子新技術(shù)
²⁾送貨機(jī)器人（Delivery robots）：目前作為應(yīng)用公司試點(diǎn)項(xiàng)目的一部分，或在一些便利店運(yùn)營(yíng)
³⁾AR：增強(qiáng)現(xiàn)實(shí)（Augmented Reality）；VR：虛擬現(xiàn)實(shí)（Virtual Reality）。
⁴⁾調(diào)制電壓：切換像素節(jié)點(diǎn)以分離信號(hào)的電壓
⁵⁾電勢(shì)差：在電場(chǎng)中不同電位置的能量差，電荷從低能量點(diǎn)移動(dòng)到高能量點(diǎn)
⁶⁾QVGA：指單個(gè)像素分辨率（320×240），而VGA是640×480
⁷⁾背照式：一種處理方法，使CIS從上到下按微透鏡-彩色濾光鏡-光電二極管-金屬的順序排列，其采集效率比使用前照式+導(dǎo)光板要高得多
⁸⁾前照式：一種處理方法，使CIS從上到下按微透鏡-彩色濾光鏡-金屬-光電二極管的順序排列
⁹⁾填充因子：傳感器中每個(gè)像素的整個(gè)區(qū)域中，激活區(qū)域（光電二極管）的比例
¹⁰⁾QE：量子效率，對(duì)入射光子和轉(zhuǎn)換電子的衡量
¹¹⁾紅外波長(zhǎng)范圍：波長(zhǎng)在750nm~1mm之間，ToF一般需要850nm/940nm的波長(zhǎng)范圍

參考文獻(xiàn)

^[1]R. Lange, P. Seitz, A. Biber, and R. Schwarte, “Time-of-flight range imaging with a custom solid-state image sensor,” in Proc. SPIE, Laser Metrology and Inspection, Munich, Germany, 1999, vol. 3823.
^[2]David Stoppa et al., “A Range Image Sensor Based on 10-um Lock-In Pixels in 0.18um CMOS Imaging Technology,” IEEE J. solid-state circuit, vol. 46, no. 1, pp. 248-258, Jan. 2011.
^[3]Cyrus S. Bamji et al., “A 0.13um CMOS System-on-chip for a 512×424 Time-of-Flight Image Sensor With Multi-Frequency Photo-Demodulation up to 130MHz and 2GS/s ADC,” IEEE J. solid-state circuit, vol. 50, no. 1, pp. 303-319, Jan. 2015.
^[4]Yuich Kato et al., “320×240 Back-Illuminated 10-um CAPD Pixels for High-Speed Modulation Time-of-Flight CMOS Image Sensor,” IEEE J. Solid-State Circuits, VOL. 53, NO. 4, pp1071-1078, Apr. 2018.
^[5]L. Pancheri et al., “Current Assisted Photonic Mixing Devices Fabricated on High Resistivity Silicon,” SENSORS, IEEE, pp981-983, Oct. 2008.
^[6]Y. Ebiko et al., “Low power consumption and high resolution 1280×960 Gate Assisted Photonic Demodulator pixel for indirect Time of flight,” 2020 IEEE International Electron Devices Meeting (IEDM), 2020, pp. 33.1.1-33.1.4.
^[7]JH. Jang et al., “An Ultra-low current operating 5-μm Vertical Field Modulator Pixel for in-direct Time of Flight 3D Sensor.,” 2020 International Image Sensor Workshop (IISW), Sep. 2020.

作者:張?jiān)诤?nbsp;TL(Technical Leader) of CIS AR/VR Technology Project Team at SK hynix Inc.