SK海力士ToF技術(shù)開創(chuàng)機(jī)器人和元宇宙的未來時代

這么多年來，《星球大戰(zhàn)》系列電影一直震撼著無數(shù)觀影者的心靈：不論是絕地武士不顧險惡與邪惡勢力斗爭，亦或是抵抗組織面對壓迫時反抗的勇氣和犧牲，以及最后通過出色的戰(zhàn)略贏得勝利的過程……除此之外，電影中精彩絕倫的光劍決斗，還有R2-D2、C-3PO和BB-8等機(jī)器人的行動，都令人印象深刻。如果沒有這些機(jī)器人，《星球大戰(zhàn)》可能無法擁有一個如此驚人的結(jié)局。

機(jī)器人和元宇宙是2022年國際消費(fèi)類電子產(chǎn)品展覽會（CES，International Consumer Electronics Show）¹⁾上最熱門的話題之一。時至今日，替我們工作的非人形機(jī)器已十分常見，如送貨機(jī)器人²⁾、自動駕駛汽車、掃地機(jī)器人和空中飛行的無人機(jī)等?？紤]到CES的影響，我們可能即將迎來一個新時代：每個家庭都至少擁有一個如同《星球大戰(zhàn)》等科幻電影場景中的機(jī)器人。

另一方面，在新冠疫情期間無接觸式服務(wù)持續(xù)加速發(fā)展，因此將虛擬與現(xiàn)實(shí)融合的元宇宙服務(wù)正不斷普及，人們對此類服務(wù)的需求也呈指數(shù)級增長。許多人開始使用增強(qiáng)現(xiàn)實(shí)（AR，Augmented Reality）或虛擬現(xiàn)實(shí)（VR，Virtual Reality）³⁾技術(shù)。不久后，AR和VR設(shè)備將會像智能手機(jī)一樣，被我們隨身攜帶。這將開啟一個新時代——各類服務(wù)將隨時隨地唾手可得，這意味著我們不再需要特地造訪銀行或者制造商，更能在不進(jìn)入工廠的情況下實(shí)現(xiàn)產(chǎn)品的維護(hù)。

機(jī)器之眼（機(jī)器視覺）

在半導(dǎo)體處理和圖像信號處理（ISP，Image Signal Processing）技術(shù)的驚人進(jìn)步、價格的下降和出色的高分辨率高性能的支持下，互補(bǔ)金屬氧化物半導(dǎo)體（CMOS，Complementary Metal-Oxide Semiconductor）圖像傳感器（或CIS, CMOS Image Sensor）技術(shù)成為了智能手機(jī)等各種設(shè)備的“眼睛”。像素是決定相機(jī)性能的因素，而圍繞像素的競爭，現(xiàn)已將攝像頭技術(shù)推動至6億像素這一超越人眼的水平。

但是，高分辨率圖像是否必然適合用于機(jī)器視覺呢？對于負(fù)責(zé)安全保障的尖端機(jī)器的眼睛來說，即使是最清晰的二維（2D）圖像數(shù)據(jù)，也無法滿足它們代替人類工作時的需求。這樣的機(jī)器可能無法像R2-D2一樣，在戰(zhàn)術(shù)行動中執(zhí)行任務(wù)。但對于自動駕駛汽車和無人機(jī)來說，在高速行駛過程中，需要準(zhǔn)確識別剎車時刻；對于面部識別設(shè)備來說，需要精確掃描人臉，而不是平面圖像；對于AR設(shè)備來說，需要實(shí)時進(jìn)行大空間掃描，以實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)。這些機(jī)器都不僅需要2D的圖像數(shù)據(jù)，還需要三維（3D）的技術(shù)支撐。一臺機(jī)器可以通過超聲波或激光設(shè)備等輔助工具，在沒有攝像頭的情況下通過復(fù)雜的計算過程獲得3D數(shù)據(jù)。但是，帶有如此眾多附加部件的機(jī)器，在設(shè)計以及價格上都會被消費(fèi)者拒絕。

圖2：機(jī)器之眼的必要特征

在雙眼和大腦的配合下，人們可以立體地觀察物體并識別深度和距離。通過類似的機(jī)制，機(jī)器也可以通過三角測量法，識別多維物體并測量距離，例如立體視覺便是采用兩個攝像頭和一個處理器來達(dá)到識別效果。然而，這樣的機(jī)制也存在缺陷，如計算復(fù)雜、測量平面距離時缺乏準(zhǔn)確性，以及在相對較暗的地方準(zhǔn)確性低等，這些問題縮小了此類機(jī)制的應(yīng)用范圍。最近，飛行時間法（ToF，Time-of-Flight ）作為克服這些缺點(diǎn)的一種替代方法，已經(jīng)得到了實(shí)際應(yīng)用。ToF是一種通過計算光從物體上反射回來的時間測量距離的簡單方法。這種方法運(yùn)行起來簡易而快速，還有一個優(yōu)點(diǎn)：由于它使用獨(dú)立的光源，無論光照環(huán)境如何，都能準(zhǔn)確地測量距離。

ToF：通過測量發(fā)射光的往返時間獲取距離

立體視覺：兩個光學(xué)系統(tǒng)從相對于同一基線的兩個不同點(diǎn)觀察同一目標(biāo)

圖3：立體視覺和ToF識別物體方法的比較

飛行時間法

ToF可被分為直接ToF（d-ToF，direct ToF ）和間接ToF（i-ToF，indirect ToF）兩種類別，前者是根據(jù)光從物體上反射后返回的時間來測量距離，后者則是利用返回光的相位差來計算距離。SK海力士開發(fā)這兩種ToF技術(shù)，以便在各種產(chǎn)品中加以利用。說不定，未來的機(jī)器人會有一只眼睛使用i-ToF來識別近距離的物體，而另一只眼睛使用d-ToF來探索遠(yuǎn)處。

而本文的目的，在于闡明SK海力士的i-ToF技術(shù)。

圖4：間接ToF和直接ToF的比較分析

i-ToF方法以一個像素內(nèi)兩個以上不同存儲器中積累的電荷比例來計算與光源的相位差，并依此測量距離[1, 2]。與d-ToF相比，這種機(jī)制在測量距離方面有一定局限性，因?yàn)楫?dāng)光從遠(yuǎn)處返回時，由于強(qiáng)度減弱，可分離的信號較少。然而，與d-ToF相比，它的優(yōu)點(diǎn)則是分辨率更高，由于其電路簡單，像素可以自己分離信號，容易縮小像素。為了彌補(bǔ)i-ToF的限制，并最大限度地發(fā)揮其優(yōu)勢，大量研究現(xiàn)正已以提高信噪比（SNR， Signal to Noise Ratio）、增加紅外光源的量子效率（QE，Quantum Efficiency）或采用技術(shù)去除背景光（BGL，Background Light）為目的而展開。

目前的i-ToF像素結(jié)構(gòu)大體上可以分為柵極結(jié)構(gòu)和擴(kuò)散結(jié)構(gòu)。柵極結(jié)構(gòu)方法通過向光柵施加調(diào)制電壓⁴⁾，產(chǎn)生電勢差⁵⁾，以收集周圍電子 [2]。而擴(kuò)散結(jié)構(gòu)作為電流輔助光子解調(diào)器（CAPD，Current Assisted Photonic Demodulator），利用對基底施加調(diào)制電壓產(chǎn)生的電流來收集電子[3]。與前者相比，后者可以快速檢測到在更深區(qū)域產(chǎn)生的電子，使傳輸效率更高，但由于它使用多數(shù)載劣電流，因此需要更大的功耗[4]。此外，隨著像素變小以及高分辨率導(dǎo)致的像素數(shù)量增加，其功耗亦進(jìn)一步增大[5]。

為了最大限度地發(fā)揮CAPD的優(yōu)勢和減少其局限性，SK海力士開發(fā)了10um QVGA⁶⁾級和5um VGA級[6]像素技術(shù)，采用了一種名為VFM（Vertical Field Modulator）的新結(jié)構(gòu)。接下來，讓我們深入了解一下VFM技術(shù)及其優(yōu)勢。

VFM像素技術(shù)的優(yōu)勢

判別一個優(yōu)秀的距離測量傳感器有各種各樣標(biāo)準(zhǔn)，但首要的是，它應(yīng)能準(zhǔn)確地檢測距離，并通過較低的功耗來減少發(fā)熱問題。換句話說，一個好的傳感器必須以較高的效率和較低的功耗快速檢測信號，同時它還必須根據(jù)相位差準(zhǔn)確地分離信號。

1. SK海力士的CIS背照式（BSI，Back Side Illumination）技術(shù)和組合

與CIS一樣，背照式⁷⁾處理給ToF的設(shè)計或性能帶來了很多優(yōu)勢。用于計算飛行時間的光源為紅外線（IR，Infrared Ray），因?yàn)樗仨毷侨搜鄄豢梢姷?。而且，即使在低光環(huán)境下，它也能計算出準(zhǔn)確的距離。與可見光相比，紅外線的波長較長，這意味著如果不使用比CIS更厚的晶圓，大部分光線就會被穿透，導(dǎo)致像素中產(chǎn)生的信號水平極低。但這并不意味著厚度可以無限增長。要快速收集在較深區(qū)域產(chǎn)生的電子是很困難的，就像深海捕魚比在捕魚點(diǎn)捕魚更困難一樣。當(dāng)應(yīng)用背照式而不是前照式（FSI，F(xiàn)ront Side Illumination）⁸⁾時，信號能夠快速地被檢測到，因?yàn)楸痴帐阶尮馐占嚯x更近，其中起到釣魚線作用的電場，亦通過從相反的一面投射光而變得更強(qiáng)（圖5）。

圖5. 前照式和背照式的比較（滲透率和每個厚度的光收集）

i-ToF的性能取決于它根據(jù)電荷積聚率分離信號的能力。在這方面，前照式的傳感器可能會造成距離上的誤差，因?yàn)楣饩€經(jīng)過像素表面時，忽略相位差直接進(jìn)入檢測節(jié)點(diǎn)的可能性較大。這就好比在課堂點(diǎn)名時教室中還有其他班級的學(xué)生一樣。在前照式中，為確保更高的填充因子⁹⁾，金屬布線也有很多限制，而背照式則使金屬布線有了更廣泛的選擇，就如從地下汲水要比在茂密的森林中砍樹收集雨水更有效（圖6）。

圖6：不同照明方法的i-ToF電荷積累率（以地下汲水和砍伐茂密森林中的樹木類比）

背照式這一優(yōu)勢可以通過與SK海力士的CIS背照式技術(shù)結(jié)合來實(shí)現(xiàn)，SK海力士擁有創(chuàng)造小于1微米（千分之一毫米）的像素的技術(shù)。

2. 小透鏡陣列（SLA，Small Lens Array）& 溝槽結(jié)構(gòu)光波導(dǎo)和量子效率(QE)

根據(jù)使用電荷積累率的i-ToF機(jī)制，我們需要最大水平的信號來獲得更遠(yuǎn)距離的準(zhǔn)確距離數(shù)據(jù)。因此，紅外波長范圍¹⁰⁾ 的高QE¹¹⁾是必不可少的。
如上所述，由于紅外光源的高穿透力，其光強(qiáng)度比可見光弱，所以光收集的深度很深。一種應(yīng)對方法是有意在高處形成微透鏡結(jié)構(gòu)（根據(jù)相機(jī)鏡頭下像素的大小和數(shù)量排列的小尺寸透鏡），以實(shí)現(xiàn)更好的光收集，但由于技術(shù)限制，高度是有限的。SK海力士則采取了一種不同的方法來克服這一缺陷。通過在每個像素上放置幾個小于像素大小的鏡頭，該方法增加了光收集深度，從而增加了接收到的光線總量。

此外，SK海力士還通過在背面挖出特殊的圖案結(jié)構(gòu)，使入射光線觸達(dá)結(jié)構(gòu)并被其反射，延長了光線傳輸路徑，并將光線聚焦到調(diào)制區(qū)域，從而降低光損失率，并提高了同一光強(qiáng)度下的傳輸效率，達(dá)到一石二鳥的效果。實(shí)上，這證實(shí)了在940nm光源下，QE增加了一倍多。在更高的QE下，與以前的方法相比，它成功地將實(shí)際距離和測量距離之間的誤差降低了將近55%。

圖7：SLA（左）和溝槽結(jié)構(gòu)光波導(dǎo)（右）

3. 確保低功耗、高性能

除去光源的功耗，ToF傳感器運(yùn)作時在調(diào)制信號的電路中功耗最大。調(diào)制驅(qū)動電路的功率與流過電路板的電流成正比。換句話說，我們可以通過減少基底電流來降低功耗。另外，準(zhǔn)確和精確的距離測量需要更短的調(diào)制周期和快速的信號檢測。車輛（光子）必須通過踩油門來加速，以便快速穿過相同的距離（硅厚度），這就會消耗許多的燃料（或電流）。換一個例子說，從深井中汲水需要很大的力量來抬起滑輪。但是，如果你能用泵把地下水抽上來呢？你可以不費(fèi)吹灰之力，只需打開水龍頭，就能抽出所需的水。

VFM方法通過優(yōu)化像素離子植入的條件和結(jié)構(gòu)來增加耗盡區(qū)，使其能夠發(fā)揮類似泵的作用，并加強(qiáng)垂直電場。因此，電場的力量被加到電流上，能有效地收集電子，同時還能在電流較小的情況下實(shí)現(xiàn)快速收集，增強(qiáng)功耗實(shí)力。大量的實(shí)驗(yàn)證明，當(dāng)電流增加時，VFM像素的性能就會損耗，這意味著它是一種更適于低功率的結(jié)構(gòu)，而電流也不再是一個重要的因素。換句話說，該方法通過能夠?qū)崿F(xiàn)強(qiáng)大垂直電場的設(shè)計來控制電流，使其僅僅起到引導(dǎo)作用，進(jìn)而提高了像素的性能。5um的VGA級ToF傳感器與QVGA級ToF傳感器相比，即使像素尺寸更小、分辨率更高，每個像素的電流卻減少了，其功耗的增加也近乎為零。

圖8：作為ToF傳感器，VFM結(jié)構(gòu)具有更高效的功耗

總結(jié)

SK海力士在開發(fā)ToF技術(shù)的同時，通過提供密切的技術(shù)支持和傳感器，使各種模塊制造商進(jìn)入廣泛的應(yīng)用市場，為創(chuàng)造經(jīng)濟(jì)價值和社會價值作出貢獻(xiàn)。

未來，我們將能使用AR/VR設(shè)備環(huán)游世界，借助無人機(jī)運(yùn)送包裹，讓家庭機(jī)器人將包裹帶到我們身邊，請掃地機(jī)器人為我們清潔打掃，甚至能坐在通過面部識別發(fā)動的自動駕駛汽車中觀看新聞。我們期待這些場景都可以在SK海力士的深度解決方案技術(shù)即將開辟的新世界中得以實(shí)現(xiàn)。

腳注

¹⁾國際消費(fèi)類電子產(chǎn)品展覽會（CES，International Consumer Electronics Show）：舉辦于美國拉斯維加斯，是世界上最大的技術(shù)展會；其展出品類不僅是家用電器，更有包括機(jī)器人和移動工具在內(nèi)的所有行業(yè)的電子新技術(shù)
²⁾送貨機(jī)器人（Delivery robots）：目前作為應(yīng)用公司試點(diǎn)項目的一部分，或在一些便利店運(yùn)營
³⁾AR：增強(qiáng)現(xiàn)實(shí)（Augmented Reality）；VR：虛擬現(xiàn)實(shí)（Virtual Reality）。
⁴⁾調(diào)制電壓：切換像素節(jié)點(diǎn)以分離信號的電壓
⁵⁾電勢差：在電場中不同電位置的能量差，電荷從低能量點(diǎn)移動到高能量點(diǎn)
⁶⁾QVGA：指單個像素分辨率（320×240），而VGA是640×480
⁷⁾背照式：一種處理方法，使CIS從上到下按微透鏡-彩色濾光鏡-光電二極管-金屬的順序排列，其采集效率比使用前照式+導(dǎo)光板要高得多
⁸⁾前照式：一種處理方法，使CIS從上到下按微透鏡-彩色濾光鏡-金屬-光電二極管的順序排列
⁹⁾填充因子：傳感器中每個像素的整個區(qū)域中，激活區(qū)域（光電二極管）的比例
¹⁰⁾QE：量子效率，對入射光子和轉(zhuǎn)換電子的衡量
¹¹⁾紅外波長范圍：波長在750nm~1mm之間，ToF一般需要850nm/940nm的波長范圍

參考文獻(xiàn)

^[1]R. Lange, P. Seitz, A. Biber, and R. Schwarte, “Time-of-flight range imaging with a custom solid-state image sensor,” in Proc. SPIE, Laser Metrology and Inspection, Munich, Germany, 1999, vol. 3823.
^[2]David Stoppa et al., “A Range Image Sensor Based on 10-um Lock-In Pixels in 0.18um CMOS Imaging Technology,” IEEE J. solid-state circuit, vol. 46, no. 1, pp. 248-258, Jan. 2011.
^[3]Cyrus S. Bamji et al., “A 0.13um CMOS System-on-chip for a 512×424 Time-of-Flight Image Sensor With Multi-Frequency Photo-Demodulation up to 130MHz and 2GS/s ADC,” IEEE J. solid-state circuit, vol. 50, no. 1, pp. 303-319, Jan. 2015.
^[4]Yuich Kato et al., “320×240 Back-Illuminated 10-um CAPD Pixels for High-Speed Modulation Time-of-Flight CMOS Image Sensor,” IEEE J. Solid-State Circuits, VOL. 53, NO. 4, pp1071-1078, Apr. 2018.
^[5]L. Pancheri et al., “Current Assisted Photonic Mixing Devices Fabricated on High Resistivity Silicon,” SENSORS, IEEE, pp981-983, Oct. 2008.
^[6]Y. Ebiko et al., “Low power consumption and high resolution 1280×960 Gate Assisted Photonic Demodulator pixel for indirect Time of flight,” 2020 IEEE International Electron Devices Meeting (IEDM), 2020, pp. 33.1.1-33.1.4.
^[7]JH. Jang et al., “An Ultra-low current operating 5-μm Vertical Field Modulator Pixel for in-direct Time of Flight 3D Sensor.,” 2020 International Image Sensor Workshop (IISW), Sep. 2020.

作者:張在亨 TL(Technical Leader) of CIS AR/VR Technology Project Team at SK hynix Inc.