新款 InFo 封裝 UltraScale+ 器件實(shí)現(xiàn)緊湊型工業(yè)攝像頭

采用InFo封裝的新款賽靈思Zynq UltraScale+ MPSoC以緊湊型外形尺寸和高計(jì)算密度，實(shí)現(xiàn)包括定制圖像處理、應(yīng)用專用加速和AI加速，以及工業(yè)級(jí)生命周期、可靠性、安全性在內(nèi)的全系列工業(yè)性能。

概要

工業(yè)市場(chǎng)和醫(yī)療市場(chǎng)上的各類視覺應(yīng)用要求攝像頭尺寸、速度、智能度和功耗水平做進(jìn)一步改進(jìn)。工業(yè)市場(chǎng)還對(duì)安全性、擴(kuò)展溫度性能和生命周期提出額外的要求。本白皮書將探討機(jī)器視覺、工廠自動(dòng)化和機(jī)器人技術(shù)等應(yīng)用中的部分此類要求。

賽靈思新款I(lǐng)nFO封裝Zynq UltraScale+ MPSoC可提供更優(yōu)秀的單位功耗性能，為緊湊型外形尺寸攝像頭提供智能、分辨率和速度，超越以往1080p乃至720p分辨率和30fps的限制。這些新產(chǎn)品可實(shí)現(xiàn)包括定制圖像處理、應(yīng)用專用加速和AI加速以及工業(yè)級(jí)生命周期、可靠性、安全性在內(nèi)的全系列工業(yè)性能。

介紹

工業(yè)攝像頭制造商一直都面臨著設(shè)計(jì)出更小產(chǎn)品尺寸的挑戰(zhàn)。與消費(fèi)類攝像頭解決方案不同，機(jī)器視覺攝像頭，尤其是工廠自動(dòng)化攝像頭，必須符合嚴(yán)格的成套標(biāo)準(zhǔn)和要求。這些要求主要包括為實(shí)現(xiàn)高速生產(chǎn)、高速響應(yīng)的低光性能與高幀率要求、對(duì)透鏡和傳感器的優(yōu)異光學(xué)品質(zhì)要求，以及工業(yè)應(yīng)用通行的抗水性要求和其他特定的長(zhǎng)期可靠性要求。此外，機(jī)器視覺系統(tǒng)也經(jīng)常支持復(fù)雜的工業(yè)通信標(biāo)準(zhǔn)，如時(shí)間敏感網(wǎng)絡(luò) (TSN)、GigE Vision 和 CoaXPress 等。

機(jī)器視覺攝像頭要求

機(jī)器視覺攝像頭應(yīng)用常要求使用比消費(fèi)類應(yīng)用更大、性能更高的組件。例如，圖像傳感器的大小而非像素分辨率，直接與攝像頭采集的光量成正比，因此更大的傳感器通?？商峁└鼉?yōu)異的圖像質(zhì)量。然而，高分辨率傳感器也會(huì)產(chǎn)生更精細(xì)的圖像，要求更高的幀率，才能加快圖像采集速度，進(jìn)而加快生產(chǎn)線或機(jī)器人的運(yùn)作的速度。這樣的速度更快的高分辨率傳感器產(chǎn)生高像素?cái)?shù)據(jù)速率，進(jìn)一步增加了圖像處理流水線的圖像處理工作負(fù)載。參見圖 1。

圖1 賽靈思 SmartCamera + 演示平臺(tái)

除了感測(cè)、處理和優(yōu)化圖像，攝像頭還必須支持機(jī)器視覺攝像頭常用的高速接口，如 GigE Vision、USB3 Vision、CoaXPress、Camera Link 和 Camera Link HS 等。也必須在帶寬、線纜長(zhǎng)度、成本和復(fù)雜性之間進(jìn)行權(quán)衡取舍。參見圖 2。

圖2 攝像頭接口標(biāo)準(zhǔn)

與普通消費(fèi)類產(chǎn)品相比，工業(yè)攝像頭也必須符合更嚴(yán)格的安全性和可靠性標(biāo)準(zhǔn)。例如，大多數(shù)工業(yè)攝像頭都：

●   提供至少三年質(zhì)保（不過一般能工作更長(zhǎng)時(shí)間）

●   能在擴(kuò)展溫度范圍下工作（通常 -40 到 +85°C）

●   通過多家工業(yè)標(biāo)準(zhǔn)機(jī)構(gòu)的認(rèn)證，如 ISO、TUV、RoHS 和 CE 等。

此外，工業(yè)攝像頭用戶也越來越多地提出功能安全和網(wǎng)絡(luò)安全要求，尤其是在這些攝像頭構(gòu)成復(fù)雜網(wǎng)絡(luò)系統(tǒng)的一部分且有人員在系統(tǒng)中工作的時(shí)候。

攝像頭的光學(xué)器件，即透鏡系統(tǒng)，也對(duì)攝像頭的大小有著重大影響。類似于傳感器，較大的透鏡一般能為攝像頭系統(tǒng)采集更多的光。采用更高品質(zhì)的透鏡材料和更復(fù)雜的光學(xué)設(shè)計(jì)也能起到這樣的作用。選擇透鏡時(shí)需要考慮的其他因素有光圈要求、焦距、具體的透鏡安裝兼容性、關(guān)注的波長(zhǎng)以及與選擇的圖像傳感器的匹配度。

這些要求與普通消費(fèi)類移動(dòng)電話攝像頭差別很大。例如，許多消費(fèi)者都傾向于每?jī)赡旮鼡Q一次手機(jī)，因此使用壽命顯著縮短。為將成本控制在手機(jī)總物料清單 (BOM) 的可接受百分比內(nèi)，成本嚴(yán)格受限。盡管智能手機(jī)的發(fā)展終結(jié)了上世紀(jì) 90 年代對(duì)最小手機(jī)的角逐，但我們?nèi)匀幻媾R著繼續(xù)保持手機(jī)攝像頭（傳感器和光學(xué)器件）輕薄的壓力。

除了成本、尺寸和使用壽命，消費(fèi)類攝像頭的其他要求也不同于工業(yè)攝像頭。最重要的是能夠獲取“高畫質(zhì)”圖像，至少對(duì)普通的手機(jī)用戶是這種情況。非常有趣的是，這是一個(gè)“情人眼里出西施”的領(lǐng)域，因?yàn)槿搜蹖?duì)構(gòu)成高畫質(zhì)的因素有特定的偏倚。例如，讓攝像頭準(zhǔn)確地捕獲色彩更好，還是讓用戶的自拍照好看更好？(1)參見表 1。

1.網(wǎng)絡(luò)研討會(huì)：打破標(biāo)準(zhǔn) ISP 的界限：賽靈思推出自定義 ISP

表1 典型工業(yè)攝像頭要求

工業(yè)攝像頭技術(shù)的新趨勢(shì)

攝像頭在工廠中的典型使用模式是機(jī)器視覺攝像頭，負(fù)責(zé)檢查在自動(dòng)化生產(chǎn)線上通過的產(chǎn)品。不過如今的工廠對(duì)性能、速度、安全與保障提出了更高的要求。現(xiàn)代工業(yè)攝像頭必須在不增大尺寸、功耗或成本的情況下滿足所有這些功能。機(jī)器學(xué)習(xí) (ML) 的使用也在愈加廣泛，攝像頭必須能夠部署經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型，從而比人工更快、更準(zhǔn)確地自動(dòng)分類、檢測(cè)或細(xì)分對(duì)象的特性。攝像頭檢查食品飲料，幫助機(jī)器人選取和疊放包裝箱，確保正確地為藥物貼上標(biāo)簽，在廢棄物管理設(shè)施內(nèi)為循環(huán)再利用物料分類。參見圖3。

圖3 YantraVision 開發(fā)的棉花污染分類系統(tǒng)

機(jī)器視覺攝像頭也正被逐漸用于工廠外的用途。工業(yè)攝像頭是包裹快遞、酒店服務(wù)、倉儲(chǔ)管理、建筑、農(nóng)業(yè)、清潔和大量其他應(yīng)用使用的自主移動(dòng)機(jī)器人 (AMR) 的主要實(shí)現(xiàn)技術(shù)。參見圖 4。毋庸置疑，AMR 作為移動(dòng)系統(tǒng)，對(duì)低功耗和尺寸有嚴(yán)格的要求。即使在工廠內(nèi)，機(jī)器視覺攝像頭也必須和機(jī)器人與工作人員協(xié)同運(yùn)行，才能限制尺寸和功耗。

圖4 VineScout 葡萄園監(jiān)測(cè)機(jī)器人¹

最近的一些創(chuàng)新

類似于消費(fèi)類攝像頭，機(jī)器視覺攝像頭的分辨率也在不斷提升。索尼的高端機(jī)器視覺圖像傳感器現(xiàn)在分辨率達(dá)到 2,500 萬和 3,100 萬像素。佳能正在推出一款 2.5 億像素的工業(yè)圖像傳感器。在傳感器的類型和采集的光數(shù)據(jù)方面，其他創(chuàng)新也在涌現(xiàn)。常規(guī)攝像頭采用硅基 CMOS 技術(shù)，用紅、綠、藍(lán) (RGB) 像素為可見光成像提供優(yōu)化。但是在許多應(yīng)用中，其他類型的傳感器能提供更優(yōu)異、更強(qiáng)大的功能。偏振傳感器能“看穿”水和倒影。短波紅外 (SWIR) 傳感器能檢測(cè)和透視特定材料，熱傳感器能采集溫度數(shù)據(jù)而非可見光數(shù)據(jù)。另外，鑒于 Covid-19 帶來的篩查要求，溫度測(cè)量應(yīng)用近期備受關(guān)注。參見圖5。

圖 5 可見光與 SWIR 檢查的對(duì)比（來源：索尼半導(dǎo)體解決方案集團(tuán)）

如今對(duì)攝像頭的要求遠(yuǎn)不止只是將傳感器數(shù)據(jù)處理成可見或可用的圖像。機(jī)器學(xué)習(xí)正被越來越多地用于創(chuàng)建智能工廠和 AI 系統(tǒng)。它們經(jīng)過快速訓(xùn)練后，能夠判斷產(chǎn)品是否符合質(zhì)量標(biāo)準(zhǔn)?；蛘呓?jīng)過再次訓(xùn)練后，能裝配新設(shè)計(jì)的產(chǎn)品。盡管網(wǎng)絡(luò)攝像頭肯定可以使用云基資源存儲(chǔ)和分析圖像，圍繞帶寬、安全和時(shí)延方面的現(xiàn)實(shí)考慮要求在邊緣完成圖像處理和機(jī)器學(xué)習(xí)，例如在智能 AI 攝像頭中。

這不僅需要?jiǎng)?chuàng)新攝像頭傳感器，也需要?jiǎng)?chuàng)新圖像處理流水線。標(biāo)準(zhǔn)的圖像信號(hào)處理器 (ISP) 通常針對(duì)常規(guī)的 RGB CMOS 傳感器進(jìn)行優(yōu)化，尤其是為大批量應(yīng)用進(jìn)行優(yōu)化，比如消費(fèi)類手機(jī)、無人機(jī)、平板電腦等。工業(yè)應(yīng)用，正如前文介紹的，代表大量與此不同的用例和技術(shù)，雖然存在特定的標(biāo)準(zhǔn)（如 MIPI、GigE Vision 和 PCI Express? 等接口標(biāo)準(zhǔn)等），但攝像頭的要求可能大相徑庭。

InFO 封裝中的 Zynq UltraScale+ MPSoC

像 MPSoC 這樣的自適應(yīng)計(jì)算器件盡管通?？商峁┕I(yè)攝像頭開發(fā)人員贊賞的計(jì)算性能和靈活性，但在過去一般采用尺寸較大，有數(shù)百個(gè)引腳的封裝。例如，在他們的初始版本中，Zynq UltraScale+ ZU2CG/EG 和 ZU3CG/EG MPSoC 的最小封裝尺寸是 484 引腳、腳距 0.8mm 的 19x19mm 倒裝芯片球柵陣列 (BGA)。

圖 6 InFO 封裝的 Zynq UltraScale+ 器件

ZU2CG/EG 和 ZU3CG/EG MPSoC 現(xiàn)在采用尺寸顯著縮小的封裝。賽靈思正在借助臺(tái)積電 (TSMC) 的集成扇出型 (InFO) 封裝技術(shù)，在不減少 I/O 或影響性能的前提下，大幅縮小封裝尺寸到 9.5x16mm。InFO 封裝消除了傳統(tǒng)芯片規(guī)模封裝 (CSP) 的襯底，實(shí)現(xiàn)更小更薄的高密度互聯(lián)封裝。

在 InFO 封裝中，Zynq MPSoC 占用不到一半的電路板空間，而且厚度也顯著降低，從 2.41mm 下降到0.644mm。鑒于工業(yè)應(yīng)用要求的某些新外形尺寸，所有尺寸（長(zhǎng)、寬、高）都至關(guān)重要。ZU2CG/EG 和ZU3CG/EG 的 InFO 封裝版本比最初版本尺寸縮小 60%，厚度降低 70%。

類似 InFO 這樣的高 DPR（芯片面積與封裝面積之比）封裝要求縮小球間距，因而需要印刷電路板 (PCB)提供兼容能力。對(duì)于使用 InFO 的設(shè)計(jì)而言，行業(yè)通行做法是采用邊緣粘結(jié)的高密度互聯(lián) (HDI) PCB 或圍繞封裝的板級(jí)底部填充。提供的優(yōu)勢(shì)極為顯著。InFO 在小外形尺寸封裝中提供最優(yōu)秀的熱性能，同時(shí)通過節(jié)省面積和實(shí)現(xiàn)出色的計(jì)算密度，降低產(chǎn)品的總成本。

此外，賽靈思新提供的 ZU1 選項(xiàng)可進(jìn)一步縮小封裝尺寸并降低功耗。另外，ZU1 也為現(xiàn)有的 ZU2CG/EG和 ZU3CG/EG 器件帶來了可移植的封裝選項(xiàng)。這意味著設(shè)計(jì)師既可選擇最最大的可擴(kuò)展性（非 InFO 封裝的當(dāng)前 ZU2CG/EG 和 ZU3CG/EG 設(shè)計(jì)），又可選擇最小的尺寸。參見表 2。

表2 器件資源信息

作為緊湊型工業(yè)產(chǎn)品中 InFO 封裝的 Zynq MPSoC 的示例，加拿大里士滿的 Lucid Vision Labs 提供一種稱為 Triton Edge 的工業(yè)機(jī)器視覺攝像頭。為了滿足 29x44x45mm 的尺寸要求，Lucid 的攝像頭需要最小巧、最高效的組件。Lucid 的工程師已經(jīng)設(shè)計(jì)出一種創(chuàng)新型的柔性-剛性板件架構(gòu)，能將大量的組件封裝在緊湊的 IP67 攝像頭外殼中。參見圖 7。

圖 7 InFO 封裝的 Triton Edge 攝像頭

Triton Edge 的柔性-剛性板件設(shè)計(jì)，結(jié)合賽靈思 Zynq MPSoC inFO 封裝，讓 Lucid 能夠提供更豐富的攝像頭控制與定制化，同時(shí)保持?jǐn)z像頭輕便小巧的外形尺寸。OEM 廠商不必依靠攝像頭制造商的 SDK，也無需在主機(jī) PC 上開發(fā)和運(yùn)行代碼，通過創(chuàng)建含 AI 推斷在內(nèi)的定制 FPGA 圖像處理流水線，就能在攝像頭上開發(fā)自己的 IP。

除了緊湊型攝像頭，Zynq MPSoC InFO 封裝也理想適用于任何同時(shí)需要自適應(yīng)計(jì)算能力和小巧尺寸的應(yīng)用。這其中包括便攜式醫(yī)療設(shè)備、手持測(cè)試設(shè)備、軍用雷達(dá)等。

結(jié)論

賽靈思 Zynq UltraScale+ MPSoC 向多種視覺、醫(yī)療和工業(yè)系統(tǒng)的設(shè)備制造商提供出類拔萃的處理和加速性能。采用臺(tái)積電 InFO 封裝微型化 Zynq MPSoC，能進(jìn)一步幫助工業(yè)攝像頭制造商拓寬定制圖像處理、AI 加速和其他自適應(yīng)功能的應(yīng)用面，讓它們進(jìn)入最小巧的攝像頭和其他緊湊型工業(yè)產(chǎn)品。

鳴謝

以下賽靈思員工是本文作者或?yàn)楸景灼峁┻^寶貴意見：工業(yè)視覺領(lǐng)域市場(chǎng)營(yíng)銷經(jīng)理 Susan Cheng。

修訂歷史

下表列出了本文檔的修訂歷史。