新款 InFo 封裝 UltraScale+ 器件實現(xiàn)緊湊型工業(yè)攝像頭

采用InFo封裝的新款賽靈思Zynq UltraScale+ MPSoC以緊湊型外形尺寸和高計算密度，實現(xiàn)包括定制圖像處理、應(yīng)用專用加速和AI加速，以及工業(yè)級生命周期、可靠性、安全性在內(nèi)的全系列工業(yè)性能。

概要

工業(yè)市場和醫(yī)療市場上的各類視覺應(yīng)用要求攝像頭尺寸、速度、智能度和功耗水平做進一步改進。工業(yè)市場還對安全性、擴展溫度性能和生命周期提出額外的要求。本白皮書將探討機器視覺、工廠自動化和機器人技術(shù)等應(yīng)用中的部分此類要求。

賽靈思新款I(lǐng)nFO封裝Zynq UltraScale+ MPSoC可提供更優(yōu)秀的單位功耗性能，為緊湊型外形尺寸攝像頭提供智能、分辨率和速度，超越以往1080p乃至720p分辨率和30fps的限制。這些新產(chǎn)品可實現(xiàn)包括定制圖像處理、應(yīng)用專用加速和AI加速以及工業(yè)級生命周期、可靠性、安全性在內(nèi)的全系列工業(yè)性能。

介紹

工業(yè)攝像頭制造商一直都面臨著設(shè)計出更小產(chǎn)品尺寸的挑戰(zhàn)。與消費類攝像頭解決方案不同，機器視覺攝像頭，尤其是工廠自動化攝像頭，必須符合嚴格的成套標準和要求。這些要求主要包括為實現(xiàn)高速生產(chǎn)、高速響應(yīng)的低光性能與高幀率要求、對透鏡和傳感器的優(yōu)異光學品質(zhì)要求，以及工業(yè)應(yīng)用通行的抗水性要求和其他特定的長期可靠性要求。此外，機器視覺系統(tǒng)也經(jīng)常支持復(fù)雜的工業(yè)通信標準，如時間敏感網(wǎng)絡(luò) (TSN)、GigE Vision 和 CoaXPress 等。

機器視覺攝像頭要求

機器視覺攝像頭應(yīng)用常要求使用比消費類應(yīng)用更大、性能更高的組件。例如，圖像傳感器的大小而非像素分辨率，直接與攝像頭采集的光量成正比，因此更大的傳感器通?？商峁└鼉?yōu)異的圖像質(zhì)量。然而，高分辨率傳感器也會產(chǎn)生更精細的圖像，要求更高的幀率，才能加快圖像采集速度，進而加快生產(chǎn)線或機器人的運作的速度。這樣的速度更快的高分辨率傳感器產(chǎn)生高像素數(shù)據(jù)速率，進一步增加了圖像處理流水線的圖像處理工作負載。參見圖 1。

圖1 賽靈思 SmartCamera + 演示平臺

除了感測、處理和優(yōu)化圖像，攝像頭還必須支持機器視覺攝像頭常用的高速接口，如 GigE Vision、USB3 Vision、CoaXPress、Camera Link 和 Camera Link HS 等。也必須在帶寬、線纜長度、成本和復(fù)雜性之間進行權(quán)衡取舍。參見圖 2。

圖2 攝像頭接口標準

與普通消費類產(chǎn)品相比，工業(yè)攝像頭也必須符合更嚴格的安全性和可靠性標準。例如，大多數(shù)工業(yè)攝像頭都：

●   提供至少三年質(zhì)保（不過一般能工作更長時間）

●   能在擴展溫度范圍下工作（通常 -40 到 +85°C）

●   通過多家工業(yè)標準機構(gòu)的認證，如 ISO、TUV、RoHS 和 CE 等。

此外，工業(yè)攝像頭用戶也越來越多地提出功能安全和網(wǎng)絡(luò)安全要求，尤其是在這些攝像頭構(gòu)成復(fù)雜網(wǎng)絡(luò)系統(tǒng)的一部分且有人員在系統(tǒng)中工作的時候。

攝像頭的光學器件，即透鏡系統(tǒng)，也對攝像頭的大小有著重大影響。類似于傳感器，較大的透鏡一般能為攝像頭系統(tǒng)采集更多的光。采用更高品質(zhì)的透鏡材料和更復(fù)雜的光學設(shè)計也能起到這樣的作用。選擇透鏡時需要考慮的其他因素有光圈要求、焦距、具體的透鏡安裝兼容性、關(guān)注的波長以及與選擇的圖像傳感器的匹配度。

這些要求與普通消費類移動電話攝像頭差別很大。例如，許多消費者都傾向于每兩年更換一次手機，因此使用壽命顯著縮短。為將成本控制在手機總物料清單 (BOM) 的可接受百分比內(nèi)，成本嚴格受限。盡管智能手機的發(fā)展終結(jié)了上世紀 90 年代對最小手機的角逐，但我們?nèi)匀幻媾R著繼續(xù)保持手機攝像頭（傳感器和光學器件）輕薄的壓力。

除了成本、尺寸和使用壽命，消費類攝像頭的其他要求也不同于工業(yè)攝像頭。最重要的是能夠獲取“高畫質(zhì)”圖像，至少對普通的手機用戶是這種情況。非常有趣的是，這是一個“情人眼里出西施”的領(lǐng)域，因為人眼對構(gòu)成高畫質(zhì)的因素有特定的偏倚。例如，讓攝像頭準確地捕獲色彩更好，還是讓用戶的自拍照好看更好？(1)參見表 1。

1.網(wǎng)絡(luò)研討會：打破標準 ISP 的界限：賽靈思推出自定義 ISP

表1 典型工業(yè)攝像頭要求

工業(yè)攝像頭技術(shù)的新趨勢

攝像頭在工廠中的典型使用模式是機器視覺攝像頭，負責檢查在自動化生產(chǎn)線上通過的產(chǎn)品。不過如今的工廠對性能、速度、安全與保障提出了更高的要求?，F(xiàn)代工業(yè)攝像頭必須在不增大尺寸、功耗或成本的情況下滿足所有這些功能。機器學習 (ML) 的使用也在愈加廣泛，攝像頭必須能夠部署經(jīng)過訓練的機器學習模型，從而比人工更快、更準確地自動分類、檢測或細分對象的特性。攝像頭檢查食品飲料，幫助機器人選取和疊放包裝箱，確保正確地為藥物貼上標簽，在廢棄物管理設(shè)施內(nèi)為循環(huán)再利用物料分類。參見圖3。

圖3 YantraVision 開發(fā)的棉花污染分類系統(tǒng)

機器視覺攝像頭也正被逐漸用于工廠外的用途。工業(yè)攝像頭是包裹快遞、酒店服務(wù)、倉儲管理、建筑、農(nóng)業(yè)、清潔和大量其他應(yīng)用使用的自主移動機器人 (AMR) 的主要實現(xiàn)技術(shù)。參見圖 4。毋庸置疑，AMR 作為移動系統(tǒng)，對低功耗和尺寸有嚴格的要求。即使在工廠內(nèi)，機器視覺攝像頭也必須和機器人與工作人員協(xié)同運行，才能限制尺寸和功耗。

圖4 VineScout 葡萄園監(jiān)測機器人¹

最近的一些創(chuàng)新

類似于消費類攝像頭，機器視覺攝像頭的分辨率也在不斷提升。索尼的高端機器視覺圖像傳感器現(xiàn)在分辨率達到 2,500 萬和 3,100 萬像素。佳能正在推出一款 2.5 億像素的工業(yè)圖像傳感器。在傳感器的類型和采集的光數(shù)據(jù)方面，其他創(chuàng)新也在涌現(xiàn)。常規(guī)攝像頭采用硅基 CMOS 技術(shù)，用紅、綠、藍 (RGB) 像素為可見光成像提供優(yōu)化。但是在許多應(yīng)用中，其他類型的傳感器能提供更優(yōu)異、更強大的功能。偏振傳感器能“看穿”水和倒影。短波紅外 (SWIR) 傳感器能檢測和透視特定材料，熱傳感器能采集溫度數(shù)據(jù)而非可見光數(shù)據(jù)。另外，鑒于 Covid-19 帶來的篩查要求，溫度測量應(yīng)用近期備受關(guān)注。參見圖5。

圖 5 可見光與 SWIR 檢查的對比（來源：索尼半導體解決方案集團）

如今對攝像頭的要求遠不止只是將傳感器數(shù)據(jù)處理成可見或可用的圖像。機器學習正被越來越多地用于創(chuàng)建智能工廠和 AI 系統(tǒng)。它們經(jīng)過快速訓練后，能夠判斷產(chǎn)品是否符合質(zhì)量標準。或者經(jīng)過再次訓練后，能裝配新設(shè)計的產(chǎn)品。盡管網(wǎng)絡(luò)攝像頭肯定可以使用云基資源存儲和分析圖像，圍繞帶寬、安全和時延方面的現(xiàn)實考慮要求在邊緣完成圖像處理和機器學習，例如在智能 AI 攝像頭中。

這不僅需要創(chuàng)新攝像頭傳感器，也需要創(chuàng)新圖像處理流水線。標準的圖像信號處理器 (ISP) 通常針對常規(guī)的 RGB CMOS 傳感器進行優(yōu)化，尤其是為大批量應(yīng)用進行優(yōu)化，比如消費類手機、無人機、平板電腦等。工業(yè)應(yīng)用，正如前文介紹的，代表大量與此不同的用例和技術(shù)，雖然存在特定的標準（如 MIPI、GigE Vision 和 PCI Express? 等接口標準等），但攝像頭的要求可能大相徑庭。

InFO 封裝中的 Zynq UltraScale+ MPSoC

像 MPSoC 這樣的自適應(yīng)計算器件盡管通?？商峁┕I(yè)攝像頭開發(fā)人員贊賞的計算性能和靈活性，但在過去一般采用尺寸較大，有數(shù)百個引腳的封裝。例如，在他們的初始版本中，Zynq UltraScale+ ZU2CG/EG 和 ZU3CG/EG MPSoC 的最小封裝尺寸是 484 引腳、腳距 0.8mm 的 19x19mm 倒裝芯片球柵陣列 (BGA)。

圖 6 InFO 封裝的 Zynq UltraScale+ 器件

ZU2CG/EG 和 ZU3CG/EG MPSoC 現(xiàn)在采用尺寸顯著縮小的封裝。賽靈思正在借助臺積電 (TSMC) 的集成扇出型 (InFO) 封裝技術(shù)，在不減少 I/O 或影響性能的前提下，大幅縮小封裝尺寸到 9.5x16mm。InFO 封裝消除了傳統(tǒng)芯片規(guī)模封裝 (CSP) 的襯底，實現(xiàn)更小更薄的高密度互聯(lián)封裝。

在 InFO 封裝中，Zynq MPSoC 占用不到一半的電路板空間，而且厚度也顯著降低，從 2.41mm 下降到0.644mm。鑒于工業(yè)應(yīng)用要求的某些新外形尺寸，所有尺寸（長、寬、高）都至關(guān)重要。ZU2CG/EG 和ZU3CG/EG 的 InFO 封裝版本比最初版本尺寸縮小 60%，厚度降低 70%。

類似 InFO 這樣的高 DPR（芯片面積與封裝面積之比）封裝要求縮小球間距，因而需要印刷電路板 (PCB)提供兼容能力。對于使用 InFO 的設(shè)計而言，行業(yè)通行做法是采用邊緣粘結(jié)的高密度互聯(lián) (HDI) PCB 或圍繞封裝的板級底部填充。提供的優(yōu)勢極為顯著。InFO 在小外形尺寸封裝中提供最優(yōu)秀的熱性能，同時通過節(jié)省面積和實現(xiàn)出色的計算密度，降低產(chǎn)品的總成本。

此外，賽靈思新提供的 ZU1 選項可進一步縮小封裝尺寸并降低功耗。另外，ZU1 也為現(xiàn)有的 ZU2CG/EG和 ZU3CG/EG 器件帶來了可移植的封裝選項。這意味著設(shè)計師既可選擇最最大的可擴展性（非 InFO 封裝的當前 ZU2CG/EG 和 ZU3CG/EG 設(shè)計），又可選擇最小的尺寸。參見表 2。

表2 器件資源信息

作為緊湊型工業(yè)產(chǎn)品中 InFO 封裝的 Zynq MPSoC 的示例，加拿大里士滿的 Lucid Vision Labs 提供一種稱為 Triton Edge 的工業(yè)機器視覺攝像頭。為了滿足 29x44x45mm 的尺寸要求，Lucid 的攝像頭需要最小巧、最高效的組件。Lucid 的工程師已經(jīng)設(shè)計出一種創(chuàng)新型的柔性-剛性板件架構(gòu)，能將大量的組件封裝在緊湊的 IP67 攝像頭外殼中。參見圖 7。

圖 7 InFO 封裝的 Triton Edge 攝像頭

Triton Edge 的柔性-剛性板件設(shè)計，結(jié)合賽靈思 Zynq MPSoC inFO 封裝，讓 Lucid 能夠提供更豐富的攝像頭控制與定制化，同時保持攝像頭輕便小巧的外形尺寸。OEM 廠商不必依靠攝像頭制造商的 SDK，也無需在主機 PC 上開發(fā)和運行代碼，通過創(chuàng)建含 AI 推斷在內(nèi)的定制 FPGA 圖像處理流水線，就能在攝像頭上開發(fā)自己的 IP。

除了緊湊型攝像頭，Zynq MPSoC InFO 封裝也理想適用于任何同時需要自適應(yīng)計算能力和小巧尺寸的應(yīng)用。這其中包括便攜式醫(yī)療設(shè)備、手持測試設(shè)備、軍用雷達等。

結(jié)論

賽靈思 Zynq UltraScale+ MPSoC 向多種視覺、醫(yī)療和工業(yè)系統(tǒng)的設(shè)備制造商提供出類拔萃的處理和加速性能。采用臺積電 InFO 封裝微型化 Zynq MPSoC，能進一步幫助工業(yè)攝像頭制造商拓寬定制圖像處理、AI 加速和其他自適應(yīng)功能的應(yīng)用面，讓它們進入最小巧的攝像頭和其他緊湊型工業(yè)產(chǎn)品。

鳴謝

以下賽靈思員工是本文作者或為本白皮書提供過寶貴意見：工業(yè)視覺領(lǐng)域市場營銷經(jīng)理 Susan Cheng。

修訂歷史

下表列出了本文檔的修訂歷史。