工業(yè)機器視覺-為智能制造提供堅實助力

隨著工業(yè)自動化和智能化的發(fā)展及持續(xù)推進(jìn)和變革，機器視覺技術(shù)日益成熟，被廣泛應(yīng)用在工業(yè)制造領(lǐng)域。機器視覺技術(shù)將成為關(guān)鍵的驅(qū)動力。與人類視覺相比，機器視覺優(yōu)勢明顯，應(yīng)用于工業(yè)機器視覺領(lǐng)域的圖像傳感器必須要具備“三高”要求，即“高精度”、“高準(zhǔn)確度”和“高效率”。

在工業(yè)制造過程中，有些產(chǎn)品精密度較高，達(dá)到0.01~0.02mm甚至到u級。人類視覺是64灰度級，對微小目標(biāo)分辨力弱，而機器視覺可顯著提高灰度級，可觀測微米級的目標(biāo)，對一些產(chǎn)品質(zhì)量要求較高的行業(yè)領(lǐng)域，可以完成人眼無法看到的待檢測物的精準(zhǔn)檢測。同時由于相機的快門時間可達(dá)到微秒級別，也可以分辨人眼無法看清的快速運動目標(biāo)。

人眼有物理條件的限制，也可能會受到主觀及身體精力等因素的影響，準(zhǔn)確度無法得到保證。而機器視覺可適應(yīng)不同場景檢測需求，靈活度較高，適應(yīng)范圍廣，不受主觀控制；通過機器參數(shù)設(shè)置，可以以更高的準(zhǔn)確度對檢測物進(jìn)行檢查，并提供基于圖像的自動檢測和分析，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。在質(zhì)控中大大提升效果可控性。

總體來說，工業(yè)機器視覺是軟硬件一體化的集成系統(tǒng)，它的目的是代替人眼對被測物進(jìn)行觀察和判斷。從組成上，機器視覺系統(tǒng)硬件設(shè)備主要包括光源、鏡頭、相機等，軟件主要包括傳統(tǒng)的數(shù)字圖像處理算法和基于深度學(xué)習(xí)的圖像處理算法。系統(tǒng)工作時首先依靠硬件系統(tǒng)將外界圖像捕捉并轉(zhuǎn)換成數(shù)字信號反饋給計算機，然后依靠軟件算法對數(shù)字圖像信號進(jìn)行處理。機器視覺可實現(xiàn)外觀檢測、識別驗證、尺寸量測、引導(dǎo)定位等功能。其功能主要分為四大類，從技術(shù)實現(xiàn)難度上來說，識別驗證、引導(dǎo)定位、尺寸測量、外觀檢測的難度是遞增的，而基于四大基礎(chǔ)功能延伸出的多種細(xì)分功能，在實現(xiàn)難度上也有差異。

根據(jù)元件的不同，圖像傳感器通?？煞譃閮纱箢悾篊CD（電荷耦合器件 Charge-Coupled Device）CMOS（互補性金屬氧化物半導(dǎo)體元件 Complementary Metal-Oxide  Semiconductor）無論是CCD還是CMOS，都是用光電二極管來感光，但CCD傳感器的像素單元，沒有獨立的讀出端，光照射每個像素產(chǎn)生電荷，并累積。由于CCD只有一個讀出端口，因此需要串行的將每個像素的電荷在像素之間進(jìn)行轉(zhuǎn)移到輸出端口。將電荷轉(zhuǎn)換為電壓，進(jìn)行放大和AD轉(zhuǎn)換得到圖像。就像是接力，將整列的電荷全部傳輸給讀出端，整列的電荷，全部轉(zhuǎn)換為電壓。

而CMOS的傳輸簡單，每個像素都有自己的電荷電壓轉(zhuǎn)換器，每個像素，單獨完成電荷轉(zhuǎn)換成電壓。因此造成了很多獨特的優(yōu)缺點。也就是說CCD的像素信號，是電子包，而COMS的信號，是電壓。CCD和CMOS本質(zhì)上講，都是光電二極管感光，主要差別主要在周邊電路上。

在工業(yè)視覺傳感器領(lǐng)域，無論是傳統(tǒng)的CMOS圖像傳感器，還是開始被廣泛應(yīng)用的激光雷達(dá)，都開始朝著高精度、高速率的方向發(fā)展。而高速率這塊的技術(shù)路線我們基本都已經(jīng)知曉了，比如CMOS圖像傳感器追求全局快門，固態(tài)和機械激光雷達(dá)都開始追求更快的掃描速度。為了實現(xiàn)更高的精度，圖像傳感器和激光雷達(dá)也在不斷推出芯片，從設(shè)計上尋求創(chuàng)新。

在PCBA檢測、半導(dǎo)體晶圓檢測以及太陽能面板光伏檢測中，都需要在固定的單位時間內(nèi)盡可能檢測更大面積的線路板，從而提高生產(chǎn)制造的效率。這些要求轉(zhuǎn)換到圖像傳感器上，就成了更大的分辨率。

顯示面板隨著8K時代和OLED、MiniLED等技術(shù)的出現(xiàn)，對用于面板檢測的圖像傳感器也提出了更高的精度要求，將像素與像素之間的發(fā)光強度和色彩均勻度全部檢測出來。過去檢測LED面板的1顆像素，對應(yīng)需要圖像傳感器上的9顆像素（3x3），而OLED面板則需要16顆（4x4）乃至25顆（5x5）像素，所以像素要求也就越來越高，從過去的3000萬像素，提高到現(xiàn)在上億的像素。

還有的工業(yè)相機需要在高速流水線上完成抓拍，快速讀取數(shù)據(jù)傳輸給上位機，同時也要預(yù)留一定的時間給算法軟件去分析和判斷，所以要求短曝光和高幀率，這也就是全局快門的圖像傳感器在工業(yè)領(lǐng)域中越來越常見的原因。

同時，不少工業(yè)檢測已經(jīng)不再局限在可見光波段，越來越多的工業(yè)圖像傳感器開始專為近紅外（NIR）波段進(jìn)行優(yōu)化，比如在成分分析以及運動軌跡的抓拍中，都有這個需求，因此不少傳感器廠商都相繼推出了加強NIR波段下量子效率的產(chǎn)品。

從產(chǎn)品本身看，機器視覺會越來越趨于依靠PC技術(shù)，并且與數(shù)據(jù)采集等其他控制和測量的集成會更緊密。且基于嵌入式的產(chǎn)品將逐漸取代板卡式產(chǎn)品，這是一個不斷增長的趨勢。主要原因是隨著計算機技術(shù)和微電子技術(shù)的迅速發(fā)展，嵌入式系統(tǒng)應(yīng)用領(lǐng)域越來越廣泛，尤其是其具備低功耗技術(shù)的特點得到人們的重視。另外，嵌入式操作系統(tǒng)絕大部分是以C語言為基礎(chǔ)的，因此使用C高級語言進(jìn)行嵌入式系統(tǒng)開發(fā)是一項帶有基礎(chǔ)性的工作，使用高級語言的優(yōu)點是可以提高工作效率，縮短開發(fā)周期，更主要的是開發(fā)出的產(chǎn)品可靠性高、可維護(hù)性好、便于不斷完善和升級換代等。因此，嵌入式產(chǎn)品將會取代板卡式產(chǎn)品。

機器視覺伴隨制造業(yè)的轉(zhuǎn)型升級和對品控要求的不斷加強，逐步實現(xiàn)核心技術(shù)的突破和下游應(yīng)用場景的拓展。

在國外應(yīng)用場景層面上，從80年代開始，由汽車、半導(dǎo)體等高端制造業(yè)的發(fā)展而開始發(fā)展；后續(xù)快速發(fā)展的消費電子 成為機器視覺最為重要的應(yīng)用場景；各行各業(yè)對于生產(chǎn)制造的要求逐步提升也推動機器視覺在各行各業(yè)中逐步滲透。技術(shù)能力層面上，從早期基于模式匹配的2D逐步向以深度學(xué)習(xí)和3D視覺檢測為代表的新技術(shù)發(fā)展。

相對于國外，國內(nèi)應(yīng)用場景層面與我國制造業(yè)發(fā)展相匹配，最早應(yīng)用在食品、印刷包裝等場景中應(yīng)用，后續(xù)快速發(fā)展的3C電子成為最為重要的應(yīng)用場景，近年來隨我國制造業(yè)的轉(zhuǎn)型升級如半導(dǎo)體、汽車以及新興產(chǎn)業(yè)的興起如新能源逐步滲透更多的應(yīng)用場景。技術(shù)層面上，從早期依賴海外的技術(shù)到逐步實現(xiàn)核心技術(shù)的自研，目前在部分領(lǐng)域中已經(jīng)達(dá)到全球 領(lǐng)先水平。

從機器視覺行業(yè)整體市場競爭來看，CMOS圖像傳感器行業(yè)目前是由國外廠商主導(dǎo)，如索尼、安森美、Teleydne e2v占據(jù)行業(yè)領(lǐng)先地位，國內(nèi)傳感器公司緊跟市場行情和需求迎頭趕上的局面，如豪威，思特威等。

歐美是工業(yè)軟件的起源地，也是工業(yè)軟件應(yīng)用的巨大市場，由于工業(yè)軟件在需求、知識、應(yīng)用、數(shù)據(jù)等方面依賴于工業(yè)體系，工業(yè)軟件巨頭很多來自于制造業(yè)強國。但作為制造行業(yè)中的軟實力，在機器視覺行業(yè)的發(fā)展初期，國內(nèi)的機器視覺行業(yè)的重點在于解決硬件的問題，從而忽略了軟件的開發(fā)，造成了當(dāng)前在軟件行業(yè)的落后局面。由于我國還未全面實現(xiàn)工業(yè)自動化進(jìn)程，相關(guān)企業(yè)缺乏經(jīng)驗和人才積累，使得我國工業(yè)軟件市場長期被國外廠商產(chǎn)品所占據(jù)。

另外，由于機器視覺是自動化的一部分，沒有自動化就不會有機器視覺，機器視覺軟硬件產(chǎn)品正逐漸成為協(xié)作生產(chǎn)制造過程中不同階段的核心系統(tǒng)，無論是用戶還是硬件供應(yīng)商都將機器視覺產(chǎn)品作為生產(chǎn)線上信息收集的工具，這就要求機器視覺產(chǎn)品大量采用“標(biāo)準(zhǔn)化技術(shù)”，直觀的說就是要隨著自動化的開放而逐漸開放，可以根據(jù)用戶的需求進(jìn)行二次開發(fā)。當(dāng)今，自動化企業(yè)正在倡導(dǎo)軟硬一體化解決方案，機器視覺的廠商在未來5-6年內(nèi)也應(yīng)該不單純是只提供產(chǎn)品的供應(yīng)商，而是逐漸向一體化解決方案的系統(tǒng)集成商邁進(jìn)。

在未來的幾年內(nèi)，隨著AI技術(shù)的逐漸成熟，對于機器視覺的需求也逐漸增多；工業(yè)成像、計算機視覺和深度學(xué)習(xí)等新技術(shù)的更新迭代，基于人工智能技術(shù)的工業(yè)質(zhì)檢得到了大幅發(fā)展。尤其是深度學(xué)習(xí)技術(shù)，因其在處理復(fù)雜工業(yè)圖像時展現(xiàn)出卓越的性能優(yōu)勢，逐漸取代傳統(tǒng)技術(shù)，在工業(yè)質(zhì)檢中占據(jù)主導(dǎo)地位，成為主流的解決方案。未來也會大量運用在工業(yè)場景中，圖像傳感器作為機器之眼，更是推動人工智能發(fā)展的一個元素。如今，AI已用于60％以上的計算機視覺應(yīng)用程序中，而AI在制造應(yīng)用程序中的增長已超過50％年復(fù)合增長率。用于成像的AI決策已從云過渡到邊緣，再遷移到與成像系統(tǒng)本身相鄰或并入其中的計算機系統(tǒng)。”

而且圖像傳感器并不需要參與AI計算的全部過程，訓(xùn)練環(huán)節(jié)依然可以保留在GPU或者云端，而圖像傳感器只需要負(fù)責(zé)一些決策相關(guān)的預(yù)處理，比如在傳感器上集成用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)層。不過AI運算本身需要大量的圖像數(shù)據(jù)，所以安森美的工作就是在維持采集圖像質(zhì)量穩(wěn)定的同時，盡可能去減少噪聲，并在傳感器中集成更多的優(yōu)化算法方便使用者開發(fā)。

在AI質(zhì)檢中，當(dāng)缺陷模式已知，且有充足的標(biāo)注數(shù)據(jù)時，一般采用監(jiān)督學(xué)習(xí)（Supervised Learning）方法，這一方法也已在許多視覺任務(wù)上取得了較為成熟的發(fā)展與應(yīng)用。

在無監(jiān)督學(xué)習(xí)中，模型從未標(biāo)記的數(shù)據(jù)中自動學(xué)習(xí)模式和結(jié)構(gòu)，無需明確的監(jiān)督信號或人工標(biāo)簽。與監(jiān)督學(xué)習(xí)不同，無監(jiān)督學(xué)習(xí)僅需要易于獲取的正例樣本用于模型訓(xùn)練，而不需要使用真實的缺陷樣本。它不僅能解決監(jiān)督學(xué)習(xí)方法無法發(fā)現(xiàn)未知缺陷的問題，而且擁有比傳統(tǒng)方法更強的對圖像特征的表達(dá)能力。

目前，無監(jiān)督學(xué)習(xí)方法在工業(yè)AI質(zhì)檢中已取得令人振奮的進(jìn)展。在背景較為簡單或固定的產(chǎn)品上，相關(guān)方法已達(dá)到了較高的性能。雖然在復(fù)雜背景的數(shù)據(jù)上，依然無法達(dá)到監(jiān)督學(xué)習(xí)方法的精度，但它的優(yōu)點在于對未知缺陷的檢測能力，和無需像素級精確標(biāo)注。

與各類傳統(tǒng)人工方法相比,得益于AI技術(shù)在海量圖像、數(shù)據(jù)分析和處理上的優(yōu)勢，AI工業(yè)機器視覺方案在執(zhí)行效率、精度和一致性等方面都更具優(yōu)勢，以缺陷檢測為例，其可為制造企業(yè)的質(zhì)量控制流程帶來顯著優(yōu)勢。

由高清設(shè)備與AI工業(yè)機器視覺技術(shù)構(gòu)成的圖像采集、分析能力，可以為工業(yè)產(chǎn)線帶來高精度和高效率的作業(yè)模式，使產(chǎn)品檢測質(zhì)量獲得有效提升,并實現(xiàn)檢測質(zhì)量一致性。

AI工業(yè)機器視覺方案可借助5G網(wǎng)絡(luò)、邊緣計算等前沿技術(shù),在現(xiàn)有產(chǎn)線側(cè)進(jìn)行靈活升級部署,并基于云邊協(xié)同的架構(gòu)來解決復(fù)雜的工業(yè)任務(wù)。

事實上，隨著設(shè)備成本的降低、圖像識別精度的提高以及算力算法的突飛猛進(jìn)，近年來，AI 工業(yè)視覺方案在制造企業(yè)中獲得越來越多的應(yīng)用與部署。一項市場預(yù)測報告顯示，從2022年到2030 年全球機器視覺市場的復(fù)合年增長率預(yù)期將達(dá) 7.7%并將最終達(dá)到 259.2億美元的市場規(guī)模。

而要想實現(xiàn)AI計算的集成，自然就離不開堆棧這一工藝技術(shù)。手機圖像傳感器由于出貨量大且利潤率高等原因，常常成為各大CMOS廠商先進(jìn)技術(shù)的試驗田，比如堆棧、片上HDR等等，如今工業(yè)圖像傳感器也不例外。但伴隨著圖像傳感器的用途不再是感知這么簡單，如今不少處理與計算也要在傳感器內(nèi)部完成，所以才需要用到多層堆疊的堆棧技術(shù)。

    世界領(lǐng)先工業(yè)半導(dǎo)體廠商安森美（onsemi）提供豐富多樣的圖像傳感器選擇，從VGA到4500萬像素，滿足客戶各種機器視覺鏡頭需求。2023年3月16日，安森美宣布推出一款創(chuàng)新的圖像傳感器--AR0822。該器件的嵌入式高動態(tài)范圍（eHDRTM）功能和優(yōu)化的近紅外（NIR）響應(yīng)對于照明條件惡劣的應(yīng)用至關(guān)重要，如安防監(jiān)控、隨身攝像機、門鈴攝像頭和機器人。

安森美在車載圖像傳感器行業(yè)占據(jù)壓倒性地位得益于安森美的三次戰(zhàn)略收購。通過三次收購安森美在圖像傳感器方面積累超過2000項的成像專利、多類傳感器產(chǎn)品和擁有了完整的產(chǎn)業(yè)鏈。在高像素 CIS 領(lǐng)域，安森美于 2017 年推出首顆 800萬像素CIS, 借助在800萬像素高階市場的先發(fā)優(yōu)勢，以及產(chǎn)品研發(fā)上的創(chuàng)新能力，安森美穩(wěn)坐CIS頭把交椅。

安森美圖像傳感產(chǎn)品和技術(shù)在過去的幾年一直發(fā)展很迅速從Hyperlux LP系列圖像傳感器，配置Wake on Motion低功耗技術(shù)，其在這個核心領(lǐng)域投入很大的投入。隨著機器視覺在汽車、工業(yè)監(jiān)控、AR/VR/XR頭戴設(shè)備、機器視覺和視頻會議等領(lǐng)域的應(yīng)用越來越廣泛，預(yù)計到2030年底，相關(guān)市場將繼續(xù)快速增長。安森美的核心制勝主要推動力，一個是智能感知方面的圖像傳感器技術(shù)；在智能感知方面，安森美的圖像傳感器在全球汽車和工業(yè)市場排名全球前列。這方面的優(yōu)勢表現(xiàn)，一是卓越的技術(shù)，適用于所有用戶場景的技術(shù)，包括全局快門、卷簾快門、圖像信號處理技術(shù)，具備完整的產(chǎn)業(yè)生態(tài)。

中國一直是安森美的重點市場，將持續(xù)順應(yīng)中國的大趨勢下，發(fā)展智能電源和智能感知技術(shù)，推動2倍市場增長，持續(xù)聚焦汽車應(yīng)用和工業(yè)市場，為客戶提供業(yè)務(wù)和技術(shù)支持。與戰(zhàn)略客戶的聯(lián)合實驗室和長期供應(yīng)協(xié)議，都是發(fā)揮安森美價值的舉措。

在新基建和中國制造2025的各個領(lǐng)域中，圖像處理都發(fā)揮著越來越重要的作用，并帶來廣泛的機遇和挑戰(zhàn)。如何實現(xiàn)高性能、高靈活度、深入定制化的圖像設(shè)計，對產(chǎn)品的系統(tǒng)架構(gòu)及性能都提出了更高的要求，成為相關(guān)企業(yè)脫穎而出的關(guān)鍵。在這些領(lǐng)域中。作為行業(yè)的領(lǐng)導(dǎo)者，AMD自適應(yīng)與嵌入式器件憑借其全可編程架構(gòu)、高性能、低功耗和靈活性等優(yōu)勢，成為各領(lǐng)域智能制造應(yīng)用的理想解決方案之一。

全球頂級半導(dǎo)體應(yīng)用廠商Intel也對機器視覺提供完整的解決方案，套件包括視覺處理器、交鑰匙模塊、攝像頭、SDK 和計算機視覺庫。在機器人、3D掃描、無人機及測量領(lǐng)域發(fā)揮著重要作用，除了數(shù)字圖像采集和分析之外，機器視覺 (MV) 還搭配使用高速攝像頭和計算機來執(zhí)行復(fù)雜的檢查任務(wù)。您可以將得到的數(shù)據(jù)用于模式識別、對象排序、機械臂控制等。FPGA 適用于 MV 攝像頭，使設(shè)計能夠適應(yīng)各種圖像傳感器以及 MV 特定接口。FPGA 還可在邊緣計算平臺中用作視覺處理加速器，以利用人工智能深度學(xué)習(xí)的能力來分析 MV 數(shù)據(jù)。 MV應(yīng)用包括：缺陷檢測、計量、導(dǎo)航、零件跟蹤和識別、光學(xué)字符識別和驗證 (OCR/OCV)、模式識別及封裝、產(chǎn)品、表面和網(wǎng)絡(luò)檢測，得益于AI, AD與計算機視覺在工業(yè)制造領(lǐng)域的積極作用，Al工業(yè)機器視覺技術(shù)正幫助更多制造企業(yè)提升產(chǎn)線效率，并在企業(yè)加速數(shù)字化、智能化轉(zhuǎn)型的過程中發(fā)揮重要作用。

針對各類AI方案在運行效率、部署便捷性、可擴展性以及數(shù)據(jù)安全性等方面遇到的挑戰(zhàn)，制造企業(yè)仍期望獲得更為高效、可在邊緣部署、且能將不同算法進(jìn)行靈活部署與協(xié)同的AI工業(yè)機器視覺解決方案，來自英特爾的端邊云AI機器視覺解決方案可以提供堅實而靈活的平臺。

不僅如此，英特爾還在AI工業(yè)機器視覺生態(tài)的建設(shè)上，與ISV、SI、OEM、ODM 等伙伴開展強化合作，以邊緣平臺為抓手,不斷為客戶提供持續(xù)優(yōu)化的方案與端到端的技術(shù)優(yōu)勢，助力 AI 工業(yè)機器視覺方案在更多場景落地，釋放邊緣數(shù)據(jù)潛能,讓工業(yè)制造領(lǐng)域的智能化轉(zhuǎn)型變得更具效率。

在 AI、計算機圖像以及工業(yè)自動化等創(chuàng)新技術(shù)的推動下，更多制造企業(yè)正通過不同方式，將 AI工業(yè)機器視覺方案運用到缺陷檢測、機器人、預(yù)測性維護(hù)等場景之中,為傳統(tǒng)制造產(chǎn)線注入更多智能化元素，從而達(dá)到提升產(chǎn)能與質(zhì)量、降低成本的效果。