機(jī)器視覺(jué) + 運(yùn)控控制——自動(dòng)化產(chǎn)線升級(jí)的利器

機(jī)器視覺(jué)是計(jì)算機(jī)視覺(jué)的一個(gè)分支，工業(yè)自動(dòng)化領(lǐng)域中的視覺(jué)控制或視覺(jué)應(yīng)用，主要指的是通過(guò)前端光學(xué)攝像頭，從采集到的數(shù)字化圖像中提取相關(guān)信息，進(jìn)行分析處理之后，用于對(duì)生產(chǎn)線流程或質(zhì)量的控制，以代替重復(fù)性人工操作。目前，機(jī)器視覺(jué)在工廠生產(chǎn)環(huán)節(jié)中的實(shí)際應(yīng)用包括：對(duì)生產(chǎn)工件的完整性質(zhì)量檢測(cè)、識(shí)別、分類(lèi)、零件位置及方向、尺寸測(cè)量、讀碼識(shí)別追溯、表面/色差檢測(cè)、自動(dòng)化流水線作業(yè)等等?？梢哉f(shuō)，機(jī)器視覺(jué)為流水產(chǎn)線、自動(dòng)化設(shè)備安裝上了一雙“眼睛”，能夠提供全天候、高一致性、高可靠性的檢測(cè)結(jié)果，增添了工廠生產(chǎn)的智能化水平，因而也成為了邁向智能制造的一項(xiàng)重要技術(shù)。

根據(jù)有關(guān)機(jī)構(gòu)的統(tǒng)計(jì)數(shù)據(jù)顯示，在2019年，全球用于工業(yè)自動(dòng)化領(lǐng)域的機(jī)器視覺(jué)技術(shù)的市場(chǎng)規(guī)模達(dá)53.7億美元左右，預(yù)計(jì)到2023年將達(dá)122．9億美元，年復(fù)合增長(zhǎng)率高達(dá)21%，市場(chǎng)潛力巨大。

從整體供應(yīng)鏈來(lái)看，參與機(jī)器視覺(jué)系統(tǒng)開(kāi)發(fā)的廠商大致上可以分為上游底層開(kāi)發(fā)商，含核心零部件和軟件開(kāi)發(fā)商；中游從事二次開(kāi)發(fā)的設(shè)備集成和軟件服務(wù)商；以及下游所面對(duì)的各類(lèi)機(jī)器視覺(jué)應(yīng)用廠商。其中，核心零部件及軟件供應(yīng)商主要包括光源、鏡頭、工業(yè)相機(jī)、圖像采集卡、圖像處理軟件等類(lèi)型廠商，而在整個(gè)成本構(gòu)成中，零部件及軟件開(kāi)發(fā)的費(fèi)用基本上占了約80%的比例，可謂是重中之重。光源供應(yīng)商有OPT奧普特、銳視光電等；工業(yè)相機(jī)的主要品牌有Basler、堡盟、DALSA、Point Grey、Images Source等；市場(chǎng)上較知名的圖像軟件包有Halcon（MVtec）、VisionPro（康耐視）、免費(fèi)開(kāi)源庫(kù)Opencv、MIL（Matrox）等；運(yùn)動(dòng)控制卡供應(yīng)商有固高、雷賽、研華等等。

目前機(jī)器視覺(jué)在工業(yè)控制領(lǐng)域大多屬于二次開(kāi)發(fā)層面，形式主要包括系統(tǒng)集成以及組裝生產(chǎn)自動(dòng)化專(zhuān)機(jī)等等，要求開(kāi)發(fā)商能夠掌握不同生產(chǎn)制造環(huán)境中的Know-How技術(shù)，設(shè)計(jì)出有針對(duì)性的產(chǎn)品或集成方案，視覺(jué)點(diǎn)膠控制、視覺(jué)螺絲機(jī)控制、視覺(jué)定位+飛拍、視覺(jué)檢測(cè)等電子產(chǎn)品后段制造流程都是現(xiàn)在市場(chǎng)上的開(kāi)發(fā)熱點(diǎn)。大部分廠商采用的都是“軟件平臺(tái)+視覺(jué)開(kāi)發(fā)包”的開(kāi)發(fā)模式，開(kāi)發(fā)包基于軟件平臺(tái)對(duì)常用各種圖像處理算法進(jìn)行封裝，軟件工程師可直接調(diào)用封裝好的算法，實(shí)現(xiàn)各種復(fù)雜的圖像處理和分析功能，大幅降低了二次開(kāi)發(fā)的難度和工作量。

圖1 機(jī)器視覺(jué)產(chǎn)業(yè)供應(yīng)鏈組成

圖2 工業(yè)自動(dòng)化領(lǐng)域機(jī)器視覺(jué)應(yīng)用分析（資料來(lái)源：智研咨詢）

視覺(jué)應(yīng)用的三大層面難題

但就實(shí)際應(yīng)用而言，在目前機(jī)器視覺(jué)+運(yùn)動(dòng)控制方案的實(shí)施過(guò)程中，各種“門(mén)檻”依然較高，問(wèn)題主要來(lái)自于三個(gè)方面：一是，對(duì)于大部分技術(shù)開(kāi)發(fā)工程師來(lái)說(shuō)，機(jī)器視覺(jué)技術(shù)是一個(gè)全新的領(lǐng)域，要學(xué)習(xí)一種新的編程語(yǔ)言（如C++）存在一定的難度，需要花費(fèi)大量的時(shí)間和精力，加上視覺(jué)項(xiàng)目一般都是非標(biāo)的，開(kāi)發(fā)者的經(jīng)驗(yàn)非常重要，普通電氣工程師要想快速掌握機(jī)器視覺(jué)應(yīng)用的編程和調(diào)試，絕非易事。

其次，對(duì)于設(shè)備制造商而言，為了提高工廠的生產(chǎn)效率，制造業(yè)產(chǎn)線升級(jí)的需求迫切，機(jī)器視覺(jué)的應(yīng)用已經(jīng)成為其中的一個(gè)重點(diǎn)，但機(jī)器視覺(jué)的硬件投資成本一直居高不下，令他們望而卻步；除了硬件投入之外，往往后期還需要高薪聘請(qǐng)視覺(jué)工程師對(duì)買(mǎi)回來(lái)的視覺(jué)系統(tǒng)進(jìn)行開(kāi)發(fā)和維護(hù)，這無(wú)疑又加重了工廠的人力成本。如何能夠有效地控制投資成本，是他們的主要訴求點(diǎn)，例如是否可以既經(jīng)濟(jì)又方便地在現(xiàn)有設(shè)備系統(tǒng)的基礎(chǔ)上添加機(jī)器視覺(jué)功能等。

另外，對(duì)于終端用戶來(lái)說(shuō)，在使用機(jī)器視覺(jué)技術(shù)的過(guò)程中會(huì)發(fā)現(xiàn)，機(jī)器視覺(jué)和自動(dòng)化控制（流程控制、工藝控制等）往往分屬于兩套不同的系統(tǒng)之中，兩者之間常?？赡軙?huì)由于通訊等多種因素而導(dǎo)致整個(gè)系統(tǒng)的不穩(wěn)定（如出現(xiàn)停機(jī)、停線等狀況）。尤其是在當(dāng)前多品種、小批量、柔性化的生產(chǎn)模式下，產(chǎn)線的頻繁更換，增加了對(duì)機(jī)器視覺(jué)系統(tǒng)流程的修改和調(diào)試時(shí)間，從而大大影響了工廠產(chǎn)能，因此，如何讓設(shè)備在生產(chǎn)中更加穩(wěn)定，同時(shí)操作也更為便捷，能夠滿足產(chǎn)線快速調(diào)整和切換的需要，是機(jī)器視覺(jué)技術(shù)開(kāi)發(fā)的一個(gè)課題。

機(jī)器視覺(jué)與運(yùn)動(dòng)控制的無(wú)縫集成

一般來(lái)說(shuō)，機(jī)器視覺(jué)+運(yùn)動(dòng)控制應(yīng)用大多數(shù)硬件架構(gòu)都是采用一臺(tái)控制器，通過(guò)外部連接視覺(jué)系統(tǒng)及產(chǎn)線上各個(gè)部位的工業(yè)智能相機(jī)及光源，視覺(jué)信號(hào)通過(guò)線纜和串口被傳輸?shù)娇刂破髦?。在?nèi)部軟件框架中，以常見(jiàn)的計(jì)算機(jī)視覺(jué)為例，視覺(jué)程序一般位于Windows系統(tǒng)中的非實(shí)時(shí)用戶模式中，進(jìn)行代碼分析和算法處理；而PLC工藝流程控制則多位于實(shí)時(shí)內(nèi)核模式之中。由于非實(shí)時(shí)用戶模式的任務(wù)執(zhí)行機(jī)制采用的是優(yōu)先級(jí)別，因此當(dāng)CPU的負(fù)荷過(guò)高、內(nèi)存過(guò)大、處理流程過(guò)多時(shí)，就可能會(huì)出現(xiàn)卡頓的現(xiàn)象，使得在非實(shí)時(shí)用戶模式下的機(jī)器視覺(jué)在完成同一檢測(cè)任務(wù)時(shí)最終所需要花費(fèi)的時(shí)間卻不一樣，導(dǎo)致減慢生產(chǎn)節(jié)拍，影響生產(chǎn)效率。

為了解決這一難題，針對(duì)機(jī)器視覺(jué)應(yīng)用，倍福開(kāi)發(fā)的TwinCAT Vision機(jī)器視覺(jué)解決方案將視覺(jué)技術(shù)集成在其TwinCAT統(tǒng)一的通用化控制技術(shù)平臺(tái)上，其中的圖像處理功能被添加到整合了PLC、運(yùn)動(dòng)控制、機(jī)器人、高端測(cè)量技術(shù)、物聯(lián)網(wǎng)及HMI的通用控制平臺(tái)TwinCAT軟件之中，通過(guò)這個(gè)統(tǒng)一的軟件平臺(tái)，來(lái)完成工廠所有的控制任務(wù)。

與傳統(tǒng)的視覺(jué)應(yīng)用方式相比，倍福TwinCATV ision同樣在一臺(tái)控制器上，除了集成運(yùn)動(dòng)控制、I/O控制、PLC控制之外，外部工業(yè)相機(jī)被直接接入控制器中的機(jī)器視覺(jué)模塊中，在內(nèi)部軟件架構(gòu)上，TwinCAT Vision將采集的圖像信號(hào)通過(guò)GigE相機(jī)驅(qū)動(dòng)，傳遞到實(shí)時(shí)內(nèi)核模式下的PLC機(jī)器視覺(jué)與工藝流程控制系統(tǒng)中，以“時(shí)間片”的方式進(jìn)行精準(zhǔn)運(yùn)行，與圖像處理相關(guān)的所有控制功能都可以在運(yùn)行時(shí)系統(tǒng)中精確實(shí)時(shí)同步，從而消除了延遲，實(shí)時(shí)執(zhí)行圖像處理算法。這種方案的優(yōu)勢(shì)是，一臺(tái)控制器完成所有的控制任務(wù)，降低硬件成本，簡(jiǎn)化系統(tǒng)；實(shí)時(shí)系統(tǒng)運(yùn)行視覺(jué)任務(wù)，保證每一次執(zhí)行響應(yīng)的時(shí)間足夠穩(wěn)定，加快生產(chǎn)節(jié)拍，提高工廠產(chǎn)能；任務(wù)內(nèi)存間共享數(shù)據(jù)，多任務(wù)配合（如視覺(jué)+運(yùn)動(dòng)控制、機(jī)器臂/人等）更高效方便；在倍福TwinCAT平臺(tái)上，只需要用到基于IEC編程語(yǔ)言（ST/LD等），且可延續(xù)原先PLC編程技巧和習(xí)慣，縮短了開(kāi)發(fā)周期，降低了人力成本，同時(shí)還可運(yùn)用倍福已經(jīng)集成好的視覺(jué)功能塊進(jìn)行代碼開(kāi)發(fā)，為技術(shù)人員帶來(lái)了便利。

底層芯片技術(shù)、算法庫(kù)是核心

工業(yè)生產(chǎn)對(duì)機(jī)器視覺(jué)的運(yùn)算速度和準(zhǔn)確度要求較高，這些需要強(qiáng)大的底層技術(shù)來(lái)做支撐，例如CPU中央處理器芯片的性能、FPGA器件并行處理多級(jí)流水線的特點(diǎn)，以及專(zhuān)業(yè)視覺(jué)算法庫(kù)等等，以提高機(jī)器視覺(jué)系統(tǒng)的數(shù)據(jù)吞吐能力和數(shù)據(jù)處理能力。

今年5月，無(wú)錫信捷與英特爾攜手，發(fā)布了全新基于英特爾芯片的IoT工業(yè)控制器、智能相機(jī)等多款重磅產(chǎn)品?；谟⑻貭?4nm Apollo Lake&Kaby Lake平臺(tái)，信捷推出的V200|V300系列IoT工業(yè)控制器具有強(qiáng)大的計(jì)算性能和優(yōu)化的圖像處理能力，提供多種配置選擇。S200系列智能相機(jī)基于英特爾Apollo Lake平臺(tái)，采用IA+FPGA架構(gòu)，集圖像采集、圖像處理和外部通訊于一體，支持130萬(wàn)至1200萬(wàn)像素，與傳統(tǒng)方案相比，S200系列智能相機(jī)滿載時(shí)最高表面溫度低于50℃，為智能制造提供了安全保證。另外，新的X-SIGHT  VISIONSTUDIO軟件平臺(tái)具備超過(guò)2000個(gè)處理算子，包含常用的檢測(cè)、定位、標(biāo)定、通訊、字符讀碼等，無(wú)需編寫(xiě)代碼，拖拽組件即可完成開(kāi)發(fā)，支持多線程多任務(wù)處理，并提供豐富的HMI交互模塊。據(jù)悉，除了此次發(fā)布會(huì)推出的產(chǎn)品和方案以外，信捷和英特爾在噴涂、打磨、人工智能識(shí)別、分揀等工業(yè)制造領(lǐng)域?qū)⒄归_(kāi)全方位的合作交流。

而基于FPGA器件進(jìn)行機(jī)器視覺(jué)的開(kāi)發(fā)，可以通過(guò)編程方便地修改其內(nèi)部的邏輯功能，從而實(shí)現(xiàn)高速的硬件計(jì)算和并行運(yùn)算，是高性能嵌入式視覺(jué)系統(tǒng)的一種較為方便的解決方案，且功耗也較低，是未來(lái)計(jì)算機(jī)視覺(jué)系統(tǒng)的一個(gè)重要發(fā)展方向。

在視覺(jué)軟件方面，Vision Pro是康耐視開(kāi)發(fā)的一款優(yōu)秀的計(jì)算機(jī)式視覺(jué)軟件，特點(diǎn)是簡(jiǎn)單易用，它的Quick Build快速原型設(shè)計(jì)環(huán)境將高級(jí)編程的先進(jìn)性、靈活性與易于開(kāi)發(fā)性相結(jié)合，協(xié)助制造廠商縮短開(kāi)發(fā)周期時(shí)間。借助VisionPro，用戶可以訪問(wèn)功能較強(qiáng)的圖案匹配、斑點(diǎn)、卡尺、線位置、圖像過(guò)濾、OCR和OCV視覺(jué)工具庫(kù)，以及一維條碼和二維碼讀取，以執(zhí)行各種功能，如檢測(cè)、識(shí)別和測(cè)量等，VisionPro軟件可與廣泛的.NET類(lèi)庫(kù)和用戶控件完全集成。此外，通過(guò)API連接VisionPro ViDi這款專(zhuān)為工業(yè)圖像分析設(shè)計(jì)的深度學(xué)習(xí)軟件，還能進(jìn)一步優(yōu)化為復(fù)雜檢測(cè)、元件定位、分類(lèi)以及光學(xué)字符識(shí)別等應(yīng)用場(chǎng)景。

一體化機(jī)器視覺(jué)集成方案

瞄準(zhǔn)現(xiàn)有生產(chǎn)過(guò)程中視覺(jué)應(yīng)用的“痛點(diǎn)”，從機(jī)器控制緊密結(jié)合的軟硬件集成方案入手，貝加萊推出的集成了鏡頭、工業(yè)相機(jī)、軟件在內(nèi)的一體化視覺(jué)系統(tǒng)，是另一種實(shí)現(xiàn)方式。

這種軟硬結(jié)合的一體化集成視覺(jué)系統(tǒng)解決了視覺(jué)檢測(cè)應(yīng)用中的同步性問(wèn)題，首先是照明與成像的同步，對(duì)于視覺(jué)而言，照明的良好設(shè)計(jì)構(gòu)成了視覺(jué)應(yīng)用70%的成功權(quán)重，集成化視覺(jué)方案由于由同一控制器控制，使得照明的LED強(qiáng)度、頻閃和相機(jī)的對(duì)焦、曝光、成像過(guò)程在極高的速度下實(shí)現(xiàn)同步，從而保證了成像質(zhì)量；二是視覺(jué)系統(tǒng)與自動(dòng)化系統(tǒng)的同步，集成視覺(jué)方案令視覺(jué)應(yīng)用與機(jī)器工藝、控制無(wú)縫融合，同時(shí)與貝加萊自身的控制、運(yùn)動(dòng)控制、I/O模塊一起，在POWERLINK架構(gòu)下實(shí)現(xiàn)百μS級(jí)的同步，令到整體系統(tǒng)能夠達(dá)到更高的精度和速度。

另一方面，這種視覺(jué)集成方案對(duì)于現(xiàn)場(chǎng)集成應(yīng)用的開(kāi)發(fā)者非常便利，他可以不再需要了解各種鏡頭、相機(jī)、控制器、照明、通信接口的知識(shí)，僅需使用一個(gè)產(chǎn)品就可以去構(gòu)建各種視覺(jué)應(yīng)用，縮短了項(xiàng)目開(kāi)發(fā)周期，大幅降低了工程時(shí)間與成本。利用貝加萊mapp技術(shù)框架提供的現(xiàn)成的軟件組件，通過(guò)較少的編程就可以輕松創(chuàng)建機(jī)器視覺(jué)應(yīng)用程序，只需要點(diǎn)擊幾下即可將智能攝像頭捕獲的圖像集成到mapp View HMI應(yīng)用程序中，攝像頭和照明參數(shù)以及觸發(fā)條件可隨時(shí)更改，使得產(chǎn)品換型和其它運(yùn)行時(shí)間調(diào)整都非常容易實(shí)施。

實(shí)際上，在各種復(fù)雜的工業(yè)生產(chǎn)場(chǎng)景中，照明光源尤為重要，它直接關(guān)系到采集圖像的質(zhì)量，例如圖像輪廓是否清晰、成像特征是否完美體現(xiàn)等等。為此，貝加萊的集成視覺(jué)系統(tǒng)還提供非常靈活的光源照明管理功能，包括背景光、光帶的模塊化設(shè)計(jì)，可-40°至+90°電動(dòng)旋轉(zhuǎn)，并且內(nèi)置了閃光控制器、支持多種顏色、大功率的快速響應(yīng)，這些都可以根據(jù)現(xiàn)場(chǎng)應(yīng)用進(jìn)行配置，還可以實(shí)時(shí)修改曝光時(shí)間長(zhǎng)度、角度、顏色等等，這些功能讓機(jī)器視覺(jué)應(yīng)用變得更加靈活自如。

結(jié)語(yǔ)

機(jī)器視覺(jué)與運(yùn)動(dòng)控制的結(jié)合，為工業(yè)自動(dòng)化產(chǎn)線的升級(jí)帶來(lái)一股新活力，也越來(lái)越多地被應(yīng)用在非接觸檢測(cè)、測(cè)量場(chǎng)景中，用以提高加工精度、發(fā)現(xiàn)產(chǎn)品缺陷、進(jìn)行自動(dòng)分析與決策等，因而成為了先進(jìn)制造的重要組成部分。目前來(lái)看，盡管機(jī)器視覺(jué)技術(shù)在工業(yè)自動(dòng)化行業(yè)的應(yīng)用牽涉到光學(xué)、電子、機(jī)械、工業(yè)軟件等多個(gè)不同門(mén)類(lèi)的學(xué)科，技術(shù)難度仍然較大，某些特定領(lǐng)域的市場(chǎng)準(zhǔn)入壁壘也較高；但顯而易見(jiàn)的是，機(jī)器視覺(jué)與運(yùn)動(dòng)控制技術(shù)相結(jié)合，促進(jìn)了工廠產(chǎn)線自動(dòng)化水平、產(chǎn)品品質(zhì)管控、人力成本結(jié)構(gòu)等方面的優(yōu)化，進(jìn)而提升了企業(yè)的綜合競(jìng)爭(zhēng)力。未來(lái)，融合邊緣計(jì)算與深度學(xué)習(xí)等AI技術(shù)的機(jī)器視覺(jué)系統(tǒng)，將真正為機(jī)器植入“眼睛與大腦”，為邁向工業(yè)4.0時(shí)代做好準(zhǔn)備。