瑞薩AI視覺識別方案應(yīng)用筆記2

話不多說，我們開始拆解如何使用RZ/A2M的DRP實現(xiàn)在8ms時間內(nèi)檢測5中不同編碼格式的二維碼。

二維碼又稱二維條碼，常見的二維碼為QR Code，QR全稱Quick Response，是一個近幾年來移動設(shè)備上非常流行的一種編碼方式，它比傳統(tǒng)的Bar Code條形碼能存更多的信息，也能表示更多的數(shù)據(jù)類型。除了這種常見的QR Code之外，還有一些其它編碼格式的二維碼，例如Micro QR Code, DataMatrix, AZTec和漢信碼等等，因此要求掃碼槍能夠識別多種不同編碼的二維碼。 常規(guī)的操作是循環(huán)調(diào)用不同解碼器，逐一用不同的解碼器進(jìn)行檢測和解碼，但導(dǎo)致的問題是解碼時間不穩(wěn)定性與解碼時間偏長，如果能夠在解碼之前快速識別出二維碼的編碼格式，然后有針對性的調(diào)用對應(yīng)的解碼器，則會大大提高解碼效率。

瑞薩的RZ/A2M微處理器可以利用其獨特的動態(tài)可配置處理器（DRP）完美解決這一問題，實現(xiàn)了1280x720(1百萬)攝像頭輸入時，在8ms時間內(nèi)完成QR ,Micro QR, DataMatrix, AZTec 和漢信碼5種編碼格式的快速識別，下面讓我們看一下DRP是如何實現(xiàn)的。

以下是示例中用到的5種二維碼的圖例，我們將利用DRP的圖像處理加速功能識別每種編碼格式的特征

我們將通過9個步驟的數(shù)據(jù)處理，逐步從MIPI接口輸入的圖像數(shù)據(jù)中提取出我們希望得到的特征標(biāo)識。

在這9個數(shù)據(jù)處理環(huán)節(jié)中，大部分由DRP硬件加速模塊處理（藍(lán)色），少量過程由CPU進(jìn)行處理（綠色），在此期間我們可以看到硬件DRP處理和軟件CPU處理之間的靈活搭配與無縫對接。

步驟1

為了加快圖像的處理速度，我們會先載入一個Bayer2GrayThinning的DRP加速庫將圖像的分辨率降采樣為原始大小的1/4，同時完成圖像格式從Bayer到灰度圖的轉(zhuǎn)換并統(tǒng)計每幀圖像的亮度值，我們會將這個亮度的統(tǒng)計結(jié)果反饋給CMOS傳感器用于調(diào)整自動曝光參數(shù)。

由于Bayer2GrayThinning庫只占用1個Tile的DRP硬件資源，在此步驟中利用DRP的多Tile并行處理特性將每一幀1280x768的圖像分成6個1280x128的區(qū)域，由6個DRP處理單元進(jìn)行并行化處理，這樣處理速度可增加為原來的6倍，而且每個處理單元內(nèi)部的像素級處理也是并行化的。

利用DRP的這兩個并行化特性，我們可以在0.6ms的時間內(nèi)完成1幀1280x768分辨率圖像的處理，包含0.2ms的DRP庫載入時間和0.4ms的圖像數(shù)據(jù)處理時間。經(jīng)過步驟1的處理我們得到一個320x192的灰度圖。

步驟2

得到灰度圖后我們加載一個binarization_adaptive的DRP庫，將圖像轉(zhuǎn)換為只有0x00和0xFF兩種顏色的黑白圖像。這個DRP庫可以根據(jù)每個8x8像素區(qū)域的灰度值平均值動態(tài)計算二值化的閾值，這樣可以有效解決不同亮度的場景中二值化閾值該如何選擇的問題。

我們可以設(shè)置二值化轉(zhuǎn)換的參數(shù)，控制輸出圖像以反轉(zhuǎn)方式輸出，即二維碼圖像中黑色部分輸出為白色，這樣方便下一步對白色部分提取輪廓信息。步驟2的總處理時間是0.9ms左右，包含0.6ms的DRP庫載入時間和0.3ms的圖像數(shù)據(jù)處理時間。

步驟3

得到二值化圖像后我們再載入一個Dialte的DRP庫實現(xiàn)膨脹功能，其基本實現(xiàn)原理如下；

■   用3x3區(qū)塊以步長為1像素掃描輸入圖像

■   掃描窗口中心點的新數(shù)據(jù)輸出值為3x3范圍內(nèi)的最大值

■   實現(xiàn)效果：將白色擴(kuò)展，吞并被包圍的黑色區(qū)域

■   可配置迭代次數(shù)，次數(shù)越多，白色擴(kuò)展范圍越大

經(jīng)過膨脹處理后的圖像中，包含二維碼數(shù)據(jù)的區(qū)域基本被聯(lián)通，形成一個包含整個二維碼的大區(qū)域?？偺幚頃r間是0.4ms左右，包含0.2ms的DRP庫載入時間和0.2ms的圖像數(shù)據(jù)處理時間。

步驟4

此時我們對膨脹之后的圖像調(diào)用openCV的FindContour方法，它將得到這一幀圖像中所有高亮部分的外輪廓以及每個輪廓的最小外接矩形。我們會逐一判斷輪廓的寬高比，面積，位置等信息，篩選出最有可能包含二維碼的輪廓。如果條件不匹配則采集下一幀圖像。此步驟由CPU實現(xiàn)，時間約為4ms。

圖中帶有旋轉(zhuǎn)角度的矩形為二維碼區(qū)域的輪廓，后面我們會將這個旋轉(zhuǎn)的矩形調(diào)整為傾角為0度的圖形，用于更精細(xì)的特征檢測。而最小外接矩形的四個頂點坐標(biāo)將被換算成原始輸入圖像的坐標(biāo)，用于從原始圖像中裁剪包含二維碼的區(qū)域。

步驟5

為了保證二維碼標(biāo)識特征提取的精度，我們會從MIPI輸入buffer中裁剪Bayer格式的原始二維碼圖像。此時我們載入一個bayer2gray_cropping的DRP庫從MIPI buffer進(jìn)行圖像裁剪，裁剪的位置就是步驟4中最小外接矩形4個頂點在MIPI buffer中對應(yīng)的坐標(biāo)。

這個bayer2gray_cropping只占用1個Tile的硬件資源，它具備6個tile并行運(yùn)行的能力，因此我們會用6個Tile的DRP并行處理。

此步驟的執(zhí)行時間約為0.6ms，DRP的載入時間為0.25ms，執(zhí)行時間約為0.35ms

步驟6

下圖左側(cè)為裁剪出的帶有旋轉(zhuǎn)角度的灰度圖，其中4個綠色頂點可以從步驟4的輪廓信息得到。在此步驟中我們由CPU實現(xiàn)一個簡易的Keystone和縮放功能，將4個綠色頂點中的有效圖像映射到右側(cè)的buffer中，這里的梯形校正只是簡單抽取或重復(fù)原有像素點，不生成新的點，因此屬于有損但快速的算法。更精確的算法可用使用DRP的仿射變換(affine)功能，但會消耗更多的時間。

步驟7

得到一個無旋轉(zhuǎn)的圖像后，我們重復(fù)步驟2中的binarization_adaptive處理，得到一個無旋轉(zhuǎn)角度的二值化圖像。這一步耗時約0.5ms

步驟8

此時載入FindContour DRP庫，檢測二值化后的二維碼圖像中所有高麗部分的輪廓，檢測結(jié)果為圖像中藍(lán)色的矩形區(qū)域。

FindContour DRP庫會輸出每個輪廓的位置，大小信息。所有的輪廓信息將被保存起來用于下一步的二維碼標(biāo)識檢測。此過程總耗時約1.4ms，包含0.4ms的DRP庫載入時間及1.0ms的處理時間。

步驟9

此時我們已經(jīng)得到二維碼圖像中所有輪廓的坐標(biāo)信息，我們可以很容易的通過輪廓相對于二維碼的對應(yīng)位置，是否是正方形輪廓，是否包含對稱的子輪廓，是否包含偏心的子輪廓等信息來判斷出QR code, Micro QR code, 漢信碼，Aztec code。

對于DataMatrix的檢測，我們可以利用DRP運(yùn)行時不消耗CPU負(fù)載的特性，在步驟8的DRP處理過程中（1ms的DRP執(zhí)行期間）同時由CPU計算圖像每行和每列的求和統(tǒng)計，這樣可以讓DRP和CPU的處理也并行起來。

讓我們回顧以下以上9個步驟的處理：

我們可以在8ms的時間內(nèi)完成5種不同編碼的二維碼類型的檢測主要得益于：

■   加載具有并行化處理能力的DRP庫

■   同時加載多個DRP庫對一幀圖像的多個區(qū)域同時進(jìn)行處理

■   DRP處理期間，并行運(yùn)行CPU運(yùn)算

■   硬件DRP加速處理與openCV軟件處理無縫對接

此時如果將裁剪出來的二維碼圖像交給后續(xù)對應(yīng)的解碼器進(jìn)行解碼，將極大的縮短多類型二維碼解碼的處理時間。

以下是對一個快速旋轉(zhuǎn)且變換編碼格式的圖像進(jìn)行實時檢測的結(jié)果。

【video RZA2M_Barcode_Type_Detection_30ms_gif_c1.mp4】