無人機(jī)航拍建筑物視圖網(wǎng)絡(luò)融合目標(biāo)識別分析

基金項目：江西省教育廳科學(xué)技術(shù)研究項目，項目編號：GJJ2208301

城市道路坍塌事故隨著城市地下空間資源開發(fā)程度不斷增加而持續(xù)增加。通過調(diào)研得出，地下隱性病害是造成道路坍塌的主要因素，這點可通過調(diào)查大量路面質(zhì)量所得^[1]。作為道路病害檢測的重要手段，無人機(jī)航拍技術(shù)可實現(xiàn)快速無損檢測地下介質(zhì)分布，以電磁波反射作為主要依據(jù)^[2]。

李海峰等^[3]融合了GPR 與B-scan 三維數(shù)據(jù)特征，充分利用卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)高效率識別機(jī)場跑道病害。Moalla等^[4]在檢測埋藏危險物時選取視圖方向為橫斷面和縱斷面，利用GPR 三維數(shù)據(jù)以及CNN 和遞歸神經(jīng)網(wǎng)絡(luò)CNN。目標(biāo)識別方法以試圖融合為基礎(chǔ)，三維數(shù)據(jù)由無人機(jī)航拍獲取，視圖特征主要運(yùn)用該方法提取，獲取得到3 個2DCNN 并融合，有利于促進(jìn)目標(biāo)識別準(zhǔn)確率的提高。

應(yīng)用視圖融合方法實現(xiàn)地下多目標(biāo)分類主要應(yīng)用3DGPR 數(shù)據(jù)。2DCNN 的輸入包含GPR 三維數(shù)據(jù)的俯視圖、側(cè)視圖及正視圖立方體，實施特征分類時需充分融合3 個2DCNN 的特征。相比于B-scan 圖像方法，現(xiàn)有三平面方法經(jīng)實驗證明表現(xiàn)出的多目標(biāo)分類性能更好。室內(nèi)實驗數(shù)據(jù)數(shù)量較小時，GPR 實測數(shù)據(jù)集被標(biāo)記的數(shù)量較少。為了對視圖融合方法性能進(jìn)行驗證分析，十分有必要利用多種CNN 架構(gòu)和大量實測數(shù)據(jù)。

1 視圖融合原理

作為一種通用的網(wǎng)絡(luò)體系結(jié)構(gòu)，將2DCNN 與視圖融合方法相結(jié)合。為驗證該方法性能，2DCNN 由VGG16 和Alexnet 兩個深度神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)構(gòu)成，均具有全連接層^[6]。分別按照227×227×K、224×224×K（K 為通道數(shù)）調(diào)整Alexnet 網(wǎng)絡(luò)、VGG16 網(wǎng)絡(luò)的輸入圖像大小，為減少特征圖尺寸和提取特征，需要通過池化層和利用連續(xù)卷積實現(xiàn)^[7]。

2 實驗方案

2.1 數(shù)據(jù)采集

步進(jìn)頻連續(xù)波GPR 系統(tǒng)以VN A 為基礎(chǔ)，完成三維數(shù)據(jù)的采集實驗。設(shè)定步進(jìn)頻步長為8 MHz，頻率處于（1.8~5）GHz。在干沙表面放置收發(fā)天線，高5~10 cm，中心距離為18 cm。共有5 種地下目標(biāo)：無埋地物背景、多芯電力電纜4 根、含水量不同的塑料瓶、聚氯乙烯（PVC）塑料管1 根、金屬管共2 根。模含水地下空洞選用含水塑料瓶實現(xiàn)。本次實驗中涉及的場景有14 個，深度和位置不一致，采用隨機(jī)方式在內(nèi)部埋入2~3 個目標(biāo)，采集的B-scan 圖像為平行狀態(tài)，共20個，231×74×20（深度× 長度× 寬度）為GPR 原始3D 數(shù)據(jù)的采集尺寸。

2.2 控制流程

Alexnet 網(wǎng)絡(luò)各層數(shù)據(jù)大小情況如1 所示。首先，依次按照227×227×60、227×227×30 及227×227×5尺寸采用雙線性插值法調(diào)整輸入視圖立方體。2D 圖像的通道數(shù)在前兩個2DCNN 分支中依次為正視圖立方體寬度和側(cè)視圖立方體長度，在第3 個2DCNN 分支中是俯視圖立方體深度。然后再依次按照11×11×60、11×11×30 和11×11×5 大小設(shè)置第1 個卷積層在3 個分支中的內(nèi)核尺寸。FC4 層重組（Concatenation）FC1、FC2 和FC3 這3 個全連接層的輸出，經(jīng)3 個2DCNN 分支獲取視圖立方體，充分融合3 種網(wǎng)絡(luò)分支的特征。最后利用softmax 函數(shù)在分類層輸出，F(xiàn)C4 通過FC5 實現(xiàn)。對比分析傳統(tǒng)方法與本文方法，按4 096 的標(biāo)準(zhǔn)設(shè)置各層神經(jīng)元數(shù)量，包括FC1、FC2、FC3 及FC5，softmax層所含神經(jīng)元因分類目標(biāo)有5 種數(shù)量也為5。

圖1 基于Alexnet網(wǎng)絡(luò)的視圖融合目標(biāo)識別方法示意圖

3 結(jié)果分析

對比分析基于B-scan 圖像的傳統(tǒng)方法與單視圖方法。評估分類性能時主要以F-score 準(zhǔn)確度和平均值作為重要參考依據(jù)。利用Alexnet 結(jié)構(gòu)調(diào)整所有方法。如表1 所示，測試集和訓(xùn)練集在不同方法下顯示的數(shù)據(jù)。測試集和訓(xùn)練集在選用單視圖法和視圖融合法時的數(shù)量依次為250 和750。但是當(dāng)立方體寬帶為w，選用傳統(tǒng)方法以B-scan 圖像為基礎(chǔ)時，將w 乘以250 和750 作為訓(xùn)練集與測試集的數(shù)量。

表1 不同寬度下的訓(xùn)練集和測試集數(shù)量

3D 立方體不同寬度采用不同方法獲取的數(shù)據(jù)如下表2 所示。通過對比分析得出，不論是從F-score 還是從準(zhǔn)確度數(shù)據(jù)結(jié)果來看，視圖融合方法顯優(yōu)勢較為突出。大量信息提取方式采用視圖融合方法完成，保證分類結(jié)果更佳。相比于基于B-scan 圖像的傳統(tǒng)方法，在分類性能方面?zhèn)纫晥D立方體與正視圖立方體占據(jù)更大優(yōu)勢，大量目標(biāo)空間信息可通過組合多個D-scan 圖像與B-scan 圖像獲取。

表2 各方法在不同寬度下的分類結(jié)果

4 結(jié)束語

本文開展了無人機(jī)航拍建筑物視圖網(wǎng)絡(luò)融合目標(biāo)識別分析，研究得到如下結(jié)果：

1）不論是從F-score 還是從準(zhǔn)確度數(shù)據(jù)結(jié)果來看，視圖融合方法顯優(yōu)勢較為突出，保證分類結(jié)果更佳。

2）相比于基于B-scan 圖像的傳統(tǒng)方法，在分類性能方面?zhèn)纫晥D立方體與正視圖立方體占據(jù)更大優(yōu)勢。

參考文獻(xiàn)：

[1] 張力文, 聶俊麗. 利用改進(jìn)的f-k濾波方法壓制無人機(jī)航拍中的線性干擾[J].電子學(xué)報, 2022, 50(6): 1444-1450.

[2] 杜文靜, 劉慶華, 歐陽繕. 一種復(fù)塊稀疏貝葉斯無人機(jī)航拍成像算法[J].現(xiàn)代雷達(dá), 2022, 44(5): 33-39.

[3] LI H,LI N,WU R,et al.GPR-RCNN: an algorithm of subsurface defect detection for airport runway based on GPR[J].IEEE Robotics and Automation Letters,2021,6(2):3001-3008.

[4] MOALLA M, FRIGUI H, KAREM A, et al. Application of convolutional and recurrent neural networks for buried threat detection using ground penetrating radar data[J].IEEE Transactions on Geoscience and Remote Sensing,2020,58(10):7022-7034.

[5] 丁曉雯,丁強(qiáng),顧君垚,等.基于1DCNN-DS的冷水機(jī)組故障診斷[J].低溫與超導(dǎo),2022,50(7): 69-76.

[6] 金守峰,侯一澤,焦航,等.基于改進(jìn)AlexNet模型的抓毛織物質(zhì)量檢測方法[J].紡織學(xué)報,2022,43(6):133-139.

[7] 杜翠,王寧,劉杰,等.無人機(jī)航拍鐵路檢測大數(shù)據(jù)多線程并行處理方法[J].鐵道建筑,2022,62(4):126-129.

（本文來源于《電子產(chǎn)品世界》雜志2023年8月期）