最新綜述 | 復(fù)雜環(huán)境中的計(jì)算機(jī)視覺(jué)問(wèn)題介紹及解決?。?）

模型和算法：交通流量變量包括交通量、密度、速度和排隊(duì)長(zhǎng)度。用于檢測(cè)和跟蹤目標(biāo)以從視頻中估計(jì)交通流量變量的算法和模型，可分為一階段和兩階段方法。在一階段方法中，根據(jù)檢測(cè)結(jié)果估計(jì)變量，并且沒(méi)有進(jìn)一步的分類(lèi)和位置優(yōu)化，例如：1） YOLOv3+DeepSORT跟蹤器；2） YOLOv2+空間金字塔池化；3） AlexNet+光流+高斯混合模型；4） 基于無(wú)人機(jī)視頻的CNN+光流；5） 基于無(wú)人機(jī)視頻的SSD（單鏡頭檢測(cè)）。兩階段方法首先生成包含輸入圖像中所有潛在目標(biāo)的區(qū)域建議，然后進(jìn)行分類(lèi)和位置優(yōu)化，兩階段方法的例子是：1）Faster R-CNN+SORT跟蹤器[81]；2） Faster R-CNN[82]，[83]；3） 基于無(wú)人機(jī)視頻的Faster R-CNN[84]，[85]。

當(dāng)前克服挑戰(zhàn)的方法：[86]中提出了ITS邊緣的DL方法，該方法在交通監(jiān)控視頻中執(zhí)行實(shí)時(shí)車(chē)輛檢測(cè)、跟蹤和計(jì)數(shù)。神經(jīng)網(wǎng)絡(luò)通過(guò)YOLOv3對(duì)象檢測(cè)方法捕獲外觀特征，在單幀級(jí)別檢測(cè)單個(gè)車(chē)輛，該方法部署在邊緣設(shè)備上，以最小化帶寬和功耗。[61]中討論了一種在惡劣天氣條件下實(shí)現(xiàn)各種交通環(huán)境中準(zhǔn)確度和檢測(cè)速度之間最佳權(quán)衡的車(chē)輛檢測(cè)和跟蹤方法。此外，還引入了一個(gè)名為DAWN的新數(shù)據(jù)集，用于在大霧、雨、雪和沙塵暴等惡劣天氣條件下進(jìn)行車(chē)輛檢測(cè)和跟蹤，以減少訓(xùn)練偏差。

模型和算法：基于計(jì)算機(jī)視覺(jué)的交通擁堵檢測(cè)方法也可分為單階段方法和多步驟方法。單階段方法從視頻圖像中識(shí)別車(chē)輛并直接執(zhí)行交通擁堵檢測(cè)。

當(dāng)前克服挑戰(zhàn)的方法：使用基于多個(gè)傳感器的解決方案（包括雷達(dá)、激光和傳感器融合）可以提高擁塞檢測(cè)性能，因?yàn)樵诂F(xiàn)實(shí)場(chǎng)景中使用單個(gè)傳感器很難實(shí)現(xiàn)理想的性能和精度。決策算法廣泛用于處理從多個(gè)傳感器獲取的融合數(shù)據(jù)[93]。利用惡劣天氣條件數(shù)據(jù)集訓(xùn)練的基于CNN的模型可以提高檢測(cè)性能[94]，同時(shí)也應(yīng)用了基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的風(fēng)格轉(zhuǎn)移方法[95]。這些方法有助于最大限度地減少與可推廣性相關(guān)的模型挑戰(zhàn)，從而提高真實(shí)世界的性能。

模型和算法：輔助AD的常見(jiàn)檢測(cè)任務(wù)分為交通標(biāo)志檢測(cè)、交通信號(hào)檢測(cè)、道路/車(chē)道檢測(cè)、行人檢測(cè)和車(chē)輛檢測(cè)。

當(dāng)前克服挑戰(zhàn)的方法：在交通標(biāo)志檢測(cè)中，現(xiàn)有的交通標(biāo)志數(shù)據(jù)集在挑戰(zhàn)條件的類(lèi)型和嚴(yán)重程度方面受到限制。與這些條件相對(duì)應(yīng)的元數(shù)據(jù)是不可用的，由于許多條件同時(shí)發(fā)生變化，因此無(wú)法調(diào)查單個(gè)因素的影響。為了克服這一問(wèn)題，[126]引入了CURE TSDReal數(shù)據(jù)集，該數(shù)據(jù)集基于與真實(shí)世界環(huán)境相對(duì)應(yīng)的模擬條件。[127]中提出了一種端到端交通標(biāo)志檢測(cè)框架特征聚合多路徑網(wǎng)絡(luò)（FAMN）。它由兩個(gè)主要結(jié)構(gòu)組成，即特征聚合和多路徑網(wǎng)絡(luò)結(jié)構(gòu)，以解決交通標(biāo)志檢測(cè)中的小對(duì)象檢測(cè)和細(xì)粒度分類(lèi)問(wèn)題。[128]中提出了一種用于夜間車(chē)輛檢測(cè)的車(chē)輛亮點(diǎn)信息輔助神經(jīng)網(wǎng)絡(luò)，其中包括兩項(xiàng)創(chuàng)新：基于車(chē)輛亮點(diǎn)建立車(chē)輛標(biāo)簽層次結(jié)構(gòu)和設(shè)計(jì)多層融合車(chē)輛亮點(diǎn)信息網(wǎng)絡(luò)。[129]中給出了夜間情況下的實(shí)時(shí)車(chē)輛檢測(cè)，其中圖像包括占據(jù)大圖像區(qū)域的閃光，并且車(chē)輛的實(shí)際形狀沒(méi)有很好地定義。通過(guò)使用全局圖像描述符和中央凹分類(lèi)器網(wǎng)格，可以準(zhǔn)確有效地估計(jì)車(chē)輛位置。AugGAN[95]是用于車(chē)輛檢測(cè)領(lǐng)域自適應(yīng)的非配對(duì)圖像到圖像轉(zhuǎn)換網(wǎng)絡(luò)。由于更好的圖像對(duì)象保存，它在數(shù)量上超過(guò)了競(jìng)爭(zhēng)方法，以實(shí)現(xiàn)更高的夜間車(chē)輛檢測(cè)精度。[130]中提出了一種逐步域自適應(yīng)（SDA）檢測(cè)方法，以通過(guò)最小化跨域目標(biāo)檢測(cè)任務(wù)中的差異來(lái)進(jìn)一步提高CycleGAN的性能。在第一步中，訓(xùn)練一個(gè)未配對(duì)的圖像到圖像翻譯器，通過(guò)將源圖像翻譯成目標(biāo)域中的相似圖像來(lái)構(gòu)造假目標(biāo)域。在第二步中，為了進(jìn)一步最小化跨域的差異，設(shè)計(jì)了一個(gè)自適應(yīng)的CenterNet，以對(duì)抗性學(xué)習(xí)的方式在特征級(jí)別對(duì)齊分布。

模型和算法：圖像分割包含三個(gè)子任務(wù)：語(yǔ)義分割、實(shí)例分割和全景分割。語(yǔ)義分割是一項(xiàng)精細(xì)的預(yù)測(cè)任務(wù)，用相應(yīng)的對(duì)象類(lèi)標(biāo)記圖像的每個(gè)像素，實(shí)例分割旨在識(shí)別和分割屬于每個(gè)對(duì)象實(shí)例的像素，而全景分割統(tǒng)一了語(yǔ)義分割和實(shí)例分割，從而為所有像素提供了類(lèi)標(biāo)簽和實(shí)例ID。

當(dāng)前克服挑戰(zhàn)的方法：最近的分割方向包括弱監(jiān)督語(yǔ)義分割[139]、[140]、領(lǐng)域自適應(yīng)[141]、[142]、多模態(tài)數(shù)據(jù)融合[143]、[144]和實(shí)時(shí)語(yǔ)義分割[145]、[146]、[147]。TS Yolo[148]是一個(gè)基于CNN的模型，用于在惡劣天氣條件下使用數(shù)據(jù)增強(qiáng)的新樣本進(jìn)行準(zhǔn)確的交通檢測(cè)。使用復(fù)制粘貼策略進(jìn)行數(shù)據(jù)擴(kuò)充，并從現(xiàn)有交通標(biāo)志實(shí)例構(gòu)建了大量新樣本?；赮oloV5，MixConv還用于在單個(gè)卷積運(yùn)算中混合不同的內(nèi)核大小，從而可以捕獲具有不同分辨率的模式。從大的輸入圖像中檢測(cè)和分類(lèi)現(xiàn)實(shí)生活中的小交通標(biāo)志是困難的，因?yàn)樗鼈兿鄬?duì)于較大的目標(biāo)占用較少的像素。為了解決這一問(wèn)題，Dense RefineDet[149]應(yīng)用了單鏡頭目標(biāo)檢測(cè)框架，以保持適當(dāng)?shù)木?速度權(quán)衡。[127]中提出了一種端到端交通標(biāo)志檢測(cè)框架特征聚合多徑網(wǎng)絡(luò)，以解決交通標(biāo)志檢測(cè)中的小對(duì)象檢測(cè)和細(xì)粒度分類(lèi)問(wèn)題。

模型和算法：在互聯(lián)自主車(chē)輛（CAV）中，根據(jù)數(shù)據(jù)類(lèi)型，可以在三個(gè)級(jí)別上執(zhí)行協(xié)作感知：早期融合（原始數(shù)據(jù)）、中間融合（預(yù)處理數(shù)據(jù)）和后期融合（處理數(shù)據(jù)），其中提取和傳輸中間神經(jīng)特征，其中共享檢測(cè)輸出（3D邊界盒位置、置信分?jǐn)?shù)），合作感知研究如何利用相鄰連接車(chē)輛和基礎(chǔ)設(shè)施的視覺(jué)線索來(lái)提高整體感知性能[150]！

1） 早期融合：[151]使用原始數(shù)據(jù)級(jí)LiDAR 3D點(diǎn)云融合從連接車(chē)輛的不同位置和角度收集的傳感器數(shù)據(jù)，并提出了一種基于點(diǎn)云的3D目標(biāo)檢測(cè)方法，以處理對(duì)齊點(diǎn)云的多樣性。DiscoNet利用知識(shí)蒸餾，通過(guò)將相應(yīng)的特征約束到網(wǎng)絡(luò)中用于早期融合的特征來(lái)增強(qiáng)訓(xùn)練。

2） 中間融合：F-Cooper為邊緣應(yīng)用提供了一個(gè)新的框架，為自動(dòng)駕駛車(chē)輛提供服務(wù)，也為3D融合檢測(cè)提供了新的策略。[154]提出了一種用于感知和預(yù)測(cè)的車(chē)對(duì)車(chē)（V2V）方法，該方法傳輸P&P神經(jīng)網(wǎng)絡(luò)的壓縮中間表示。[155]提出了一種注意力中間融合pipelines，以更好地捕獲網(wǎng)絡(luò)內(nèi)連接的代理之間的交互，[150]中提出了一種使用新型vit的具有車(chē)輛對(duì)一切（V2X）通信的魯棒協(xié)作感知框架。

3） 后期融合：基于Car2X的感知被建模為虛擬傳感器，以便將其集成到高級(jí)傳感器數(shù)據(jù)融合架構(gòu)中。

當(dāng)前克服挑戰(zhàn)的方法：

為了減少通信負(fù)載和開(kāi)銷(xiāo)，提出了一種用于集體感知中消息生成規(guī)則的改進(jìn)算法[157]，該算法通過(guò)重組集體感知消息的傳輸和內(nèi)容來(lái)提高V2X通信的可靠性。[158]提出并評(píng)估了一個(gè)統(tǒng)一的合作感知框架，該框架包含分散的數(shù)據(jù)關(guān)聯(lián)和融合過(guò)程，該過(guò)程可根據(jù)參與方差進(jìn)行擴(kuò)展。通過(guò)采用現(xiàn)有模型以及單個(gè)車(chē)輛車(chē)載傳感器視野的簡(jiǎn)化算法，評(píng)估考慮了自組織V2V網(wǎng)絡(luò)中的通信損失和交通中的隨機(jī)車(chē)輛運(yùn)動(dòng)的影響。AICP在[159]中提出，這是第一個(gè)解決方案，其重點(diǎn)是通過(guò)在網(wǎng)絡(luò)和應(yīng)用層進(jìn)行有效過(guò)濾來(lái)優(yōu)化普適合作感知系統(tǒng)的信息性。為了促進(jìn)系統(tǒng)聯(lián)網(wǎng)，他們還使用了一個(gè)網(wǎng)絡(luò)協(xié)議棧，該協(xié)議棧包括專(zhuān)用數(shù)據(jù)結(jié)構(gòu)和專(zhuān)門(mén)用于信息密集型應(yīng)用的輕量級(jí)路由協(xié)議！

模型和算法：來(lái)自視頻的軌跡預(yù)測(cè)對(duì)于自動(dòng)駕駛、交通預(yù)測(cè)和擁堵管理非常有用。該領(lǐng)域中較老的工作集中于同質(zhì)代理，例如高速公路上的汽車(chē)或人群中的行人，而異構(gòu)代理僅在稀疏場(chǎng)景中考慮，具有某些假設(shè)，如基于車(chē)道的駕駛。

當(dāng)前克服挑戰(zhàn)的方法：[172]中的切換線性動(dòng)態(tài)系統(tǒng)（SLDS）描述了易受傷害道路使用者的動(dòng)態(tài)，并使用從車(chē)載立體攝像機(jī)提取的特征中提取的上下文擴(kuò)展了動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)，重點(diǎn)關(guān)注靜態(tài)和動(dòng)態(tài)線索。該方法可以實(shí)時(shí)工作，提供道路用戶(hù)軌跡的準(zhǔn)確預(yù)測(cè)，它可以通過(guò)增加交通燈和人行橫道等環(huán)境來(lái)改善。[173]中探討了機(jī)載相機(jī)和激光雷達(dá)以及V2V通信的使用，以使用隨機(jī)森林和LSTM架構(gòu)預(yù)測(cè)軌跡。YOLO用于檢測(cè)汽車(chē)并提供邊界框，而LiDAR提供位置的細(xì)微變化，V2V通信傳輸轉(zhuǎn)向角等原始值，以減少預(yù)測(cè)的不確定性和延遲。在[174]中，TRAF數(shù)據(jù)集用于靜態(tài)或移動(dòng)相機(jī)的魯棒端到端實(shí)時(shí)軌跡預(yù)測(cè)。多車(chē)輛跟蹤采用Mask R-CNN和互速障礙物算法。如[74]所示，最后3秒的跟蹤用于預(yù)測(cè)接下來(lái)5秒的軌跡，具有端到端可訓(xùn)練的額外優(yōu)勢(shì)，不需要注釋的軌跡數(shù)據(jù)。本文還提供了TrackNPred，這是一個(gè)基于python的庫(kù)，包含不同軌跡預(yù)測(cè)方法的實(shí)現(xiàn)。它是許多軌跡預(yù)測(cè)方法的通用接口，可用于在真實(shí)世界密集和異構(gòu)交通數(shù)據(jù)集上使用標(biāo)準(zhǔn)誤差測(cè)量度量進(jìn)行性能比較。大多數(shù)用于軌跡預(yù)測(cè)的DL方法都沒(méi)有揭示潛在的獎(jiǎng)勵(lì)函數(shù)，相反，它們只依賴(lài)于以前看到的示例，這阻礙了可推廣性并限制了其范圍。在[175]中，反向強(qiáng)化學(xué)習(xí)被用于找到獎(jiǎng)勵(lì)函數(shù)，從而可以說(shuō)該模型有一個(gè)具體的目標(biāo)，允許其部署在任何環(huán)境中。[176]中執(zhí)行基于變換器的運(yùn)動(dòng)預(yù)測(cè)，以在Agroverse數(shù)據(jù)集中實(shí)現(xiàn)最先進(jìn)的多模態(tài)軌跡預(yù)測(cè)。該網(wǎng)絡(luò)對(duì)道路幾何形狀和車(chē)輛之間的相互作用進(jìn)行建模。[177]中，通過(guò)時(shí)空?qǐng)D上的圖卷積網(wǎng)絡(luò)預(yù)測(cè)復(fù)雜城市場(chǎng)景中的行人意圖，該方法考慮了等待穿越的行人與車(chē)輛運(yùn)動(dòng)之間的關(guān)系。雖然在多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了80%的準(zhǔn)確率，但它可以提前一秒預(yù)測(cè)跨越的意圖。另一方面，將行人建模為機(jī)器人，結(jié)合SVM而不需要姿勢(shì)信息，導(dǎo)致更長(zhǎng)的預(yù)測(cè)，但缺乏對(duì)上下文信息的考慮[178]。

模型和算法：交通監(jiān)控?cái)z像頭可用于自動(dòng)檢測(cè)交通異常，如停車(chē)和排隊(duì)。[68]已使用車(chē)輛拐角等低級(jí)別圖像特征的檢測(cè)來(lái)演示隊(duì)列檢測(cè)和隊(duì)列長(zhǎng)度估計(jì)，而無(wú)需在不同照明條件下進(jìn)行對(duì)象跟蹤或背景去除。基于光流的跟蹤方法不僅可以提供隊(duì)列長(zhǎng)度，還可以提供速度、車(chē)輛數(shù)量、等待時(shí)間和車(chē)頭時(shí)距。

當(dāng)前克服挑戰(zhàn)的方法：異常檢測(cè)依賴(lài)于監(jiān)控?cái)z像頭，通?？梢蕴峁┑缆愤h(yuǎn)處的視野，但遠(yuǎn)處的車(chē)輛僅占用幾個(gè)像素，這使得檢測(cè)變得困難。因此，[182]除了多粒度的box級(jí)跟蹤之外，還使用像素級(jí)跟蹤。關(guān)鍵思想是基于幀差的掩模提取和基于高斯混合模型的車(chē)輛軌跡跟蹤，以消除移動(dòng)車(chē)輛，并結(jié)合基于幀變化的分割來(lái)消除停車(chē)區(qū)。異常融合使用具有回溯優(yōu)化的box和像素級(jí)跟蹤特征來(lái)細(xì)化預(yù)測(cè)。監(jiān)控?cái)z像機(jī)容易在風(fēng)中抖動(dòng)，因此在使用Faster R-CNN和級(jí)聯(lián)R-CNN形式的兩階段車(chē)輛檢測(cè)之前，進(jìn)行了視頻穩(wěn)定預(yù)處理[183]。從監(jiān)控視頻中進(jìn)行異常檢測(cè)的有效實(shí)時(shí)方法將外觀和運(yùn)動(dòng)學(xué)習(xí)分離為兩部分[184]。首先，自動(dòng)編碼器學(xué)習(xí)外觀特征，然后3D卷積層可以使用來(lái)自多個(gè)過(guò)去幀的潛在代碼來(lái)預(yù)測(cè)未來(lái)幀的特征。預(yù)測(cè)特征和實(shí)際特征之間的顯著差異表明異常，該模型可以部署在交通攝像頭附近的邊緣節(jié)點(diǎn)上，與像素方法相比，潛在特征似乎對(duì)照明和天氣變化具有魯棒性。為了擺脫對(duì)異常注釋數(shù)據(jù)的依賴(lài)，[185]中的無(wú)監(jiān)督單類(lèi)方法應(yīng)用時(shí)空卷積自動(dòng)編碼器來(lái)獲取潛在特征，將它們堆疊在一起，序列到序列LSTM學(xué)習(xí)時(shí)間模式。該方法在多個(gè)真實(shí)世界監(jiān)控錄像數(shù)據(jù)集上表現(xiàn)良好，但并不比監(jiān)督訓(xùn)練方法更好。其優(yōu)點(diǎn)是，它可以在正常交通數(shù)據(jù)上無(wú)限期地訓(xùn)練，而沒(méi)有任何標(biāo)記的異常。

模型和算法：ITS中的計(jì)算機(jī)視覺(jué)需要高效的基礎(chǔ)架構(gòu)來(lái)實(shí)時(shí)分析數(shù)據(jù)。如果將所有獲取的視頻流發(fā)送到單個(gè)服務(wù)器，則所需的帶寬和計(jì)算將無(wú)法提供可用的服務(wù)。例如，[193]中探討了使用視頻有用性度量進(jìn)行實(shí)時(shí)自動(dòng)故障檢測(cè)的邊緣計(jì)算架構(gòu)。只有被認(rèn)為有用的視頻才被傳輸?shù)椒?wù)器，而監(jiān)控?cái)z像機(jī)的故障或視線受阻會(huì)被自動(dòng)報(bào)告?；谶吘壴频挠?jì)算可以實(shí)現(xiàn)DL模型，不僅用于計(jì)算機(jī)視覺(jué)任務(wù)，還用于資源分配和效率[194]。被動(dòng)監(jiān)控現(xiàn)在已經(jīng)被文獻(xiàn)中越來(lái)越多的配備傳感器的車(chē)輛所取代，這些車(chē)輛可以協(xié)同執(zhí)行感知和建圖[56]。車(chē)輛上的車(chē)載計(jì)算資源通常不夠強(qiáng)大，無(wú)法實(shí)時(shí)處理所有傳感器數(shù)據(jù)，而定位和地圖等應(yīng)用程序可能需要大量計(jì)算。

當(dāng)前克服挑戰(zhàn)的方法：大規(guī)模DL的一個(gè)問(wèn)題是產(chǎn)生的大量數(shù)據(jù)無(wú)法發(fā)送到云計(jì)算機(jī)進(jìn)行訓(xùn)練。聯(lián)合學(xué)習(xí)[199]已經(jīng)成為解決這個(gè)問(wèn)題的一種方法，特別是考慮到異構(gòu)數(shù)據(jù)源、帶寬和隱私問(wèn)題。訓(xùn)練可以在邊緣節(jié)點(diǎn)或邊緣服務(wù)器上執(zhí)行，結(jié)果被發(fā)送到云以在共享深度學(xué)習(xí)模型中聚合[56]。聯(lián)合學(xué)習(xí)對(duì)單個(gè)邊緣節(jié)點(diǎn)的故障也具有魯棒性[191]，[200]中通過(guò)以增量和無(wú)監(jiān)督學(xué)習(xí)的形式，僅將邊緣節(jié)點(diǎn)的推斷數(shù)據(jù)傳輸?shù)皆疲鉀Q了帶寬、數(shù)據(jù)隱私和功率需求的問(wèn)題。通常，在邊緣處理數(shù)據(jù)以減少帶寬具有匿名傳輸數(shù)據(jù)的令人愉快的副作用[201]，另一種降低帶寬需求的方法是對(duì)交通流預(yù)測(cè)所需的時(shí)空特征進(jìn)行頻譜聚類(lèi)壓縮[192]。深度學(xué)習(xí)模型不能直接導(dǎo)出到移動(dòng)邊緣節(jié)點(diǎn)，因?yàn)樗鼈兺ǔ＿^(guò)于計(jì)算密集。[202]中引入了存儲(chǔ)和計(jì)算方面的神經(jīng)網(wǎng)絡(luò)修剪，而[203]中討論了在硬件上實(shí)現(xiàn)生成的稀疏網(wǎng)絡(luò)，實(shí)現(xiàn)了效率的多個(gè)數(shù)量級(jí)提高。[204]中為移動(dòng)邊緣單元開(kāi)發(fā)了一個(gè)通用的輕量級(jí)CNN模型，該模型與AlexNet和VGG-16相匹配或優(yōu)于它們，但只占尺寸和計(jì)算成本的一小部分。[86]部署了使用深度學(xué)習(xí)的基于邊緣計(jì)算的交通流檢測(cè)，YOLOv3與DeepSORT一起進(jìn)行了訓(xùn)練和修剪，以部署在邊緣設(shè)備上實(shí)現(xiàn)實(shí)時(shí)性能。[205]中對(duì)在低功耗邊緣計(jì)算機(jī)上部署用于物聯(lián)網(wǎng)應(yīng)用的緊湊型DNN進(jìn)行了全面審查。他們注意到，DNN應(yīng)用的多樣性和數(shù)量需要一種超越傳統(tǒng)修剪技術(shù)的自動(dòng)模型壓縮方法。

雖然大量數(shù)據(jù)對(duì)于訓(xùn)練深度學(xué)習(xí)模型至關(guān)重要，但質(zhì)量往往是訓(xùn)練性能的限制因素。數(shù)據(jù)管理是一個(gè)必要的過(guò)程，以包括邊緣案例，并根據(jù)來(lái)自真實(shí)世界的代表性數(shù)據(jù)訓(xùn)練模型。標(biāo)記視覺(jué)數(shù)據(jù)，特別是在復(fù)雜的城市環(huán)境中，是一項(xiàng)由人類(lèi)完成的勞動(dòng)密集型任務(wù)?？梢酝ㄟ^(guò)首先使用現(xiàn)有的基于相關(guān)任務(wù)的對(duì)象檢測(cè)或分割算法來(lái)自動(dòng)標(biāo)記數(shù)據(jù)來(lái)加快速度。然后可以進(jìn)一步檢查這一點(diǎn)，以消除機(jī)器的錯(cuò)誤，從而創(chuàng)建一個(gè)有用的標(biāo)記數(shù)據(jù)集。還需要包括來(lái)自不同視圖的多個(gè)傳感器的數(shù)據(jù)集來(lái)訓(xùn)練協(xié)作感知算法。由于硬件要求和同步問(wèn)題，收集此類(lèi)數(shù)據(jù)必然具有挑戰(zhàn)性，但可以使用與將部署的配置類(lèi)似的連接車(chē)輛和儀表交叉口。像[207]這樣的數(shù)據(jù)驅(qū)動(dòng)模擬器使用高保真數(shù)據(jù)集來(lái)模擬相機(jī)和激光雷達(dá)，這可以用來(lái)訓(xùn)練具有在現(xiàn)實(shí)世界中難以捕獲的數(shù)據(jù)的DL模型[208]。這種方法在自動(dòng)駕駛車(chē)輛控制的端到端強(qiáng)化學(xué)習(xí)中顯示了希望[209]。預(yù)計(jì)領(lǐng)域適應(yīng)技術(shù)將進(jìn)一步擴(kuò)展，以利用合成數(shù)據(jù)和方便收集的數(shù)據(jù)。

轉(zhuǎn)移學(xué)習(xí)的子領(lǐng)域，特別是few-shot學(xué)習(xí)和zero-shot學(xué)習(xí)，將廣泛應(yīng)用專(zhuān)家知識(shí)，以解決缺乏數(shù)據(jù)的挑戰(zhàn)，如ITS和AD中的角案例識(shí)別。同樣，新的無(wú)監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)模型有望在現(xiàn)實(shí)世界計(jì)算機(jī)視覺(jué)的一般領(lǐng)域中應(yīng)用。未來(lái)在視覺(jué)transformer可解釋性方面的工作將允許基于多個(gè)樣本的聚合度量獲得更全面的見(jiàn)解[41]?？山忉屝匝芯恳灿型u(píng)估基于模型和無(wú)模型強(qiáng)化學(xué)習(xí)方法之間的差異[42]。數(shù)據(jù)分散是ITS中公認(rèn)的趨勢(shì)，為了解決數(shù)據(jù)隱私、大規(guī)模數(shù)據(jù)處理和效率等問(wèn)題，基于視覺(jué)任務(wù)的眾感知[210]和聯(lián)合學(xué)習(xí)[211]是ITS和AD中不可避免的未來(lái)方向。此外，與為單個(gè)任務(wù)訓(xùn)練單個(gè)模型的傳統(tǒng)方式不同，使用通用基礎(chǔ)模型（例如Florence[212]）學(xué)習(xí)多個(gè)下游任務(wù)是處理各種數(shù)據(jù)挑戰(zhàn)的一種有前途的趨勢(shì)。另一種機(jī)制是ITS中的數(shù)據(jù)處理并行性，與邊緣計(jì)算相結(jié)合，用于多任務(wù)（例如，交通監(jiān)控和道路監(jiān)控）學(xué)習(xí)[213]。

深度學(xué)習(xí)模型經(jīng)過(guò)訓(xùn)練，直到達(dá)到良好的準(zhǔn)確性，但真實(shí)世界的測(cè)試往往揭示出邊緣情況和復(fù)雜環(huán)境條件下的弱點(diǎn)。需要在線學(xué)習(xí)，以使此類(lèi)模型繼續(xù)改進(jìn)并適應(yīng)現(xiàn)實(shí)場(chǎng)景，否則無(wú)法實(shí)際使用。如果由于缺乏對(duì)預(yù)測(cè)正確性的實(shí)時(shí)反饋而無(wú)法進(jìn)行在線訓(xùn)練，則必須使用人工存儲(chǔ)和標(biāo)記的真實(shí)數(shù)據(jù)定期分析性能。這可以作為一種迭代反饋循環(huán)，其中模型不需要顯著改變，只需要根據(jù)其發(fā)現(xiàn)的最具挑戰(zhàn)性的輸入進(jìn)行增量重新訓(xùn)練。部分自動(dòng)化這一點(diǎn)的一種可能方式是使用相同的輸入數(shù)據(jù)進(jìn)行多個(gè)不同的冗余體系結(jié)構(gòu)的預(yù)測(cè)以及置信度得分。如果輸出不一致，或者如果某個(gè)輸出的置信度分?jǐn)?shù)較低，則可以手動(dòng)標(biāo)記該數(shù)據(jù)點(diǎn)并將其添加到下一次訓(xùn)練迭代的訓(xùn)練集中。

部署到邊緣設(shè)備的復(fù)雜深度學(xué)習(xí)模型需要通過(guò)諸如修剪之類(lèi)的方法來(lái)提高效率。簡(jiǎn)單的修剪方法可以將CNN性能提高30%以上，根據(jù)具體的架構(gòu)，模型還可以被劃分為部署在獨(dú)立邊緣單元上的不同功能塊，以最小化帶寬和計(jì)算時(shí)間[215]。邊緣人工智能的一個(gè)可預(yù)見(jiàn)的未來(lái)階段是“邊緣的模型訓(xùn)練和推理”，沒(méi)有云數(shù)據(jù)中心的參與！

近年來(lái)，人們對(duì)可解釋的人工智能進(jìn)行了大量研究，尤其是在計(jì)算機(jī)視覺(jué)方面。已經(jīng)使用三種可解釋的方法來(lái)處理神經(jīng)網(wǎng)絡(luò)：基于梯度的顯著性圖、類(lèi)激活映射和激發(fā)反向傳播[216]。[217]中將這些方法擴(kuò)展到圖卷積網(wǎng)絡(luò)，指出輸入中與分類(lèi)相對(duì)應(yīng)的模式。[218]中給出了自我注意和共同注意transfomer網(wǎng)絡(luò)的可解釋性通用解決方案。雖然將這些方法應(yīng)用于交通應(yīng)用并不簡(jiǎn)單，但已經(jīng)做出了一些努力來(lái)理解深度時(shí)空神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)處理視頻目標(biāo)分割和動(dòng)作識(shí)別，量化網(wǎng)絡(luò)中的靜態(tài)和動(dòng)態(tài)信息，并深入了解模型，突出從數(shù)據(jù)集學(xué)習(xí)到的偏差[219]。為了減輕遮擋、噪聲和傳感器故障的影響，合作傳感模型開(kāi)發(fā)是未來(lái)更好地感知3D的必要方向。V2X網(wǎng)絡(luò)和視覺(jué)transformer已用于魯棒協(xié)作感知，可支持連接的自動(dòng)駕駛車(chē)輛平臺(tái)中的感知[155]。聯(lián)網(wǎng)的自動(dòng)駕駛汽車(chē)還將托管其他深度學(xué)習(xí)模型，這些模型可以以分布式方式從新數(shù)據(jù)中學(xué)習(xí)。共識(shí)驅(qū)動(dòng)的分布式感知有望利用6G V2X等未來(lái)網(wǎng)絡(luò)技術(shù)，從而實(shí)現(xiàn)低延遲模型訓(xùn)練，從而實(shí)現(xiàn)真正的L5級(jí)自動(dòng)駕駛汽車(chē)。

多模態(tài)感知和合作感知是未來(lái)實(shí)用研究的必要途徑。視頻、激光雷達(dá)和音頻等不同的模式可以組合使用，以提高純粹基于視覺(jué)的方法的性能。音頻尤其適用于早期檢測(cè)行人中的異常情況，如打架或騷亂，以及擁擠十字路口的車(chē)輛，因?yàn)橐曈X(jué)混亂可能不會(huì)立即顯示機(jī)械故障或輕微事故等問(wèn)題。協(xié)作感知將允許來(lái)自不同車(chē)輛的同一環(huán)境的多個(gè)傳感器視圖構(gòu)建包含比任何單個(gè)代理都能感知到的信息更多的公共圖片，從而解決遮擋和照明問(wèn)題。使用遷移學(xué)習(xí)來(lái)提高現(xiàn)實(shí)任務(wù)中的模型性能的趨勢(shì)越來(lái)越大。最初，基于合成數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，并使用任務(wù)特定數(shù)據(jù)進(jìn)行微調(diào)，從而降低了復(fù)雜的一次性深度學(xué)習(xí)模型的可靠性，并通過(guò)對(duì)具有挑戰(zhàn)性的城市場(chǎng)景進(jìn)行再訓(xùn)練來(lái)提高真實(shí)世界的性能。如前所述，領(lǐng)域適應(yīng)、zero-shot學(xué)習(xí)、few-shot學(xué)習(xí)和基礎(chǔ)模型是預(yù)期的轉(zhuǎn)移學(xué)習(xí)領(lǐng)域，可用于此目的。在嵌入式硬件上部署后，通過(guò)在擁擠且具有挑戰(zhàn)性的場(chǎng)景中進(jìn)行在線學(xué)習(xí)，可以進(jìn)一步改善[185]中所述的無(wú)監(jiān)督方法的結(jié)果，因?yàn)榇嬖跓o(wú)限量的未標(biāo)記數(shù)據(jù)。在[221]中，作為異常檢測(cè)的深度學(xué)習(xí)方法的一個(gè)重要方面，討論了在復(fù)雜環(huán)境中缺乏關(guān)于誤報(bào)率上限的理論性能分析，建議未來(lái)的研究也包括這一分析。很難想象完全依賴(lài)監(jiān)控?cái)z像頭來(lái)進(jìn)行強(qiáng)大、廣泛和經(jīng)濟(jì)的交通異常檢測(cè)。[222]中的方法包括交通、網(wǎng)絡(luò)、人口統(tǒng)計(jì)、土地利用和天氣數(shù)據(jù)源，以檢測(cè)交通。這種想法可以與計(jì)算機(jī)視覺(jué)應(yīng)用結(jié)合使用，以獲得更好的整體性能。

ITS中邊緣計(jì)算應(yīng)用的未來(lái)方向?qū)⒖紤]多源數(shù)據(jù)融合和在線學(xué)習(xí)。許多因素，如看不見(jiàn)的車(chē)輛形狀、新的周?chē)h(huán)境、可變的交通密度和罕見(jiàn)的事件，對(duì)DL模型來(lái)說(shuō)都太具有挑戰(zhàn)性，該新數(shù)據(jù)可用于系統(tǒng)的在線訓(xùn)練。傳統(tǒng)應(yīng)用程序可以使用邊緣計(jì)算和IoV/IoT框架進(jìn)行擴(kuò)展，從視頻中重新識(shí)別車(chē)輛正在成為遮擋的最穩(wěn)健解決方案。然而，包含更多用于學(xué)習(xí)的時(shí)空信息會(huì)導(dǎo)致更大的內(nèi)存和計(jì)算使用。使用已知特征，可以在不同時(shí)間點(diǎn)將一個(gè)相機(jī)視圖中的軌跡與其它視圖進(jìn)行匹配。代替使用固定窗口，基于相似性和質(zhì)量的自適應(yīng)特征聚合可以推廣到許多多目標(biāo)跟蹤任務(wù)[225]。transformer在學(xué)習(xí)異構(gòu)體之間的動(dòng)態(tài)交互方面特別有用，這在擁擠的城市環(huán)境中對(duì)于檢測(cè)和軌跡預(yù)測(cè)特別有用。它們還可用于檢測(cè)異常和預(yù)測(cè)潛在危險(xiǎn)情況，如多用戶(hù)異構(gòu)場(chǎng)景中的碰撞！

[1] Deep Learning based Computer Vision Methods for Complex Traffic Environments Perception: A Review

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。