基于INTEL 11代芯片Tiger Lake 在AI 套件OPENVINO上所開發(fā)之智合科技車聯(lián)網(wǎng)暨駕駛行為解決方案

隨著 5G 及車聯(lián)網(wǎng)發(fā)展，物流業(yè)主需要更具智慧的管理物流駕駛的系統(tǒng)，現(xiàn)行市場中仍處于安裝行車記錄器來進(jìn)行事后究責(zé)，無法達(dá)到事前預(yù)警及駕駛行為有效的改善。本提案透過兩支攝影機(jī)（車前影像及駕駛畫面）進(jìn)行在線影像分析，使用高效AI運(yùn)算主機(jī)(HPC)分析車前狀況及駕駛行為，當(dāng)發(fā)生異常事件后，進(jìn)行即時(shí)告警，并進(jìn)行事件錄影，透過4G/5G網(wǎng)路提供管理者查閱，讓管理者隨時(shí)檢視行車狀態(tài)（例如跟車過近或行人追撞危險(xiǎn)），即時(shí)發(fā)現(xiàn)并修正駕駛行為異常（例如分心）。

其用途為：

· 保障駕駛安全

· 透過駕駛行為智能分析來修正駕駛行為，以保護(hù)用路人安全

解決方案

本系統(tǒng)特別適合應(yīng)用于 運(yùn)輸業(yè) 的駕駛管理，我們使用：

· Intel 11 代 TigerLake Edge Computer 及 NCS2 神經(jīng)棒來提供高效能的 AI 運(yùn)算

· 使用二支 Webcam 擷取車前及駕駛影像，其中車前影像進(jìn)行人車物件偵測及追蹤，稱為 ADAS；車內(nèi)影像進(jìn)行駕駛?cè)四樧R(shí)別 [5]及頭部姿態(tài)角追蹤 [2]，稱為 DMS

· 當(dāng)系統(tǒng)偵測到 駕駛行為異常時(shí)，會(huì)即時(shí)提出警示，并進(jìn)行后端錄影

· 車隊(duì)管理者可以透過 4G/5G 路由連入檢測駕駛行為 異常狀況，可做駕駛行為評分依據(jù)。

在開發(fā)過程中所用軟硬體如下：

硬體：

軟體：

1.系統(tǒng)架構(gòu)－開發(fā)硬體平臺(tái)：Intel 11 代 TigerLake Edge Computer+ Intel? NCS2 + Webcam x2 + 路由器

本系統(tǒng)由兩支Webcam擷取車前及駕駛座影像，至車聯(lián)網(wǎng)AI平臺(tái)并將影像分流至OpenVINO平臺(tái)進(jìn)行AI inference，并將異常事件上傳至駕駛監(jiān)控平臺(tái)，業(yè)主能透過駕駛監(jiān)控平臺(tái)得知目前駕駛狀態(tài)。（圖一所示）

                                         圖一 系統(tǒng)架構(gòu)

2.技術(shù)架構(gòu)－OpenVINO GStreamer [4]

在串流處理，我們采用 OpenVINO 平臺(tái)搭配 GStreamer 及 OpenCV 方式進(jìn)行。
AI 順向使用 OpenVINO 預(yù)訓(xùn)練模型 [1]，主要有三類：

· 車前物件偵測及屬性識(shí)別

· 人臉檢測及頭部姿態(tài)角追蹤

· 人臉識(shí)別

影像輸入，可透過 Web Camera 或 檔案方式輸入，Inference 后的影像輸出到二路 V4L2 裝置 [3]

使用 GStreamer 連接 ADAS 及 DMS 所需的預(yù)訓(xùn)練模型（由OpenVINO提供），將 Inference 后的結(jié)果，由 MQTT 傳至團(tuán)隊(duì)開發(fā)的 AI 智能駕駛行為分析程式進(jìn)行分析，使用 OpenCV 進(jìn)行 online 貼圖，并將駕使行為異常結(jié)果儲(chǔ)存于資料庫，管理者可透過 本團(tuán)隊(duì)開發(fā)之駕駛監(jiān)控平臺(tái)進(jìn)行異常事件的檢索。（圖二所示）

圖二 技術(shù)架構(gòu)圖

3.ADAS Pipeline

圖三為 GStreamer 連接 OpenVINO Model（人、車、自行車辨識(shí)）、（人物屬性辨識(shí)）、（車輛屬性辨識(shí)）之 ADAS Pipeline：

圖三 ADAS Pipeline

DMS Pipeline

圖四為 GStreamer 連接 OpenVINO Model（頭部姿態(tài)角辨識(shí)）、（人臉辨識(shí)）之DMS Pipeline：

圖四 DMS Pipeline

成果介紹短片

成果介紹

· 安裝模擬場景

圖五  模擬場景

· ADAS 與 DMS 功能介紹及觸發(fā)條件

 圖六 功能介紹

· 車機(jī)畫面及駕駛監(jiān)控平臺(tái) – 展示說明

 圖七  車機(jī)畫面介紹

圖八  駕駛監(jiān)控平臺(tái)操作步驟

· 各項(xiàng)Model使用CPU及VPU效能表現(xiàn)

                                                      圖九  Model使用CPU及VPU效能

                           圖十 使用 CPU 及VPU 效能圖表 (因值域差異大，以 Log10 對數(shù)表示)

                                                                    圖十一  裝置工作詳細(xì)內(nèi)容

以下概略說明主要硬體的使用方式及整合后系統(tǒng)效能的表現(xiàn)，其中CPU 占比最高，功能包含：

· 負(fù)責(zé)兩項(xiàng) AI 功能：車前物件偵測與追蹤，及駕駛頭部姿態(tài)角

· 應(yīng)用端的邏輯及 online OSD 貼圖

· 網(wǎng)頁服務(wù)器及資料庫

GPU 提供車機(jī)影像的顯示，NCS2 神經(jīng)棒負(fù)責(zé)第三個(gè)AI的功能：人臉偵測與識(shí)別。

輸入資料量為兩只 Web Camera 攝影機(jī)，其分辨率為 752×416@30 FPS，整合后的系統(tǒng)效能，張數(shù)大約落在 15~25 張。

本系統(tǒng)能即時(shí)分析輔助駕駛并讓業(yè)主了解駕駛行為表現(xiàn)，可以進(jìn)行員工教育，提升駕駛素質(zhì)，保障駕駛及用路人的生命安全。