基于STM32MP157的多核心處理器開發(fā)輔助盲人手杖解決方案

友尚推出輔助盲人手杖解決方案，基于ST MPU+ST全局快門影像傳感器及DToF架構(gòu)。

主要元件簡(jiǎn)介：

• STM32MP157微處理器基于靈活的Arm? Cortex?-A7雙核心（工作頻率800 MHz）和Cortex?-M4核心（工作頻率209 MHz）架構(gòu)，并配有一個(gè)專用的3D圖形處理單元(GPU)、一個(gè)MIPI -DSI顯示界面以及一個(gè)CAN FD界面。
  
  STM32MP157 3D OpenGL ES 2.0圖形引擎專為在圖形使用者界面（GUI）、選單顯示或動(dòng)畫等應(yīng)用中加速3D圖形而設(shè)計(jì)，可配合面向業(yè)界標(biāo)準(zhǔn)API優(yōu)化的軟體堆疊，支援Android?和Linux?嵌入式開發(fā)平臺(tái)。
  
  ST官網(wǎng)提供多種開發(fā)包與工具，并接受多種IoT開發(fā)平臺(tái)，有自身的討論社區(qū)與wiki ，讓使用者有著大量的資源能夠使用與自由的開發(fā)環(huán)境。
  （詳細(xì)資料：STM32MP157 MPU Dual Arm Cortex-A7 cores - 意法半導(dǎo)體STMicroelectronics）

• ST VD56G3是針對(duì)可見光和近紅外線進(jìn)行最佳化的 150 萬像素全域快門影像感測(cè)器，具有嵌入式自動(dòng)曝光和光流運(yùn)動(dòng)向量運(yùn)算的場(chǎng)景。
  （詳細(xì)資料：VD56G3 - Compact and high-sensitivity 1.5 megapixel monochrome global shutter image sensor - 意法半導(dǎo)體STMicroelectronics）

• VL53L8CX是一款8x8多區(qū)域ToF測(cè)距感測(cè)器，兩個(gè)先進(jìn)的超表面鏡頭及在環(huán)境光下能夠在降低功耗的同時(shí)增強(qiáng)效能。
  
  基于意法半導(dǎo)體的FlightSense技術(shù)設(shè)計(jì)，能夠提供最高400 cm的精確測(cè)距，并具有65°對(duì)角線視場(chǎng)。
  
  采用意法半導(dǎo)體的專利算法，可以偵測(cè)和追蹤視場(chǎng)內(nèi)的多個(gè)目標(biāo)，并具有64區(qū)域深度測(cè)量能力。 意法半導(dǎo)體的直方圖確保蓋片玻璃串?dāng)_抗擾度超過60 cm。
  （詳細(xì)資料：VL53L8CX - 高性能的低功耗8x8多區(qū)域飛行時(shí)間 (ToF) 傳感器 - 意法半導(dǎo)體STMicroelectronics）

主要功能：
        VD56G3影像傳感器收集前方影像，透過STM32MP157的多核心處理器中的人工智能模型，辨識(shí)出影像畫面中的物件類型，配合VL53L8CX進(jìn)行與到物件類型的距離測(cè)量，以作為輔助用。

方案原理：

• VD56G3影像傳感器用于收集影像資料。

• STM32MP157的多核心處理器進(jìn)行影像辨識(shí)路況 （輸入的人工智能模型，運(yùn)行計(jì)算影像資料 ）。

• VL53L8CX是進(jìn)行絕對(duì)距離測(cè)量，測(cè)量前方障礙物、交通號(hào)志、視障者距離，依照路況不同，傳送對(duì)應(yīng)指令給STM32MP157，喇叭發(fā)出不同指引音。
  
  

?場(chǎng)景應(yīng)用圖

?展示板照片

?方案方塊圖

?核心技術(shù)優(yōu)勢(shì)

1.　STM32MP157因雙核心提供強(qiáng)力AI運(yùn)算功能，與其所研發(fā)而出的擴(kuò)充版STM32MP157C-DK2，便于整合其他模組。 2.　ST Global Shutter CIS適用于機(jī)器視覺，在移動(dòng)間拍照影像不會(huì)扭曲利于得到完整圖像做判斷。 3.　VL53L8CX適用于室外環(huán)境光影響造成誤差，較其他ToF測(cè)距感測(cè)器少，且能夠低功率運(yùn)行，讓方案使用時(shí)間變長(zhǎng)。

?方案規(guī)格

1.   主芯片STM32MP157由雙核心Cortex-A7 32 位 + Cortex-M4 32 位 MPU組成，提供強(qiáng)大Ai計(jì)算能力。 2.   高達(dá) 1 GB 的外部 DDR 記憶體。 3.   5V／3A USB Type-C電源輸入。 4.   多作業(yè)系統(tǒng)支援，Windows? 10、Linux? 64 位元或 macOS?。