適用于手語采集與輸入的智能手套及翻譯系統(tǒng)

*本項(xiàng)目在2022年廣東省大學(xué)生電子設(shè)計(jì)競(jìng)賽獲得一等獎(jiǎng)，相關(guān)成果正在申請(qǐng)專利。

據(jù)中國(guó)殘疾人人口數(shù)據(jù)庫有關(guān)數(shù)據(jù)，我國(guó)持殘疾證人口中聽力殘疾和言語殘疾共計(jì)249.2 萬人，且多為農(nóng)村人口。由于工作和生活中大多數(shù)人不熟悉手語，造成了聾啞人難以融入社會(huì)生活的問題。因此，迫切需要一款低價(jià)、便攜的手語翻譯系統(tǒng)來輔助聾啞人與普通人溝通。

鑒于手語翻譯系統(tǒng)在輔助聾啞人融入社會(huì)中起到的重要作用，本文通過設(shè)計(jì)一款適用于手語采集與輸入的智能手套及翻譯系統(tǒng)采集手勢(shì)，形成數(shù)據(jù)庫并訓(xùn)練機(jī)器學(xué)習(xí)模型。使用者佩戴手套以后做出不同手勢(shì)，手套將采集到的手指彎曲程度、加速度等信息在單片機(jī)進(jìn)行預(yù)處理以后，通過UDP 協(xié)議經(jīng)Wi-Fi 傳遞至云端處理，云端接收數(shù)據(jù)報(bào)后通過分辨通過分辨靜態(tài)手勢(shì)與動(dòng)態(tài)活動(dòng)，將數(shù)據(jù)二次處理后放入已經(jīng)訓(xùn)練好的模型中進(jìn)行預(yù)測(cè)，并在網(wǎng)頁界面實(shí)時(shí)顯示結(jié)果，實(shí)現(xiàn)全平臺(tái)兼容。該方案穩(wěn)定性較高，可拓展性及可維護(hù)性極強(qiáng)，人機(jī)交互友好，解決了當(dāng)前非接觸式手勢(shì)識(shí)別精度低、易受干擾、處理速度慢等痛點(diǎn)。

經(jīng)過測(cè)試該方案識(shí)別準(zhǔn)確性高達(dá)91.02%，方差0.0012，硬件成本僅為296 元且可拓展性高，人機(jī)交互友好，具備廣泛普及的條件，能有效輔助聾啞人士進(jìn)行簡(jiǎn)單交流，更好的參與社會(huì)生活，并且還可以作為教學(xué)用具進(jìn)行手語培訓(xùn)。

表1 方案對(duì)比

1 手勢(shì)識(shí)別方案選擇

方案1 基于傳感器和MPU6050 姿態(tài)傳感器的手勢(shì)識(shí)別數(shù)據(jù)手套上的傳感器能識(shí)別手指彎曲以及手部的運(yùn)動(dòng)，識(shí)別率較高，并且成本低有利于推廣，數(shù)據(jù)量低傳輸速度快，處理難度低。

方案2 基于計(jì)算機(jī)視覺的手語識(shí)別通常采用攝像頭作為傳感設(shè)備，無須穿戴，體驗(yàn)感較好，但是感受與識(shí)別技術(shù)容易受到周圍環(huán)境因素的影響，如光照等。同時(shí)需要處理的數(shù)據(jù)量巨大，識(shí)別的實(shí)時(shí)性較低，并且不適用于日常環(huán)境。

方案2 基于計(jì)算機(jī)視覺的手語識(shí)別通常采用攝像頭作為傳感設(shè)備，無須穿戴，體驗(yàn)感較好，但是感受與識(shí)別技術(shù)容易受到周圍環(huán)境因素的影響，如光照等。同時(shí)需要處理的數(shù)據(jù)量巨大，識(shí)別的實(shí)時(shí)性較低。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)組成

本系統(tǒng)總體設(shè)計(jì)框圖如圖1 所示，包括彎曲傳感器、姿態(tài)傳感器MPU6050、ESP32、服務(wù)器、網(wǎng)頁端五部分。

圖1 系統(tǒng)總體設(shè)計(jì)框圖

2.2 系統(tǒng)工作過程

彎曲傳感器和姿態(tài)傳感器分別采集手指彎曲數(shù)據(jù)和手掌朝向、運(yùn)動(dòng)數(shù)據(jù)。采集到的數(shù)據(jù)在ESP32 進(jìn)行滑動(dòng)濾波和歸一化處理后以UDP 報(bào)文發(fā)送給服務(wù)器進(jìn)行分類和識(shí)別最終將識(shí)別結(jié)果呈現(xiàn)在網(wǎng)頁端。

3 系統(tǒng)功能實(shí)現(xiàn)

3.1 硬件部分

系統(tǒng)的硬件部分將五根彎曲傳感器通過幾段在手指關(guān)節(jié)處的軟管固定使其可以在軟管中自由滑動(dòng)，從而實(shí)現(xiàn)良好的佩戴體驗(yàn)并提高數(shù)據(jù)采集的準(zhǔn)確性。將陀螺儀、單片機(jī)通過排母固定于主板上，并將主板通過手環(huán)固定于手腕上，從而盡可能降低了佩戴該裝置對(duì)手部活動(dòng)的影響，單片機(jī)和彎曲傳感器之間通過杜邦線連接，采用電池供電形式，實(shí)現(xiàn)了舒適的穿戴體驗(yàn)。

3.1.1 彎曲傳感器

彎曲傳感器采集五根手指的彎曲數(shù)據(jù)，如圖2 所示，R₁為彎曲傳感器等效電阻， R₂為可變電阻，用于分壓使得輸出電壓不高于ADC最大可分辨的電壓2 450 mV。由于拇指與另外四指采用的彎曲傳感器不同，因此對(duì)于拇指，R₁的范圍為25 kΩ~135 kΩ，R<2 24.04 kΩ；對(duì)于其它四指，R₁的范圍為9 kΩ~22 kΩ，R₂<8.64 kΩ。

圖2 彎曲傳感器工作等效原理

圖3 彎曲傳感器電路

3.1.2 姿態(tài)傳感器

姿態(tài)傳感器采用MPU6050，用于識(shí)別手掌朝向和手部的運(yùn)動(dòng)數(shù)據(jù)。姿態(tài)傳感器MPU6050 可以測(cè)定x、y、z 三個(gè)坐標(biāo)軸的加速度，當(dāng)傳感器靜止時(shí)加速度分量的絕對(duì)值最大的坐標(biāo)軸所對(duì)應(yīng)的平面向上，若該最大加速度為正值則該坐標(biāo)軸負(fù)方向所對(duì)應(yīng)的平面向上，反之則該坐標(biāo)軸正方向?qū)?yīng)的平面向上?；谶@個(gè)原理實(shí)現(xiàn)了對(duì)手掌朝向的判斷。另外，通過航向角、橫滾角、俯仰角的變化識(shí)別手部的運(yùn)動(dòng)情況。

3.1.3 ESP32

ESP32-C3-WROOM-02 對(duì)彎曲傳感器的數(shù)據(jù)進(jìn)行歸一化和濾波處理，同時(shí)將彎曲傳感器和姿態(tài)傳感器輸出以UDP 報(bào)文形式發(fā)送到服務(wù)器。

3.1.4 主板設(shè)計(jì)

如圖4 所示，主板電路由ESP32、MPU6050 模塊、自動(dòng)下載電路組成，具備WiFi 連接、六軸運(yùn)動(dòng)數(shù)據(jù)采集與處理、自動(dòng)復(fù)位等功能。傳感器電路由彎曲傳感器、可變電阻及運(yùn)放構(gòu)成，實(shí)現(xiàn)將手指彎曲程度的變化轉(zhuǎn)換成電壓變化的過程。由于ESP32 單片機(jī)中，可設(shè)置的最大ADC 采樣范圍為150 ~2 450 mV，因此可變電阻和彎曲傳感器電阻對(duì)V cc 進(jìn)行分壓使得電路輸出電壓不超過閾值電壓。通過調(diào)整可變電阻的大小實(shí)現(xiàn)可變電阻與彎曲傳感器電阻對(duì)電源電壓分壓，電壓信號(hào)通過運(yùn)放增強(qiáng)驅(qū)動(dòng)能力，避免長(zhǎng)距離傳輸造成的損耗，從運(yùn)放輸出端輸出，實(shí)現(xiàn)對(duì)手指彎曲程度的采集。該電路的設(shè)計(jì)應(yīng)該 注意在運(yùn)放輸出端與地之間接一個(gè)100 nF 的電容進(jìn)行濾波，并且傳感器電路應(yīng)該盡可能離單片機(jī)近一些，以避免長(zhǎng)距離傳輸造成的損耗。

圖4 主板電路圖

3.2 軟件部分

3.2.1 手套端程序設(shè)計(jì)

如圖5 所示， 本項(xiàng)目的程序設(shè)計(jì)基于ESP32 的RTOS，在此基礎(chǔ)上，單片機(jī)任務(wù)主要分為三部分：串口任務(wù)、ADC 任務(wù)、UDP 任務(wù)。

圖5 手套端程序

1）串口任務(wù)設(shè)計(jì)

初始化后讀取緩沖區(qū)中存儲(chǔ)的彎曲傳感器數(shù)據(jù)，然后對(duì)數(shù)據(jù)進(jìn)行處理，處理結(jié)束后判斷緩沖區(qū)是否有數(shù)據(jù)，若有則重復(fù)讀取數(shù)據(jù)、處理數(shù)據(jù)、判斷緩沖區(qū)有無數(shù)據(jù)步驟，反之則延時(shí)10 ms 切換其他任務(wù)。

2）ADC 任務(wù)設(shè)計(jì)

初始化后進(jìn)行ADC 采樣，采樣完成后進(jìn)行數(shù)據(jù)處理及存儲(chǔ)，然后延時(shí)30 ms 并返回ADC 采樣步驟進(jìn)行循環(huán)。

3）UDP 任務(wù)設(shè)計(jì)

初始化后連接Wi-Fi，連接完成后處理ADC 數(shù)據(jù)，之后判斷ADC 滑動(dòng)濾波窗口是否已滿，若已滿則發(fā)送數(shù)據(jù)并延時(shí)10 ms 然后判斷發(fā)送是否出錯(cuò)，若出錯(cuò)則返回連接Wi-Fi 步驟重新執(zhí)行以后步驟，若未出錯(cuò)則返回處理ADC 數(shù)據(jù)步驟重新進(jìn)行。如果ADC 滑動(dòng)濾波窗口未滿則直接跳轉(zhuǎn)至延時(shí)10 ms 階段并執(zhí)行后續(xù)步驟。

4）濾波程序設(shè)計(jì)

在數(shù)據(jù)處理過程中，源信號(hào)往往受到多種因素的干擾，使得采集到的信號(hào)包含多種類別的噪聲。如圖 6 是通過ADC 直接采集到的彎曲傳感器上的電壓，可以看到，數(shù)據(jù)有明顯的波動(dòng)。本子程序采用滑動(dòng)濾波方式，控制窗口大小為450 ms，能較好地平衡抖動(dòng)與細(xì)微動(dòng)作。同時(shí)使用歸一化處理使手套具備更強(qiáng)的魯棒性，適配多用戶情況下的手勢(shì)識(shí)別。如圖7 是經(jīng)過濾波和歸一化處理后的數(shù)據(jù)。

圖6 濾波前的手指彎曲數(shù)據(jù)

圖7 濾波后的手指彎曲數(shù)據(jù)

3.2.2 服務(wù)端程序設(shè)計(jì)

服務(wù)端程序設(shè)計(jì)如圖8 所示，初始化時(shí)，加載訓(xùn)練好的SVM 模型和ANN 模型并且初始化套接字，等待數(shù)據(jù)報(bào)。接收數(shù)據(jù)報(bào)后，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，判斷數(shù)據(jù)是否來自動(dòng)態(tài)手勢(shì)，若不是，則將數(shù)據(jù)放入線性分類器進(jìn)行處理，顯示結(jié)果；若數(shù)據(jù)來自動(dòng)態(tài)手勢(shì)，則放入列表，循環(huán)“采集- 堆?！痹摬僮?，直至動(dòng)作結(jié)束，將數(shù)據(jù)縮放后放入ANN 模型，得出結(jié)果。

圖8 服務(wù)端程序設(shè)計(jì)

服務(wù)端基于Python 的Web 應(yīng)用程序框架Streamlit搭建，如圖9 所示，數(shù)據(jù)處理的結(jié)果可以實(shí)時(shí)呈現(xiàn)。

圖9 服務(wù)端頁面

3 測(cè)試方案與測(cè)試結(jié)果

為了測(cè)試設(shè)計(jì)的識(shí)別準(zhǔn)確率和可靠性，我們邀請(qǐng)200 位受試者以20 人為一組分為A~J 共計(jì)10 組進(jìn)行測(cè)試，得出每組的平均正確率如表2 所示。

表格 2 測(cè)試分組正確率

測(cè)試者平均識(shí)別正確率：

=91.02%   （1）

方差：

0.0012   （2）

可見本設(shè)計(jì)具有良好的識(shí)別準(zhǔn)確率和可靠性。但測(cè)試者所做手勢(shì)準(zhǔn)確與否、數(shù)據(jù)庫數(shù)據(jù)量等會(huì)對(duì)測(cè)試結(jié)果造成一定影響。

4 結(jié)束語

本文設(shè)計(jì)并實(shí)現(xiàn)了一種適用于手語采集與輸入的智能手套及翻譯系統(tǒng)，硬件和軟件經(jīng)測(cè)試均可正常運(yùn)行并達(dá)到良好的準(zhǔn)確性和穩(wěn)定性，實(shí)現(xiàn)了識(shí)別準(zhǔn)確率高達(dá)91.02% 方差僅為0.0012. 手套功耗僅為0.32 W，資源利用率為59.3%，采集速率達(dá)到模塊理論上線，硬件成本可以控制在296 元。本設(shè)計(jì)能很好的解決聾啞人的日常溝通問題幫助他們更多的參與社會(huì)生活，并且可用于教學(xué)用途，輔助學(xué)習(xí)者更快、更規(guī)范地學(xué)好手語。

參考文獻(xiàn)：

[1] 張軍,張孔,楊正瓴.基于計(jì)算機(jī)視覺的多特征手勢(shì)識(shí)別[J].計(jì)算機(jī)應(yīng)用與軟件,2016,33(6):151-154+189.

[2] 鮑磊,羅志增,席旭剛,等.融合表面肌電和加速度的手勢(shì)動(dòng)作識(shí)別[J].傳感技術(shù)學(xué)報(bào),2019,32(12):1843-1848+1863.

[3] 張仁永,王小紅,盧瑛.基于STM32的手語翻譯手套設(shè)計(jì)[J].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化,2020,10(3):46-47+54.

[4] 白旭,郭豆豆,楊學(xué)康,等.基于低緯度SVM決策樹算法的智能手語翻譯手套[J].科技視界,2020(17):33-36.

[5] 吳桐. 基于彈性傳感器的手勢(shì)識(shí)別技術(shù)研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2021.

[6] 張維. 基于神經(jīng)網(wǎng)絡(luò)的手語翻譯系統(tǒng)研究[D].南昌:江西財(cái)經(jīng)大學(xué),2018.

[7] 余永樂,閆文山,林雨凡,等.基于單片機(jī)的多功能智慧型手語翻譯手套研究[J].電子世界,2018(8):61-62.

[8] 許亭亭.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)估計(jì)的研究與應(yīng)用[D].揚(yáng)州:揚(yáng)州大學(xué),2022.

[9] 閆世洋.基于計(jì)算機(jī)視覺的動(dòng)態(tài)手勢(shì)識(shí)別方法[D].南京:南京郵電大學(xué),2018.

[10] 羅揚(yáng)鏢.基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別技術(shù)研究[D].北京:北京郵電大學(xué),2021.

（本文來源于《電子產(chǎn)品是》雜志2023年8月期）