新聞中心

EEPW首頁 > 智能計算 > 設計應用 > 基于深度學習的跌倒檢測技術對比與分析*

基于深度學習的跌倒檢測技術對比與分析*

作者:李小立(長沙民政職業(yè)技術學院,長沙 410004) 時間:2022-12-22 來源:電子產(chǎn)品世界 收藏
編者按:基于意外跌倒是造成老年人受傷、失能及死亡的主要原因,對近年來關于深度學習的跌倒檢測研究進行了介紹。根據(jù)跌倒檢測工作流程,從數(shù)據(jù)采集、數(shù)據(jù)處理、模型訓練及狀態(tài)識別幾個方面進行了詳細介紹,并對已有的基于深度學習的跌倒檢測方法進行分析與比較,為將來的應用研究提供參考,并對將來的發(fā)展方向提出一些思考。


本文引用地址:http://m.butianyuan.cn/article/202212/442006.htm

*基金項目:

湖南省教育廳科學研究項目“基于的智能無人機目標檢測算法研究”(20C0105);

長沙民政職業(yè)技術學院2021年度校級培育項目“基于的應用研究”(21mypy97)

0   引言

據(jù)中國疾病監(jiān)測系統(tǒng)的數(shù)據(jù)顯示,跌倒是我國65歲以上老年人因傷致死的首要原因[1],及時準確地檢測老人跌倒事件,對有效降低跌倒對老人帶來的傷害極為重要。隨著研究的深入,基于傳統(tǒng)機器學習和淺層神經(jīng)網(wǎng)絡的方法等具有檢測精度相對低、事件響應速度慢等缺點,而基于方法因其檢測精度高等優(yōu)點,得到越來越多研究者的重視,本文對近年來基于深度學習的方法進行對比、分析和總結,并對未來的發(fā)展方向提出一些思考。

1   深度學習模型

通過深度學習技術進行跌倒識別最常用的模型是(CNN)[2] 模型和(LSTM)[3-4]模型。CNN 模型主要包含輸入層、卷積層、池化層、全連接層和輸出層,結構如圖1 所示。利用CNN 模型可以實現(xiàn)對人體狀態(tài)的快速識別,且泛化能力較強,因此采用基于CNN 技術進行跌倒識別的研究文獻相對較多。LSTM 是改進的循環(huán)神經(jīng)網(wǎng)絡(RNN)[5]技術。LSTM 著重于處理圖片中的時頻數(shù)據(jù)。由于傳感器獲取到的人體活動數(shù)據(jù)是帶有時間特性的,利用LSTM 技術可以對跌倒事件做出及時響應。為了優(yōu)化跌倒檢測結果,在有些研究中會將LSTM 與CNN 二者結合使用。

image.png

圖1

2   基于深度學習的跌倒檢測分析

跌倒檢測的基本工作流程包括數(shù)據(jù)采集、數(shù)據(jù)處理、模型訓練和狀態(tài)識別。在實際應用中,當檢測到跌倒行為發(fā)生時,系統(tǒng)發(fā)出警報信息,從而達到及時救治的目的。本節(jié)將從數(shù)據(jù)采集、數(shù)據(jù)處理、模型選擇和參數(shù)優(yōu)化及結果分析4 個方面進行介紹。

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集階段可使用可穿戴傳感器設備、環(huán)境傳感設備和視頻捕捉設備獲取跌倒數(shù)據(jù)和日常行為數(shù)據(jù)[6-7],本文主要考慮可穿戴傳感器設備和視頻捕捉設備。可穿戴傳感器設備主要包括加速度計、陀螺儀、智能手機、智能手表等。傳感器的設備選型和佩戴位置均會影響跌倒檢測結果的精確度,常見的佩戴位置有腰部、腕部、胸部、腳部等,其中將傳感器放置在腰部的研究較多,其跌倒識別的準確率也相對較高[8]。腰部為人體重心所在,采集到的數(shù)據(jù)相對穩(wěn)定,且對日常生活不會造成太大影響,是比較容易被接受的一個佩戴位置。單一傳感器設備在跌倒識別精度上比多傳感器設備低,因此許多研究將多傳感器融合使用,以求達到提高檢測精確度的目的。跌倒測試數(shù)據(jù)可使用自建數(shù)據(jù)集或公開數(shù)據(jù)集。目前,已有多種公開數(shù)據(jù)集可供跌倒檢測研究,其中使用可穿戴傳感器設備捕捉的數(shù)據(jù)集有SisFall、MobiAct、SmartWatch、Notch 等;使用視頻捕捉設備獲取的數(shù)據(jù)集有Le2i、CASIA、URFD 等[9]。

2.2 數(shù)據(jù)處理

數(shù)據(jù)處理階段包括數(shù)據(jù)預處理、圖像分割、特征提取。經(jīng)處理的數(shù)據(jù)用于模型訓練與結果測試,數(shù)據(jù)處理結果將對最終的跌倒檢測結果產(chǎn)生很大影響,因此數(shù)據(jù)處理階段非常重要。

2.2.1 數(shù)據(jù)預處理

由于深度學習中處理的圖像相鄰像素之間具有強相關性,所以輸入的數(shù)據(jù)會出現(xiàn)冗余,且輸入數(shù)據(jù)塊不一致時,會降低網(wǎng)絡收斂速度和延長訓練時間,因此輸入的數(shù)據(jù)一般要經(jīng)過預處理操作。常用的預處理方法有0均值(去中心化)、縮放和歸一化,如表1 所示。

表1 數(shù)據(jù)預處理方法

1671773317846455.png

根據(jù)使用的采集設備的不同,采集到的數(shù)據(jù)分為基于可穿戴傳感器設備的數(shù)據(jù)和基于視頻捕捉設備的數(shù)據(jù)。

可穿戴傳感器設備分為多種,不同的設備采集到的數(shù)據(jù)會有所不同。目前大多數(shù)研究采用的傳感器為三軸傳感器。對于這類傳感器采集的數(shù)據(jù)的預處理主要包括濾波降噪和數(shù)據(jù)降維操作,常見的濾波算法有低通濾波[10]、滑動平均濾波[11]、卡爾曼濾波和中值濾波等[12-13],優(yōu)點是算法簡單,處理速度快,但抗噪聲等干擾能力弱。呂艷等提出了一種平滑無限沖擊響應(IIR)濾波器對全部數(shù)據(jù)進行處理后再用Z-SCORE 標準化方法對數(shù)據(jù)進行預處理的方法[14]。數(shù)據(jù)降維操作是將傳感器獲取到的大量多維數(shù)據(jù)降維為一維、二維或三維數(shù)據(jù),以用于卷積網(wǎng)絡模型或其他機器學習網(wǎng)絡模型。使用較多的降維操作是軸合成方法,如均方根(矢量和)、水平垂直方向加速度、身體傾斜角等。其次是滑動時間窗方法對數(shù)據(jù)進行降維和序列化分割處理[15-16]。陳波等[17]提出了一種改進的矢量和軸合成方法對傳感器數(shù)據(jù)進行降維操作。李雷等[18]提出了一種改進的核成分分析方法進行數(shù)據(jù)降維操作。盧忱等[19]提出了一種對合成加速度進行小波變換的方法對傳感器數(shù)據(jù)進行降維和特征提取。

通過視頻捕捉設備獲取的數(shù)據(jù)一般為視頻或圖像數(shù)據(jù),對于這類數(shù)據(jù)的預處理一般包括視頻的抽幀、標簽化、灰度化等操作,同時還應考慮現(xiàn)實場景對數(shù)據(jù)的影響,如光照、抖動、噪聲污染等。

2.2.2 圖像分割

采集的數(shù)據(jù)一般需通過歸一化處理為二維或三維圖像數(shù)據(jù),其中三維圖像數(shù)據(jù)一般指包含時序特性的二維圖像。通過可穿戴傳感器設備獲取的數(shù)據(jù)沒有具體的人體姿態(tài)信息,因此對于這類數(shù)據(jù)只需在其預處理后采用滑動時間窗的方式對數(shù)據(jù)進行分層讀取即可。而通過視頻捕捉設備采集的數(shù)據(jù)需要進行前、背景分離,從而獲取待識別目標。曹建榮等[20]提出了一種使用改進的YOLOv3 網(wǎng)絡進行前、背景分離,可快速準確地實現(xiàn)人體特征提取,使用21 層卷積層順序連接的網(wǎng)絡實現(xiàn)人體目標識別。通過分析目標圖像寬高比、人體質心高度、軀干傾斜角度和運動特征向量來進行圖像分割。馬露等[21]提出了一種改進的FSSD 算法進行目標檢測。楊光耀[22]使用OpenPose 姿態(tài)識別算法提取視頻中的動作特征,以此創(chuàng)建跌倒檢測所需的數(shù)據(jù)集。OpenPose 算法是基于骨架進行人體姿態(tài)識別,文中通過對人體關節(jié)進行分組分析,為不同組的數(shù)據(jù)不同的權重系數(shù),以此來減少數(shù)據(jù)的冗余[23]。

2.2.3 特征提取

對預處理后的數(shù)據(jù)進行提取特征,通過特征比對來判別跌倒行為。跌倒一般包括3 個階段:失重階段、撞擊階段和靜止階段,在人體撞擊地面的瞬間,加速度達到峰值。因此基于可穿戴式傳感器數(shù)據(jù)的跌倒識別主要通過加速度變化進行判斷。在基于計算機視覺的跌倒識別中,可通過人體姿態(tài)或質心位置變化進行判斷。特征提取階段主要對上述特征值進行提取。常用的特征值有均值、標準差、方差、均方根、絕對值、最大值和最小值等。在深度學習模型中,主要通過中的卷積操作提取特征,卷積層數(shù)越多,提取的特征值越豐富,但也會造成系統(tǒng)負擔,影響檢測結果。文獻[12] 中使用了平均值替換的方法進行特征提取。文獻[16] 中使用I-RELIFE 算法進行特征選擇。文獻[18] 使用改進的YOLOv3 網(wǎng)絡進數(shù)據(jù)處理,使用該模型提取目標圖像寬高比、人體質心高度、軀干傾斜角度和運動特征向量等運動特征。文獻[17] 通過對合成加速度信號進行小波分解,提取第三四層低頻系數(shù)的小波能量、波峰均值及波峰個數(shù)作為特征。

2.3 模型選擇與參數(shù)優(yōu)化

模型訓練是將處理好的數(shù)據(jù)輸入至模型中,通過搭建好的模型進行訓練,直至網(wǎng)絡收斂或滿足精確度要求。模型訓練階段的關鍵在于模型的選擇和模型參數(shù)的優(yōu)化。

2.3.1 模型選擇

用于跌倒檢測的深度學習模型主要有CNN 模型和LSTM 模型。CNN 模型擅于處理數(shù)據(jù)的空間特性,而LSTM 一般用于處理數(shù)據(jù)的時間特性。目前使用CNN模型的研究相對較多,在有些研究中將LSTM 與CNN二者結合使用來提高跌倒事件中的響應速度。

2.3.2 參數(shù)優(yōu)化

以CNN 模型為例,其核心思想在于引入局部感知、權值共享和下采樣這3 種技術來彌補傳統(tǒng)神經(jīng)網(wǎng)絡的不足。影響模型最終檢測結果的因素包括輸入數(shù)據(jù)的有效性、卷積層數(shù)、激活函數(shù)、卷積核大小、卷積步長、填充值、池化方式等。在神經(jīng)網(wǎng)絡中,衡量網(wǎng)絡預測結果與真實值之間差別的指標稱為損失函數(shù)。而模型訓練就是通過調整權重W和偏置b 使損失函數(shù)的值盡可能小,從而使模型的測試結果更接近真實值。損失函數(shù)包括分類損失函數(shù)和回歸損失函數(shù),常用的分類損失函數(shù)有負對數(shù)似然損失函數(shù)和交叉熵損失函數(shù)。權重W 和b 的值可通過梯度下降、隨機梯度下降、動量、加速梯度、均方根及自適應矩估計等算法[24]進行優(yōu)化。訓練時,若提取特征值過多可能會出現(xiàn)過擬合,可使用數(shù)據(jù)增強、權重衰減及Dropout 等方法[25]防止過擬合。

2.4 結果分析

將測試數(shù)據(jù)輸入至訓練好的模型中,通過分類函數(shù)進行分類識別,再由輸出層將分類結果輸出。對于跌倒檢測的結果,分析跌倒和非跌倒行為的識別精度,表2為部分文獻關于識別結果的說明,其中It 代表跌倒識別精度,If 代表非跌倒識別精度。

表2 識別結果對比

1671773438102238.png

3 結束語

本文對近年來關于深度學習的跌倒檢測研究進行了分析。根據(jù)跌倒檢測的過程,分別從數(shù)據(jù)采集、數(shù)據(jù)處理、模型選擇與優(yōu)化及識別結果等方面進行了分析。通過分析可知,目前有大量關于深度學習的跌倒檢測研究,且也取得了較好的研究成果,但仍然存在一些問題:

1)數(shù)據(jù)集

從大量文獻研究發(fā)現(xiàn),實驗采用的數(shù)據(jù)集大多是在預設環(huán)境或背景單一環(huán)境下采集,且采集的數(shù)據(jù)來源大多是青年志愿者。而真實環(huán)境遠比實驗環(huán)境更復雜多變,且對于跌倒檢測的真實對象是老年人,因此采集的數(shù)據(jù)在實際應用中可能會存在一定的偏差。

2)訓練模型

在引用的文獻中關于卷積網(wǎng)絡模型的選用比較單一,大多是選擇二維或三維卷積網(wǎng)絡模型。未來也許可以嘗試其他的卷積網(wǎng)絡模型。

3)安全問題

本文引用的文獻中幾乎均未提及關于系統(tǒng)的安全問題,而在萬物互聯(lián)的今天,跌倒檢測所使用的設備幾乎全部聯(lián)網(wǎng),并通過互聯(lián)網(wǎng)進行數(shù)據(jù)通信和處理,這些設備極易受到網(wǎng)絡入侵和黑客攻擊,因此其網(wǎng)絡安全問題也變得尤為重要。

參考文獻:

[1] 國家統(tǒng)計局:中華人民共和國2021年國民經(jīng)濟和社會發(fā)展統(tǒng)計公報[EB/OL]. 2022,3.

[2] Y. LECUN, Y BENGIO, et al. Deep leaning[J]. Nature,2015:436-444.

[3] CHANG Y C, LAI Y H, et al. Inferential motion reconstruction of fall accident based on LSTM neural network[ J]. Med. Biol.Eng,2019,39(3): 315-328.

[4] 厙向陽,蘇學威.基于CNN和LSTM混合模型的人體跌倒行為研究[J].計算機應用研究,2019,36(12):3857-3868.

[5] 沈旭東.基于深度學習的時間序列算法綜述[J].信息技術與信息化,2019(1):71-76.

[6] 朱連杰,陳正宇,田晨林.基于可穿戴設備的跌倒檢測方法綜述[J].計算機工程與應用,2019,55(18):8-14.

[7] 忽麗莎,王素貞,陳益強,等.基于可穿戴設備的跌倒檢測算法綜述[J].浙江大學學報(工學版),2018,52(9):1717-1728.

[8] ?ZDEMIR A. An analysis on sensor locations of the human body for wearable fall detection devices: principles and practice[J].Sensors,2016,16 (8):1161.

[9] KRAFT D, SRINIVASAN K, BIEBER G. Deep learning based fall detection algorithms for embedded systems, smart watches, and IoT devices using accelerometers[J]. Technologies,2020,8(4):72.

[10] SUCERQUIA A, LOPEZ J, et al. Real-life/real-time elderly fall detection with a triaxial accelerometer[J].Sensors,2018,18 (4):1101.

[11] 孫子文,孫曉雯.基于加速度傳感器的人體跌倒檢測方法[J].計算機工程與科學,2017,39(2):330-335.

[12] 何堅,周明.基于卡爾曼濾波與k-NN算法的可穿戴跌倒檢測技術研究[J].電子與信息學報,2017,39(11):2627-2634.

[13] 鞏玉奇,陶晉宜,楊剛.基于改進中值濾波的手機玻璃瑕疵圖像增強方法[J].電子技術應用,2022,48(7):91-95.

[14] 呂艷.采用卷積神經(jīng)網(wǎng)絡的老年人跌倒檢測系統(tǒng)設計[J].浙江大學學報,2019,53(6):1130-1138.

[15] 劉青玉.基于淺層學習和深度學習的傳感器活動識別對比研究[D].秦皇島:燕山大學,2017.

[16] 胡雙杰.基于特征自動提取的跌倒檢測算法[J].傳感器技術,2018,31(12):1842-1847.

[17] 陳波,等.基于傳感器人體行為識別深度學習模型的研究[J].浙江工業(yè)大學學報,2018,46(4):375-381.

[18] 李雷.穿戴式跌倒檢測中特征向量的提取和降維研究[J].計算機應用研究,2019,36(1):103-114.

[19] 盧忱.一種基于小波特征的跌倒行為檢測方法[J].西安郵電大學學報,2016,21(5):43-49.

[20] 曹建榮.融合運動特征和深度學習的跌倒檢測算法[J].計算機應用,2021,41(2):583-589.

[21] 馬露.基于深度學習的跌倒行為識別[J].計算機科學,2019,46(9):106-112.

[22] 楊光耀.基于深度學習的人體姿態(tài)識別系統(tǒng)設計與實現(xiàn)[J].中國新技術新產(chǎn)品,2022(7):22-24.

[23] 范鵬生,吳貴軍,陳浩辰.基于輕量化Openpose的跌倒算法識別研究[J].無線互聯(lián)科技,2022,19(08):128-129.

[24] 高隨祥,文新.深度學習導論與應用實踐[M].北京:清華大學出版社,2019:89-92.

[25] 解天舒.基于卷積神經(jīng)網(wǎng)絡的Dropout方法研究[D].成都:電子科技大學,2021.

(本文來源于《電子產(chǎn)品世界》雜志2022年12月期)



評論


相關推薦

技術專區(qū)

關閉