基于kinect傳感器的全方位運(yùn)輸平臺(tái)控制系統(tǒng)研究

摘要：設(shè)計(jì)一種麥克納姆輪全向行走運(yùn)輸平臺(tái)的體感交互控制系統(tǒng)。該系統(tǒng)應(yīng)用kinect體感器提出骨骼運(yùn)動(dòng)信息識(shí)別和基于深度手勢(shì)識(shí)別的兩種控制方式，應(yīng)用于不同場(chǎng)景?；诠趋肋\(yùn)動(dòng)信息識(shí)別控制方式通過kinect獲取人體深度圖像數(shù)據(jù)，然后利用骨骼追蹤技術(shù)提取人體應(yīng)用關(guān)節(jié)點(diǎn)，并建立空間坐標(biāo)系，最后通過向量計(jì)算法來計(jì)算出人體關(guān)節(jié)轉(zhuǎn)動(dòng)角度實(shí)現(xiàn)動(dòng)態(tài)的動(dòng)作識(shí)別進(jìn)而轉(zhuǎn)換為控制指令實(shí)現(xiàn)平臺(tái)控制?；谏疃?a class="contentlabel" href="http://m.butianyuan.cn/news/listbylabel/label/手勢(shì)識(shí)別">手勢(shì)識(shí)別控制方式利用kinect獲取的深度信息實(shí)現(xiàn)手部從背景中分割，然后運(yùn)用模板匹配的方式識(shí)別手勢(shì)轉(zhuǎn)換為控制指令實(shí)現(xiàn)平臺(tái)控制。實(shí)驗(yàn)表明，通過該控制系統(tǒng)能對(duì)全方位運(yùn)輸平臺(tái)進(jìn)行有效靈活的控制。

隨著隨著科技的進(jìn)步，人們一直都在致力于對(duì)便捷高效運(yùn)輸機(jī)構(gòu)的研究。全方位運(yùn)動(dòng)機(jī)構(gòu)以其平面內(nèi)完全運(yùn)動(dòng)自由度，實(shí)現(xiàn)了狹小空間內(nèi)的高度靈活性，在軍事、工業(yè)、社會(huì)生活等多方面具備廣泛的應(yīng)用前景。用人的體態(tài)和手勢(shì)進(jìn)行人機(jī)交互是一種新穎自然的交互方式，人們通過簡(jiǎn)單的肢體語言便能進(jìn)行快速的人機(jī)交互，具有易實(shí)現(xiàn)、控制靈活等特點(diǎn)。kinect是微軟公司研制的一款體感識(shí)別設(shè)備，通過它可以實(shí)現(xiàn)體感識(shí)別，進(jìn)行人機(jī)交互。

由此本文設(shè)計(jì)了一種應(yīng)用麥克納姆輪的體感控制全方位運(yùn)輸平臺(tái)模型。并針對(duì)此模型控制系統(tǒng)提出了基于kinect體感器的骨骼運(yùn)動(dòng)信息識(shí)別和基于深度手勢(shì)識(shí)別兩種體感控制模式，應(yīng)用于該運(yùn)輸平臺(tái)的兩種場(chǎng)景：當(dāng)該平臺(tái)整合到移動(dòng)機(jī)器人等遠(yuǎn)程設(shè)備時(shí)，操縱者控制環(huán)境寬廣，可應(yīng)用人體多種姿勢(shì)進(jìn)行精細(xì)操控;當(dāng)改運(yùn)輸平臺(tái)整合到輪椅、叉車等近程控制設(shè)備時(shí)，操縱者位于狹窄的設(shè)備上，可應(yīng)用近距離手勢(shì)動(dòng)作進(jìn)行簡(jiǎn)單快速高效的操控。經(jīng)實(shí)驗(yàn)結(jié)果表明，該控制系統(tǒng)兩種控制模式均能對(duì)該全方位運(yùn)輸平臺(tái)進(jìn)行良好的操控。

1 全方位運(yùn)輸平臺(tái)模型構(gòu)建及運(yùn)動(dòng)學(xué)分析

1.1 全方位平臺(tái)構(gòu)建

本文構(gòu)建的全方位移動(dòng)平臺(tái)如圖1(a)所示，其由鋁60毫米45度萬向輪子、直流電機(jī)、電機(jī)驅(qū)動(dòng)模塊、12 V鋰電池、MSP430f149最小系統(tǒng)控制板、串口藍(lán)牙等部件構(gòu)成。平臺(tái)控制器讀取上位機(jī)通過藍(lán)牙發(fā)送過來的數(shù)據(jù)進(jìn)行相應(yīng)動(dòng)作相應(yīng)完成操控，圖1(b)為模型實(shí)物。

1.2 全方位運(yùn)動(dòng)學(xué)分析及操控

如圖2(a)所示麥克納姆輪的原理結(jié)構(gòu)，其主輪周邊分布著與輪子軸線成α=45度的小滾輪。滾輪能自身轉(zhuǎn)動(dòng)同時(shí)又能繞車軸轉(zhuǎn)動(dòng)，使得主輪具備了繞輪軸的轉(zhuǎn)動(dòng)和沿滾輪軸線垂線方向運(yùn)動(dòng)的兩個(gè)自由度。圖2(b)所示為底盤運(yùn)動(dòng)力學(xué)分析。通過對(duì)輪子的運(yùn)動(dòng)解析得到平臺(tái)的運(yùn)動(dòng)學(xué)方程為：

公式中(1)Vx，Vy，ω為控制量。本文采用通過單片機(jī)產(chǎn)生PWM信號(hào)調(diào)制功率Cn來實(shí)現(xiàn)底盤驅(qū)動(dòng)控制。由公式(2)，Cn是第n個(gè)電機(jī)的功率，ωn是計(jì)算出的第n個(gè)電機(jī)的轉(zhuǎn)速，ωmax是n號(hào)電機(jī)在同一電壓下設(shè)定的最大輸出功率下的轉(zhuǎn)速，mn是維護(hù)4個(gè)電機(jī)轉(zhuǎn)速在同一最大值的實(shí)測(cè)參數(shù)。

2 人體深度圖像及骨骼信息獲取

文中采用kinect傳感器獲取人體深度圖像及骨骼信息。它由RGB彩色攝像頭、紅外線發(fā)射器、紅外線CMOS攝影頭等模塊構(gòu)成，能獲得目標(biāo)物體的深度圖像數(shù)據(jù)和RGB圖像數(shù)據(jù)。在深度圖像數(shù)據(jù)的基礎(chǔ)上，運(yùn)用骨骼追蹤技術(shù)提取出人體骨骼信息。

3 骨骼運(yùn)動(dòng)信息識(shí)別控制模式設(shè)計(jì)

3.1 關(guān)節(jié)角度計(jì)算方法

Kinect能夠追蹤人體四肢20個(gè)骨骼點(diǎn)，骨骼運(yùn)動(dòng)信息識(shí)別控制模式指系統(tǒng)通過分析人體骨骼點(diǎn)的運(yùn)動(dòng)數(shù)據(jù)識(shí)別控制指令。本文采用了左右手肩關(guān)節(jié)點(diǎn)、左右手肘關(guān)節(jié)點(diǎn)、左右手腕關(guān)節(jié)點(diǎn)、左右手手關(guān)節(jié)點(diǎn)8個(gè)上肢關(guān)節(jié)點(diǎn)，通過識(shí)別各關(guān)節(jié)的轉(zhuǎn)動(dòng)角度來識(shí)別關(guān)節(jié)的運(yùn)動(dòng)情況。本文應(yīng)用kinect獲取的人體骨骼數(shù)據(jù)以兩肩中心為原點(diǎn)建立空間坐標(biāo)系，根據(jù)各關(guān)節(jié)點(diǎn)的坐標(biāo)構(gòu)建向量進(jìn)行向量運(yùn)算，得出關(guān)節(jié)轉(zhuǎn)動(dòng)角度，具體以計(jì)算右手肘關(guān)節(jié)轉(zhuǎn)動(dòng)為例。

如圖3所示，取a、b、c分別為右手的肩關(guān)節(jié)點(diǎn)、肘關(guān)節(jié)點(diǎn)、腕關(guān)節(jié)點(diǎn)，其對(duì)應(yīng)空間坐標(biāo)分別為(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，肘關(guān)節(jié)的運(yùn)動(dòng)角度為α。則有

最后通過反解三角函數(shù)可得該關(guān)節(jié)的運(yùn)動(dòng)角度。

3.2 運(yùn)動(dòng)姿勢(shì)對(duì)應(yīng)控制指令

于是本文采用雙手協(xié)作的方式，操控全向底盤的運(yùn)作。從數(shù)學(xué)模型上我們可以得出全向移動(dòng)底盤有任意軌跡運(yùn)動(dòng)能力，但是由于運(yùn)動(dòng)軌跡的方向性多，極易導(dǎo)致控制的不穩(wěn)定性，反而讓優(yōu)點(diǎn)變?yōu)槿秉c(diǎn)。由此我們精簡(jiǎn)了運(yùn)動(dòng)的方向性，使其既滿足全向運(yùn)動(dòng)的豐富的能動(dòng)性的同時(shí)也能保證其穩(wěn)定性。由此見表.我們?cè)O(shè)定了10種方向運(yùn)動(dòng)，并分割了不同的自然手勢(shì)對(duì)應(yīng)控制指令。

4 手勢(shì)識(shí)別模式設(shè)計(jì)

4.1 背景分割

在根據(jù)圖像數(shù)據(jù)進(jìn)行手勢(shì)識(shí)別的時(shí)候需要提取操縱者的手勢(shì)，首先我們需要將人物的手掌部分和背景信息分割開來?；趉inect提取的深度數(shù)據(jù)，本文采用基于閾值分割法來進(jìn)行背景分割，即提取前景的平均深度值，對(duì)場(chǎng)景進(jìn)行分割。深度閾值的設(shè)定公式為：

μmax=ω+ε (6)

其中ω為實(shí)驗(yàn)測(cè)定能準(zhǔn)確分割手掌的最小值，ε為根據(jù)實(shí)際應(yīng)用場(chǎng)景自由設(shè)定的可調(diào)節(jié)值，μmax為能準(zhǔn)確識(shí)別手掌的距離空間。

4.2 手勢(shì)識(shí)別

文中采用了Y—H.Lin提出的一種模板匹配算法處理提取出來的手勢(shì)并進(jìn)行手勢(shì)識(shí)別。該算法首先將提取到的二維圖像轉(zhuǎn)換成一維向量，消除平面內(nèi)圖形放縮、旋轉(zhuǎn)帶來的影響。同時(shí)，針對(duì)同種手勢(shì)構(gòu)造多種比例的參考模板向量，并將提取出的手勢(shì)向量與參考模板進(jìn)行手勢(shì)比對(duì)，從而得出比對(duì)結(jié)果。

4.3 系統(tǒng)流程圖

系統(tǒng)運(yùn)用手勢(shì)識(shí)別進(jìn)行控制時(shí)流程圖如圖4所示。

4.4 手勢(shì)對(duì)應(yīng)指令

針對(duì)當(dāng)前控制模式的應(yīng)用場(chǎng)景，本文針對(duì)運(yùn)輸平臺(tái)設(shè)計(jì)了6中運(yùn)動(dòng)指令，滿足操縱者進(jìn)程的簡(jiǎn)單快捷準(zhǔn)確的操控需求，具體手勢(shì)對(duì)應(yīng)指令如圖5所示。

5 實(shí)驗(yàn)分析

本文控制系統(tǒng)上位機(jī)采用的Kinect開發(fā)工具為Kinect Software Devel-opment Kit(SDK)v1.8，開發(fā)環(huán)境為Visual Studio 2013，使用的編程語言為C#。

5.1 骨骼運(yùn)動(dòng)信息識(shí)別控制模式有效性測(cè)試

這一模式的應(yīng)用的成功與否在于對(duì)應(yīng)用的各關(guān)節(jié)點(diǎn)轉(zhuǎn)動(dòng)角度的識(shí)別有效性。據(jù)此，我們對(duì)左右肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)6個(gè)我們應(yīng)用的關(guān)節(jié)點(diǎn)進(jìn)行了轉(zhuǎn)動(dòng)角度識(shí)別測(cè)試。具體測(cè)試方法如下：我們挑選體型身高均有差異的10個(gè)人，每一個(gè)關(guān)節(jié)的轉(zhuǎn)動(dòng)角度設(shè)為10°、20°、40°、60°、80°5種情況，每種情況每人測(cè)試5次，即每個(gè)關(guān)節(jié)累積進(jìn)行250次實(shí)驗(yàn)，角度允許誤差±30°。去除偶然反常結(jié)果實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果如表4所示。從表中可以有如下發(fā)現(xiàn)：由左右肩關(guān)節(jié)到左右腕關(guān)節(jié)3個(gè)節(jié)點(diǎn)的識(shí)別率依次降低;轉(zhuǎn)動(dòng)角度越大，識(shí)別的成功率越高。產(chǎn)生以上現(xiàn)象的原因是kinect識(shí)別人體關(guān)節(jié)角度跟人體姿勢(shì)變化幅度有關(guān)，而人體各關(guān)節(jié)點(diǎn)的人體姿勢(shì)幅度又取決于關(guān)節(jié)點(diǎn)為位置和關(guān)節(jié)點(diǎn)的轉(zhuǎn)動(dòng)角度，故肩關(guān)節(jié)的識(shí)別準(zhǔn)確率最高，同一個(gè)關(guān)節(jié)點(diǎn)轉(zhuǎn)動(dòng)角度越大，識(shí)別率越高。盡管如此，各關(guān)節(jié)在各轉(zhuǎn)動(dòng)角度的識(shí)別率都超過90%，具有較高的識(shí)別成功率，符合控制要求。

5.2 手勢(shì)識(shí)別測(cè)試

針對(duì)提出的幾種控制手勢(shì)，我們展開了識(shí)別準(zhǔn)確率測(cè)試，具體測(cè)試方法為我們挑選了手型不用的5人對(duì)每種手勢(shì)進(jìn)行了10次識(shí)別測(cè)試，即每種手勢(shì)測(cè)試50次。結(jié)果如表所示，我們可以發(fā)現(xiàn)，由于我們選用的手勢(shì)區(qū)分度比較大且手勢(shì)類別數(shù)量較小，所以手勢(shì)識(shí)別準(zhǔn)確度較高，符合控制要求。

5.3 整體操控性驗(yàn)證

進(jìn)行完了兩種體感操控模式識(shí)別的有效性后，為實(shí)際檢驗(yàn)運(yùn)輸平臺(tái)的操控性能，我們使用黑色膠帶在平整的地面布局了一個(gè)執(zhí)行任務(wù)的場(chǎng)景，分別邀請(qǐng)三位經(jīng)過簡(jiǎn)單訓(xùn)練的操縱人員進(jìn)行操控測(cè)試每人使用2種模式分別操控3次，實(shí)驗(yàn)表明，3人均完成了全部測(cè)試內(nèi)容，但時(shí)間和路線不一致，熟練的操縱者路線比不熟練的操縱者平滑，且耗時(shí)短。同時(shí)，肢體操控由于比手勢(shì)操控控制更為精細(xì)所以平均耗時(shí)長(zhǎng)于手勢(shì)操控。

6 結(jié)論

文中針對(duì)一種基于麥克納姆輪的全方位運(yùn)輸平臺(tái)提出了基于kinect的骨骼運(yùn)動(dòng)信息識(shí)別和基于深度手勢(shì)識(shí)別兩種體感控制模式，經(jīng)實(shí)驗(yàn)證明，兩種控制模式均能滿足控制要求且具備靈活、高效等特點(diǎn)。