基于多特征SVMs分類器的手語識別的研究

　　引言

　　手語識別的目的就是通過計算機提供一種有效的、準確的機制將聾啞人常用的手語手勢識別出來，使得他們與健全人之間的交互變得更方便、快捷。同時，手語識別的應用還可以提供更自然的人機交互方式，方便聾啞人對計算機等常用信息設備的使用。目前手語識別可以分為基于視覺(圖像)的識別系統和基于數據手套(佩戴式設備)的識別系統?；谝曈X的手勢識別系統采用常見的視頻采集設備作為手勢感知輸入設備，價格便宜、便于安裝。鑒于基于視覺的手勢識別方法交互自然便利，適于普及應用，且更能反映機器模擬人類視覺的功能，所以目前是手勢識別的研究重點。

　　手語識別的研究開始于1982年，Shantz和Poizner實現了一個合成美國手語的計算機程序。之后，中國、美國、日本、德國等許多國家都進行了自己國家的手語識別與合成研究，并取得了許多重要的研究成果。Triesch和Malsburg開發(fā)了一種彈性圖模板匹配技術對復雜背景下的手形進行分類[1]，在相對復雜的背景下的識別率達到86.2%。Davis和Shah將戴上指間具有高亮標記的視覺手套的手勢作為系統的輸入，可識別7種手勢[2]。Starner[3]等在對美國手語中帶有詞性的40個詞匯隨機組成的短句子識別率達到99.2%。Yang等人采用7Hu不變矩特征量進行手語字母識別，最好識別率為90%[4]。

　　本文采用SVMs (Support Vector Machines，支持向量機)作為手語識別的分類器，提出了一種基于視覺的手語字母識別方法。SVMs在解決小樣本、非線性及高維模式識別問題中表現出許多特有的優(yōu)勢，并能夠推廣應用到函數擬合等其他機器學習問題中。采用SVMs作為圖像分類器首先要解決的問題是：如何用典型視覺特征來表征圖像的不同視覺特性[5]。

　　在圖像特征提取方面，為了能夠同時表征圖像的全局特性和局部特性，需要同時提取圖像的全局特征和局部特征，并且這些特征中用以描述圖像整體形狀的特征應當具備平移、旋轉和尺度不變性。SIFT(Scale Invariant Feature Transform)是一種對尺度空間、圖像縮放、旋轉甚至仿射不變的圖像局部特征描述算子[6];而7Hu不變矩特征量具有平移、旋轉和尺度不變性的特點，具有很好的穩(wěn)定性，適合描述目標整體形狀。

　　手語簡介

　　手語是一種聾人使用的語言，是一種靠動作/視覺交際的特殊語言[7]。中國手語包括30個手指字母，大約5500個基本手勢詞。手指語是從字母語言發(fā)展起來的，是漢語手語的一種，用一個指式代表一個漢語拼音字母，按照漢語拼音方案拼成普通話。而手勢語則是由象形語言發(fā)展起來的。它充分利用人的手勢、表情和身體動作形象地表達物體和行動的最基本特征。

　　中國文字改革委員會、教育部等單位于1963年聯合公布實施漢語手指字母方案[7]。方案中包括漢語拼音中26個單字母(A～ Z)和4個雙字母(ZH、CH、SH、NG)如圖1所示。

　　圖1 中國手語字母表

　　SVMs

　　SVMs的主要思想是建立一個超平面作為決策曲面，使得正例和反例之間的隔離邊緣被最大化。對于二維線性可分情況，令 H為把兩類訓練樣本沒有錯誤地分開的分類線，H1，H2分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離叫做分類間隔。所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開，而且使分類間隔最大。在高維空間，最優(yōu)分類線就成為最優(yōu)分類面[8，9]。

　　設線性可分樣本集為(xi,yi))，i=1,2,…,n,x∈Rd，即x是d維特征向量，y∈{+1,-1}是類別標號，d維空間線性判斷函數的一般形式為g(x)=w×x+b，分類面方程為：w×x+b=0 (1)

　　式中w為權向量，b為分類閾值。要求分類面對所有樣本正確分類，就是要求它滿足：

　　Yi[w×xi+b]-1≥0,i=1,2,…,n (2)

　　滿足上述條件且使||w||2最小的分類面就叫做最優(yōu)分類面， H1，H2上的訓練樣本點，也就是使式(2)中等號成立的樣本點，稱作支持向量。解這個最優(yōu)化問題后得到的最優(yōu)分類函數是：

　　在學習樣本是線性不可分，但卻是非線性可分的情況下，可以通過非線性變換把學習樣本變換到高維空間，使其在高維空間里是線性可分的。用核函數 K(x,y)代替原來的點積(x·y)，Mercer定理指出，核函數 K(x,y)通過與其相聯系的非線性變換Φ隱含地把特征向量映射到高維特征空間，使得學習樣本成為線性可分的。常用的核函數有:

　　圖像特征選取

　　手語圖像特征的選取，會直接影響到識別的效果，因此在表示圖像的不同視覺特征時本文同時提取全局視覺特征和局部視覺特征。為了避免圖像分割工具可能帶來的問題，在特征提取時不進行圖像分割。在研究中，將提取圖像的以下特征：(1)7維不變矩特征量，作為圖像整體形狀描述的特征向量(2)用Gabor小波提取48維的紋理特征，以表示圖像的整體結構屬性[10];(3)提取一定數量的興趣點及它們的SIFT特征[11]，以表示圖像的局部結構特征與所包含目標的大致形狀。實驗表明，全局和局部視覺特征可以有效的表示出圖像的主要視覺特征。

　　Hu不變矩特征量

　　利用矩不變量進行形體識別是模式識別中的一種重要的方法， Hu在1961年首先提出了矩不變量的概念。Hu首先提出代數不變矩的概念，并給出了一組基于通用矩組合的代數矩不變量。這些矩具有平移、尺度和旋轉不變性，被稱為Hu’s矩。

　　對于連續(xù)灰度函數 f(x, y)，它的(p + q)階二維原點矩Mpq 的定義為：

　　假設 f(x, y)為分段連續(xù)的有界函數，并且在x，y平面上有限區(qū)域內有非零值。根據唯一性定理，它的各階矩存在且唯一地被 f(x, y)確定，反過來，f(x, y)也唯一地被它的各階矩確定。

　　此外，還可以定義 f(x, y)的(p + q)階中心矩μpq 為：

　　Hu首先提出了不變矩，他給出了連續(xù)函數矩的定義和關于矩的基本性質，證明了有關矩的平移不變性、旋轉不變性以及比例不變性等性質，具體給出了具有平移不變性、旋轉不變性和比例不變性的七個不變矩的表達式。