基于優(yōu)化GDTW-SVM算法的聯(lián)機(jī)手寫(xiě)識(shí)別

摘要：基于高斯動(dòng)態(tài)時(shí)間規(guī)整核函數(shù)(Gaussian Dynamic Time Warping kernel)的支持向量機(jī)(GDTW-SVM)在聯(lián)機(jī)手寫(xiě)識(shí)別中有較高的識(shí)別率，但是存在計(jì)算復(fù)雜度高的問(wèn)題。結(jié)合聯(lián)機(jī)手寫(xiě)識(shí)別中特征向量的特點(diǎn)，提出了通過(guò)引入控制參數(shù)來(lái)約束GDTW最優(yōu)對(duì)齊路徑計(jì)算空間的方法，優(yōu)化了GDTW核函數(shù)。然后，使用聯(lián)機(jī)手寫(xiě)識(shí)別數(shù)據(jù)庫(kù)UJIpenchar2進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該優(yōu)化方法不僅可以減少支持向量的數(shù)目，而且提高了GDTW-SVM算法運(yùn)行的效率。
關(guān)鍵詞：手寫(xiě)識(shí)別；動(dòng)態(tài)時(shí)間規(guī)整；支持向量機(jī)；核方法

0 前言
隨著智能手機(jī)和平板電腦等無(wú)輸入鍵盤(pán)電子設(shè)備的流行，聯(lián)機(jī)手寫(xiě)識(shí)別的研究吸引了越來(lái)越多的關(guān)注。而手寫(xiě)簽名驗(yàn)證和基于3D加速度傳感器的姿態(tài)識(shí)別、手寫(xiě)識(shí)別等新應(yīng)用形式的出現(xiàn)，也為聯(lián)機(jī)手寫(xiě)識(shí)別的研究注入了新的活力。
支持向量機(jī)(Support Vector Machine，SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來(lái)的新一代分類(lèi)識(shí)別算法，使用核函數(shù)方法將非線性可分的特征向量映射到高維空間，計(jì)算最大化分類(lèi)間隔的最優(yōu)分類(lèi)超平面。在文本分類(lèi)、語(yǔ)音識(shí)別、手寫(xiě)識(shí)別、曲線擬合等領(lǐng)域，SVM已經(jīng)有比較成熟的應(yīng)用。但是，一般的核函數(shù)要求不同樣本的特征向量的維數(shù)相同，限制了SVM在語(yǔ)音識(shí)別和聯(lián)機(jī)手寫(xiě)識(shí)別領(lǐng)域的進(jìn)一步發(fā)展。為此，Bahlmann等人使用彈性距離計(jì)算算法--DTW算法--構(gòu)造了GDTW核函數(shù)，進(jìn)而提出GDTW-SVM算法。GDTW-SVM的聯(lián)機(jī)手寫(xiě)識(shí)別實(shí)驗(yàn)結(jié)果表明，GDT W-SVM取得了可媲美隱馬爾科夫模型、神經(jīng)網(wǎng)絡(luò)等分類(lèi)算法的識(shí)別率，并且與使用后來(lái)提出的基于其它彈性距離計(jì)算構(gòu)造的核函數(shù)的SVM相比，性能不相伯仲。
本文結(jié)合GDTW核函數(shù)和聯(lián)機(jī)手寫(xiě)識(shí)別樣本的特征向量的特點(diǎn)，引入新的控制參數(shù)優(yōu)化GDTW核函數(shù)的計(jì)算。實(shí)驗(yàn)結(jié)果表明，本文提出的優(yōu)化方法不僅減少了支持向量的數(shù)目，而且提高了GDTW-SVM運(yùn)行效率。

1 聯(lián)機(jī)手寫(xiě)識(shí)別過(guò)程
1．1 聯(lián)機(jī)手寫(xiě)識(shí)別流程介紹
聯(lián)機(jī)手寫(xiě)識(shí)別的過(guò)程與通用模式識(shí)別的過(guò)程基本相同，由數(shù)據(jù)采集和預(yù)處理、特征提取、分類(lèi)識(shí)別、后處理四個(gè)步驟組成。
在數(shù)據(jù)采集和預(yù)處理階段，首先使用傳感器采集原始物理信息，比較常見(jiàn)的是加速度、速度、位移、起筆和落筆；然后，對(duì)原始信息進(jìn)行傳感器矯正、去噪等預(yù)處理。
特征提取是手寫(xiě)識(shí)別的重要步驟之一，對(duì)分類(lèi)器的設(shè)計(jì)和分類(lèi)結(jié)果有著重要的影響，選擇合適的特征不僅可以提高識(shí)別率，也可以節(jié)省計(jì)算存儲(chǔ)空間、運(yùn)算時(shí)間、特征提取費(fèi)用。聯(lián)機(jī)手寫(xiě)識(shí)別中比較常見(jiàn)特征提取方法有加速度、位移、DCT變換等。
分類(lèi)識(shí)別是手寫(xiě)識(shí)別的核心階段，大多數(shù)分類(lèi)器在實(shí)際分類(lèi)應(yīng)用之前，需要使用訓(xùn)練樣本對(duì)分類(lèi)器進(jìn)行訓(xùn)練，不斷地修正特征提取方法和方案、分類(lèi)器的判決規(guī)則和參數(shù)。目前，分類(lèi)識(shí)別的訓(xùn)練階段需要人工干預(yù)以達(dá)到最佳的識(shí)別率。
一些識(shí)別系統(tǒng)在分類(lèi)識(shí)別之后使用后處理進(jìn)一步提高識(shí)別率。例如，數(shù)字“1”和小寫(xiě)字母“1”在很多情況下難以分辨，但是在后處理階段結(jié)合上下文信息，決定當(dāng)前字符是數(shù)字“1”還是小寫(xiě)字母“1”。
1．2 聯(lián)機(jī)手寫(xiě)識(shí)別實(shí)驗(yàn)
本文聯(lián)機(jī)手寫(xiě)識(shí)別實(shí)驗(yàn)采用了Bahlmann等人和Bothe等人使用的方法。所使用的樣本數(shù)據(jù)庫(kù)是免費(fèi)的聯(lián)機(jī)手寫(xiě)數(shù)據(jù)庫(kù)UJIpenchars2。它采用Toshiba M400 Tablet PC收集，包含60個(gè)書(shū)寫(xiě)者的共11640個(gè)手寫(xiě)樣本。這些樣本包含ASCII字符、拉丁字符和西班牙字符，而每個(gè)字符包含80個(gè)訓(xùn)練樣本和140個(gè)測(cè)試樣本。每個(gè)樣本由一劃或多劃組成，數(shù)據(jù)庫(kù)提供每個(gè)筆劃的坐標(biāo)序列。
坐標(biāo)序列由等時(shí)間間隔采集的筆尖的水平坐標(biāo)xi和垂直坐標(biāo)yi組成。而在本文實(shí)驗(yàn)中，樣本的坐標(biāo)序列不經(jīng)過(guò)任何去噪等預(yù)處理，直接對(duì)每個(gè)坐標(biāo)點(diǎn)，使用字符的重心(μx，μy)和垂直坐標(biāo)的方差σy計(jì)算列向量

式(1)中，ang是求虛數(shù)相角的函數(shù)。每個(gè)字符樣本的特征向量是T=(t1，…，tNT)，其中，NT是采集的坐標(biāo)點(diǎn)數(shù)目，即特征向量的維數(shù)，每個(gè)字符樣本的NT可以不相同。
本文的聯(lián)機(jī)手寫(xiě)識(shí)別實(shí)驗(yàn)假設(shè)每個(gè)字符不需要分析其上下文即可完成識(shí)別，所以，特征提取之后使用本文所述的分類(lèi)算法進(jìn)行分類(lèi)識(shí)別，并且將其輸出結(jié)果作為最終識(shí)別結(jié)果，不經(jīng)過(guò)任何后處理。