新聞中心

EEPW首頁(yè) > 嵌入式系統(tǒng) > 設(shè)計(jì)應(yīng)用 > 基于SVM和sigmoid函數(shù)的字符識(shí)別自適應(yīng)學(xué)習(xí)算法

基于SVM和sigmoid函數(shù)的字符識(shí)別自適應(yīng)學(xué)習(xí)算法

作者: 時(shí)間:2015-12-02 來(lái)源:網(wǎng)絡(luò) 收藏

  手寫(xiě)字符的一個(gè)突出特點(diǎn)就是模式具有較大的變化性,表現(xiàn)為模式空間的類內(nèi)分布過(guò)于分散,類間交疊嚴(yán)重,這使得識(shí)別模型無(wú)法“恰當(dāng)”地?cái)M合每類模式的數(shù)據(jù)分布或類別之間的判別面。在識(shí)別模型過(guò)程中,通過(guò)自適應(yīng)學(xué)習(xí)就能較好地?cái)M合特定書(shū)寫(xiě)者筆跡特征向量的空間分布,從而有利于識(shí)別率的提高。當(dāng)然,自適應(yīng)學(xué)習(xí)的結(jié)果只是提高了對(duì)特定書(shū)寫(xiě)者的識(shí)別率,但通過(guò)為不同人的筆跡特征向量提供不同的識(shí)別模型,就能夠從總體上提高系統(tǒng)的識(shí)別率。

本文引用地址:http://m.butianyuan.cn/article/283720.htm

  任何一種自適應(yīng)學(xué)習(xí)算法都基于一定的識(shí)別方法。從目前已有的文獻(xiàn)來(lái)看,大致有以下幾種自適應(yīng)學(xué)習(xí)所依據(jù)的識(shí)別方法:HMMs(Hidden Markov Models),ANNs(Artificial Neural Networks),PDNNs(Probabilistic Decision—based Neural Networks),子空間法(Local Subspace)以及模板匹配法(Template Matching)等。這些識(shí)別方法可以分為分布擬合法(HMMs,PDNNs,LS,TM)和判別決策法(ANN);前者僅學(xué)習(xí)每一類的正例,而不學(xué)習(xí)反例,而后者是同時(shí)學(xué)習(xí)正例和反倒。顯然,在模型的一致性上,判別決策法要好于分布擬合法。

  根據(jù)這種思想,本文提出了一種基于分類算法和函數(shù)的自適應(yīng)學(xué)習(xí)算法。分類算法是一種判別決策方法,在很多識(shí)別問(wèn)題中都獲得了很好的實(shí)驗(yàn)結(jié)果,分類算法的輸出為距離,參數(shù)化的函數(shù)擬合SVM輸出距離的類別后驗(yàn)概率分布,使SVM的距離輸出變換為概率輸出。本文提出的算法基于這種概率化方法,通過(guò)自適應(yīng)學(xué)習(xí),修改參數(shù),使sigmoid函數(shù)能夠較好地?cái)M合自適應(yīng)數(shù)據(jù)輸出距離的類別后驗(yàn)概率分布。由于輸出距離是基于兩類別的判別面的.因此輸出距離的類別后驗(yàn)概率分布就同時(shí)學(xué)習(xí)了正例和反例。

  本文以手寫(xiě)數(shù)字為實(shí)驗(yàn)對(duì)象,對(duì)上文提出的自適應(yīng)學(xué)習(xí)算法進(jìn)行了有效性驗(yàn)證。

  1 SVM算法及sigmoid函數(shù)

  1.1 SVM分類學(xué)習(xí)算法

  

 

  1.2 sigmoid函數(shù)

  本文采用的方法,即利用參數(shù)化的sigmoid函數(shù)擬合SVM分類決策函數(shù)的輸出距離的類別后驗(yàn)概率分布,使其距離輸出變?yōu)楦怕瘦敵觥?shù)化的sigmoid函數(shù)為:

  

 

  1.3 求解A,B

  為了避免求出的參數(shù)A,B值的偏移性,應(yīng)利用不同于訓(xùn)練集D1的數(shù)據(jù)集D2求解A,B的值。D2=

將D2中的所有數(shù)據(jù)代入到(6)、(7)式中,求解A,B以求出(7)式的極小值問(wèn)題。

 

  

 

  2 基于SVM和sigmoid函數(shù)的自適應(yīng)學(xué)習(xí)算法

  2.1 多類別分類器設(shè)計(jì)方法

  本文依據(jù)所述SVM算法和one-verse-one原則設(shè)計(jì)多類別的分類器。設(shè)類別數(shù)是n,則共有n*(n-1)/2個(gè)分類器,每個(gè)分類器的參數(shù)依次是權(quán)值Wi,j,bi,j,Ai,j和Bi,j,i,j=1,2,……n,i

  2.2 概率輸出下的多類別決策

  概率輸出下的多類別決策規(guī)則是:設(shè)有未知類別數(shù)據(jù)x,將其代入(6)式中有:

  

 

  依據(jù)投票法原則,若p(x)>O.5,第i類得到1票;若p(x)<0.5,第j類得到1票;若p(x)=0.5,不投票。當(dāng)依次計(jì)算完n*(n-1)/2個(gè)概率值p之后,得到票數(shù)最多的類別被判別為數(shù)據(jù)x所屬的類別。

  2.3 自適應(yīng)學(xué)習(xí)算法

  本文的自適應(yīng)學(xué)習(xí)算法的核心在于通過(guò)自適應(yīng)數(shù)據(jù)中的誤識(shí)樣本,對(duì)參數(shù)Ai,j,Bi,j進(jìn)行自適應(yīng)修正。

  

 

  Milil的上腳標(biāo)i1表示x被誤識(shí)為i1類,Mi1表示被誤識(shí)為i1類的樣本個(gè)數(shù)。若第i1類的自適應(yīng)數(shù)據(jù)集合

的誤識(shí)樣本集合Ei1中有被誤識(shí)為i類的樣本,則Ei中被誤識(shí)為i1類的樣本和Ei1中被誤識(shí)為i類的樣本將構(gòu)成正反例集合Ep和En;若i

  

 

  

 

  將誤識(shí)樣本的正反例集合Ep,En代入(9)式并根據(jù)梯度下降法有:

  

 

  Aoid,Bold是自適應(yīng)修正前的參數(shù)值,Anew,Bnew是自適應(yīng)修正后的參數(shù)值。

  3 實(shí)驗(yàn)結(jié)果

  3.1 預(yù)處理及特征提取

  本文以O(shè)~9十個(gè)數(shù)字作實(shí)驗(yàn)。預(yù)處理及特征提取的步驟如下:

  (1)首先將二值圖像作非線性歸一化,歸一化的尺寸為64*64的方陣。

  (2)在非線性歸一化后的圖像上提取輪廓。

  (3)對(duì)輪廓圖像提取DEF(Directional Element Feature)特征,特征的維數(shù)是1024。

  (4)對(duì)1024維特征作K—L變換,特征維數(shù)壓縮到128維。

  3.2 實(shí)驗(yàn)結(jié)果

  本實(shí)驗(yàn)的樣本情況為:自行收集樣本,平均每個(gè)數(shù)字145個(gè)樣本,其中90個(gè)樣本用來(lái)學(xué)習(xí)判別面的參數(shù)W和6,設(shè)C=1000,kernel設(shè)為線性,采用的軟件是LIBSVM;其余的55個(gè)樣本用來(lái)學(xué)習(xí)參數(shù)A,B。在自適應(yīng)學(xué)習(xí)和測(cè)試階段,共收集了5個(gè)人的樣本,每個(gè)人平均每個(gè)數(shù)字的樣本數(shù)為35個(gè)。表l顯示了自適應(yīng)學(xué)習(xí)的結(jié)果。

  本實(shí)驗(yàn)只測(cè)試了線性核的識(shí)別情況。從表中的統(tǒng)計(jì)結(jié)果可以看出,概率輸出本身就能夠提高識(shí)別率;在采用了本文提出的自適應(yīng)學(xué)習(xí)算法之后,識(shí)別率得到了進(jìn)一步的提高,平均達(dá)到94.5%,比常規(guī)SVM方法提高了5.1%。同時(shí),學(xué)習(xí)算法中的步長(zhǎng)η對(duì)識(shí)別率也有一定程度的影響,步長(zhǎng)為0.1的識(shí)別率要高于步長(zhǎng)為0.2的識(shí)別率。

  

 

  本文基于SVM和sigmoid函數(shù),提出了一種字符識(shí)別自適應(yīng)學(xué)習(xí)算法。本算法相對(duì)于基于HMMs,ANNs,PDNNs,模板匹配,子空間法等識(shí)別方法的自適應(yīng)學(xué)習(xí)算法,是一種新的自適應(yīng)學(xué)習(xí)算法,具有推廣能力好和模型一致性好等特點(diǎn)。今后的研究方向在于設(shè)計(jì)能夠更好地適應(yīng)自適應(yīng)學(xué)習(xí)數(shù)據(jù)的參數(shù)A、B的自適應(yīng)學(xué)習(xí)算法,尋求更合適的擬臺(tái)距離類別后驗(yàn)概率分布的函數(shù)及判別函數(shù)本身的參數(shù)W、b的自適應(yīng)學(xué)習(xí)算法。



關(guān)鍵詞: SVM sigmoid

評(píng)論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉