在線極限學習機及其在圖像識別中的應用

　　摘要：針對海量圖像數據的識別問題，本文提出了在線極限學習機(online optimized ELM，OP-ELM)。OP-ELM以單隱層前饋神經網絡(single hidden layer feed forward networks，SLFNs)為基礎，固定了隱含節(jié)點數以及節(jié)點參數，在在線增量學習過程中綜合考慮歷史數據和新數據，產生全局唯一的最優(yōu)解，降低了計算資源的需求，繼承了極限學習機(Extreme Learning Machine，ELM)學習速度快泛化性能好的優(yōu)點。因此非常適合于海量圖像數據的在線學習問題。在公開圖像數據集Caltech4和Scene13上的實驗表明，本文提出的方法取得了與前沿離線識別方法性能相當的識別效果，與基于SVM的在線學習方法LA-SVM相比，在參數規(guī)模、參數調節(jié)以及學習算法效率方面具有明顯優(yōu)勢。

　　引言

　　隨著科學技術尤其是多媒體技術的進步與發(fā)展，人們生活中觸手可及的圖像數據呈現出爆炸式的增長趨勢。然而，由于圖像底層特征和高層語義之間的語義鴻溝，目前圖像內容分析和識別技術的發(fā)展遠遠落后于圖像數據的增長速度。面對如此海量的圖像數據，現有的圖像分類模型和方法在計算效率和泛化能力方面面臨嚴峻挑戰(zhàn)。

　　雖然神經網絡、支持向量機、核學習等學習已在圖像分析領域取得了廣泛的應用，但這些方法的訓練算法復雜度較大，學習時間過長，并不適合于大型數據集。在單隱層前饋神經網絡基礎上，我們提出了在線極限學習機(Online Optimized Extreme Learning Machine，OP-ELM)。OP-ELM以單隱層前饋神經網絡SLFNs為基礎，繼承了極限學習機(Extreme Learning Machine，ELM)[3]不需要調整網絡的輸入權值以及隱元的偏置，學習速度快泛化性能好的優(yōu)點;另一方面，OP-ELM通過將歷史數據知識固化到隱含節(jié)點輸出矩陣中，降低了計算資源的要求，綜合考慮歷史數據和新數據，產生全局唯一的最優(yōu)解。

　　本文后續(xù)內容的組織結構如下：第一章介紹圖像分類問題中，極限學習機的模型及方法的背景知識;第二章給出本文提出的在線極限學習機模型及訓練方法;第三章是實驗設定及實驗結果分析;第四章對本文進行了小結。