一種RBF神經(jīng)網(wǎng)絡(luò)的自適應學習算法
整個算法的流程大體可分成三個部分。第一個部分是調(diào)節(jié)隱層節(jié)點的中心位置和隱層與輸出層之間的權(quán)值。本文采用梯度下降法,每循環(huán)一次,相應地調(diào)節(jié)一次。第二個部分是執(zhí)行添加操作。添加的策略是根據(jù)輸出誤差在輸入空間分布的不均勻性而提出的。如果執(zhí)行該操作過頻,不但會減小隱層節(jié)點的中心位置和權(quán)值的調(diào)節(jié)速度,而且會造成隱層節(jié)點數(shù)目過多,計算量增大,導致過度擬合??紤]到以上因素,采用間歇的方式執(zhí)行添加操作,只有當i=4n+1(n=0,1,2,…)時,才執(zhí)行添加操作。第三個部分是執(zhí)行刪除操作。如果執(zhí)行該操作過頻,對于一些新增加的隱層節(jié)點,其中心位置和權(quán)值有可能還沒來得及調(diào)整就已經(jīng)被刪除了,所以也采用間歇的方式執(zhí)行。當i=8m+7(m=0,1,2,…)時,才執(zhí)行刪除操作。
2.4 RBF網(wǎng)絡(luò)參數(shù)調(diào)整算法
本文采用梯度下降法調(diào)整RBF的隱層節(jié)點中心位置和權(quán)值。設(shè)隱層節(jié)點的數(shù)目為m,一共有N組訓練樣本:(x,y)={(x1,y1),(x2,y2),…,(xN,yN)}。神經(jīng)網(wǎng)絡(luò)的實際輸出為:。選取均方差為誤差函數(shù),取ρ1和ρ2為學習率。
(1)調(diào)整隱層節(jié)點的權(quán)值
(2)調(diào)整隱層節(jié)點中心的位置
3 仿真實例
(1)對隨機曲面進行恢復
仿真中定義曲面方程如下:
原始數(shù)據(jù)集所得曲面圖像如圖2所示。
評論