基于BP神經(jīng)網(wǎng)絡(luò)的電路最優(yōu)測(cè)試集的生成設(shè)計(jì)
1 引言
人工神經(jīng)網(wǎng)絡(luò)是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。國(guó)際著名 的神經(jīng)網(wǎng)絡(luò)專(zhuān)家Hecht Nielsen 給神經(jīng)網(wǎng)絡(luò)的定義是:“神經(jīng)網(wǎng)絡(luò)是一個(gè)以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng),它通過(guò)對(duì)連續(xù)或斷續(xù)式的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理”。神經(jīng)網(wǎng)絡(luò)系統(tǒng)[1,2] 是由大量的、同時(shí)也是很簡(jiǎn)單的處理單元(或稱(chēng)神經(jīng)元),通過(guò)廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有的超高維性、強(qiáng)非線(xiàn)性等動(dòng)力學(xué)特性,使其具有原則上容錯(cuò)、結(jié)構(gòu)拓?fù)漪敯簟⒙?lián)想、推測(cè)、記憶、自適應(yīng)、自學(xué)習(xí)、并行和處理復(fù)雜模式等功能,帶來(lái)了提 供更佳診斷性能的潛在可能性。
目前神經(jīng)網(wǎng)絡(luò)應(yīng)用在模擬電路上主要是神經(jīng)網(wǎng)絡(luò)故障字典法。把模擬電路的故障診斷看成是一個(gè)分類(lèi)問(wèn)題,利用神經(jīng)網(wǎng)絡(luò)的分類(lèi)功能來(lái)診斷故障。在測(cè)前把神經(jīng)網(wǎng)絡(luò)訓(xùn)練成一部故障字典,字典的信息蘊(yùn)含在網(wǎng)絡(luò)的連接權(quán)值中,只要輸入電路的測(cè)量特征,就可以從其輸出 查出故障。目前用于模擬電路故障診斷的神經(jīng)網(wǎng)絡(luò)主要有BP 神經(jīng)網(wǎng)絡(luò)和SOM 神經(jīng)網(wǎng)絡(luò)兩 種類(lèi)型。BP 是一種多層網(wǎng)絡(luò)誤差反向傳播網(wǎng)絡(luò),SOM 神經(jīng)網(wǎng)絡(luò)一種自組織特征映射神經(jīng)網(wǎng)絡(luò)(Self-organizing Feature Map)。本文采用標(biāo)準(zhǔn)BP 神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)對(duì)最優(yōu)測(cè)試集的生成。
2 基于神經(jīng)網(wǎng)絡(luò)的最優(yōu)測(cè)試集的生成實(shí)現(xiàn)設(shè)計(jì)
BP 神經(jīng)網(wǎng)絡(luò)對(duì)最優(yōu)測(cè)試集的生成事先沒(méi)有標(biāo)準(zhǔn)的樣本,只有設(shè)定的約束條件,對(duì)目標(biāo) 問(wèn)題的求解是一個(gè)反復(fù)比較選擇、自我建立并不斷更新其樣本庫(kù)的過(guò)程。
?。?)神經(jīng)元激活函數(shù)
激活函數(shù)又稱(chēng)傳遞函數(shù)。對(duì)于模擬電路故障診斷,神經(jīng)元激活函數(shù)可以采用對(duì)稱(chēng)的 sigmoid 函數(shù)y(x)=1/(1+e-x)-0.5,也可以采用非對(duì)稱(chēng)的sigmoid 函數(shù)y(x)=1/(1+e-x)。
(2)輸入層
輸入層從電路拓?fù)浣Y(jié)構(gòu)接受各種狀態(tài)信息提取。神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)數(shù)應(yīng)與輸入特征的 維數(shù)相同,輸入節(jié)點(diǎn)與電路的節(jié)點(diǎn)數(shù)一一對(duì)應(yīng)。
?。?)輸出層
輸出層輸出診斷結(jié)果。輸出結(jié)點(diǎn)數(shù)與預(yù)期節(jié)點(diǎn)選擇數(shù)目相同,每個(gè)輸出結(jié)點(diǎn)與目標(biāo)一一對(duì)應(yīng)。當(dāng)神經(jīng)網(wǎng)絡(luò)用于選擇時(shí),若所有輸出結(jié)點(diǎn)的輸出值均非空,則認(rèn)為本次生成最多數(shù)目 的節(jié)點(diǎn);若有幾個(gè)輸出結(jié)點(diǎn)的輸出值為0,則認(rèn)為生成了較少的測(cè)試節(jié)點(diǎn)。
?。?)隱層數(shù)
BP 網(wǎng)絡(luò)的輸入結(jié)點(diǎn)數(shù)和輸出結(jié)點(diǎn)數(shù)是由實(shí)際問(wèn)題本身決定的。隱層用于對(duì)信息進(jìn)行處理和轉(zhuǎn)化。網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的難點(diǎn)和重點(diǎn)在于隱層結(jié)構(gòu)的設(shè)計(jì),具體是指隱層數(shù)目和各隱層的神經(jīng)元數(shù)目。確定隱層的結(jié)構(gòu)很大程度上決定著網(wǎng)絡(luò)質(zhì)量。隱層用于對(duì)信息進(jìn)行處理和轉(zhuǎn)化。 隱層的層數(shù)取決于問(wèn)題的特點(diǎn)。Funahashi 證明了對(duì)于任何在閉區(qū)間內(nèi)的一個(gè)連續(xù)函數(shù)都可 以用單隱層BP 網(wǎng)絡(luò)逼近,因而一個(gè)三層BP 網(wǎng)絡(luò)可以完成任意的n 維到m 維的映射,說(shuō)明了單隱層的可行性[4],但并不確定是最合理的。本文采用最常用的單隱層BP 網(wǎng)絡(luò)構(gòu)造神經(jīng) 網(wǎng)絡(luò)。
?。?)隱結(jié)點(diǎn)數(shù)
隱層結(jié)點(diǎn)數(shù)的選擇非常重要,隱節(jié)點(diǎn)數(shù)與問(wèn)題的復(fù)雜程度有關(guān),不存在一個(gè)理想的解析 式。隱結(jié)點(diǎn)的數(shù)目與問(wèn)題的要求、輸入、輸出數(shù)目有關(guān)。隱結(jié)點(diǎn)數(shù)目太多會(huì)導(dǎo)致學(xué)習(xí)時(shí)間過(guò) 長(zhǎng),誤差不一定最佳,數(shù)目太少則可能會(huì)使網(wǎng)絡(luò)訓(xùn)練不出來(lái),網(wǎng)絡(luò)的學(xué)習(xí)和聯(lián)想能力降低。
除了一些參考選擇公式外,還可以先放入足夠多的隱結(jié)點(diǎn),通過(guò)學(xué)習(xí)將作用甚微的隱結(jié)點(diǎn)逐 步剔除直到不可收縮為止;或者反向添加至合理數(shù)目為止。 神經(jīng)網(wǎng)絡(luò)故障診斷系統(tǒng)的訓(xùn)練方法如下:
(1)權(quán)初值確定
系統(tǒng)是非線(xiàn)性的,不合適的權(quán)初始值會(huì)使學(xué)習(xí)過(guò)程陷入局部最優(yōu),甚至不收斂。權(quán)一般取隨機(jī)數(shù),而且權(quán)值要小,這樣可使初始權(quán)要在輸入累加時(shí)使每個(gè)神經(jīng)元的狀態(tài)值盡可能接近于零,保證每個(gè)神經(jīng)元都在它們的傳輸函數(shù)導(dǎo)數(shù)最大的地方進(jìn)行,這樣就不至于一開(kāi)始就落在誤差平坦區(qū)上。本文的神經(jīng)網(wǎng)絡(luò)故障診斷系統(tǒng)中,網(wǎng)絡(luò)初始值均取在閉區(qū)間[-0.1,0.1] 內(nèi)均勻分布的隨機(jī)數(shù)。
(2)樣本輸入方式
批處理方式存在局部最優(yōu),在線(xiàn)輸入方式容易引起權(quán)值調(diào)節(jié)的振蕩現(xiàn)象。避免振蕩往往 根據(jù)樣本集的特點(diǎn)進(jìn)行多次嘗試,局部最優(yōu)可以通過(guò)修改網(wǎng)絡(luò)輸出誤差來(lái)緩解。本文樣本輸 入采用批處理方式。
(3)誤差函數(shù)的選擇 神經(jīng)網(wǎng)絡(luò)訓(xùn)練容易出現(xiàn)局部最優(yōu),因此本文設(shè)計(jì)網(wǎng)絡(luò)不要求輸出誤差很小,通過(guò)適當(dāng)增 加訓(xùn)練時(shí)間來(lái)提高準(zhǔn)確度。
3 BP 網(wǎng)絡(luò)在最優(yōu)測(cè)試集上的應(yīng)用
(1)分析電路,構(gòu)造網(wǎng)絡(luò)結(jié)構(gòu) 對(duì)電路中的各節(jié)點(diǎn)支路進(jìn)行分析,建立改進(jìn)的關(guān)聯(lián)矩陣。取得用于選擇的測(cè)試向量。根 據(jù)測(cè)試向量維數(shù)和目標(biāo)要求數(shù)來(lái)選擇網(wǎng)絡(luò)各層的結(jié)點(diǎn)數(shù)。
?。?)輸入特征向量抽取 取電路節(jié)點(diǎn)對(duì)支路的關(guān)聯(lián)信息作為神經(jīng)網(wǎng)絡(luò)的輸入特征。由于各節(jié)點(diǎn)的關(guān)聯(lián)信息相差可 能會(huì)比較大,神經(jīng)網(wǎng)絡(luò)輸入特征的各分量量限也不同。
其中xi 是輸入特征的第i 個(gè)分量,vi 是同類(lèi)關(guān)聯(lián)信息的平均值,這樣使輸入特征的各分 量量限基本相同,而且仍然可以表征原輸入特征。
?。?)輸出特征值設(shè)定
輸出特征維數(shù)取決于輸出的表示方法和要識(shí)別或分類(lèi)的數(shù)目,當(dāng)電路有M 個(gè)待監(jiān)測(cè)節(jié) 點(diǎn)時(shí),電路狀態(tài)有M 類(lèi),本文把無(wú)節(jié)點(diǎn)輸出做為輸出節(jié)點(diǎn)坐標(biāo)為0,輸出特征維數(shù)選擇為M, 輸出特征分量與輸出節(jié)點(diǎn)一一對(duì)應(yīng)。
?。?)訓(xùn)練樣本集的選擇
同故障字典的樣本集選擇不同,最優(yōu)測(cè)試集的訓(xùn)練樣本一開(kāi)始時(shí)不存在的,是在制定的 約束條件下,不斷反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程,是一個(gè)自我學(xué)習(xí)更新的過(guò)程。因此本網(wǎng)絡(luò)將樣本集 訓(xùn)練融合到網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程中。
4 仿真結(jié)果
本文所選擇的目標(biāo)電路模型為實(shí)際某設(shè)備的使用組件。電路板屬于較為典型的模擬電路 板,電路板的原理圖如圖1。
對(duì)電路板進(jìn)行仿真試驗(yàn),得到結(jié)果如表1,其指標(biāo)衡量如表2。
運(yùn)用神經(jīng)網(wǎng)絡(luò)方法得到的種群中的個(gè)體元素仍比較分散,說(shuō)明神經(jīng)網(wǎng)絡(luò)在自主學(xué)習(xí)訓(xùn)練 下要將當(dāng)前的最優(yōu)解解出的能力相對(duì)較弱一些,表1 中給出的結(jié)果是應(yīng)用神經(jīng)網(wǎng)絡(luò)多次運(yùn)算 得到的出現(xiàn)頻率較高的解。
在設(shè)定生成較少的測(cè)設(shè)點(diǎn)數(shù)量時(shí),應(yīng)用神經(jīng)網(wǎng)絡(luò)能夠解出點(diǎn)集,但各項(xiàng)指標(biāo)與使用進(jìn)化 規(guī)劃算法的解相比相對(duì)較差,整體效果類(lèi)似于陷入“早熟”。在設(shè)定生成較多的測(cè)試點(diǎn)數(shù)量時(shí),應(yīng)用神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)目標(biāo)點(diǎn)集的查找解算較為困難,對(duì)目標(biāo)求解的明晰性不強(qiáng),目標(biāo)集(樣本集)內(nèi)的元素不趨同,求解精度不高。
應(yīng)用傳統(tǒng)的 BP 神經(jīng)網(wǎng)絡(luò)解決TSP 或集覆蓋等問(wèn)題時(shí),可行解獲得的效率低,網(wǎng)絡(luò)較難 收斂到可行解。隨著問(wèn)題的復(fù)雜化,傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)方法搜索到嚴(yán)格最優(yōu)解或近似最優(yōu) 解的困難加大,容易陷入局部最優(yōu)。求解速度較慢,網(wǎng)絡(luò)特性相對(duì)不夠穩(wěn)定。
5 結(jié)論
本文應(yīng)用神經(jīng)網(wǎng)絡(luò)對(duì)模擬電路最優(yōu)測(cè)試集生成上進(jìn)行了初步實(shí)現(xiàn)。仿真結(jié)果說(shuō)明當(dāng)電路結(jié)構(gòu)變得復(fù)雜以后,神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和識(shí)別所需要的時(shí)間都比較長(zhǎng),運(yùn)算時(shí)間大大增加,甚至在限定的最大時(shí)間內(nèi)出現(xiàn)求不出參考解的情況。目前,應(yīng)用進(jìn)化規(guī)劃算法進(jìn)行最優(yōu)測(cè)試集的生成對(duì)復(fù)雜電路結(jié)構(gòu)求解問(wèn)題上顯示出其優(yōu)越性,在設(shè)定的時(shí)間內(nèi)求解精度高,在設(shè)定的 精度下運(yùn)算時(shí)間短。
本文作者創(chuàng)新點(diǎn):在復(fù)雜電路結(jié)構(gòu)的求解問(wèn)題上,應(yīng)用進(jìn)化規(guī)劃算法進(jìn)行最優(yōu)測(cè)試集的 生成,在設(shè)定的時(shí)間內(nèi)求解精度高,在設(shè)定的精度下運(yùn)算時(shí)間短。
DIY機(jī)械鍵盤(pán)相關(guān)社區(qū):機(jī)械鍵盤(pán)DIY
評(píng)論