神級經(jīng)典設(shè)計案例：用ARM和FPGA搭建神經(jīng)網(wǎng)絡(luò)處理器通信方案

　　引言

　　人工神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域得到了很好的應(yīng)用，尤其是具有分布存儲、并行處理、自學(xué)習、自組織以及非線性映射等特點的網(wǎng)絡(luò)應(yīng)用更加廣泛。嵌入式便攜設(shè)備也越來越多地得到應(yīng)用，多數(shù)是基于ARM內(nèi)核及現(xiàn)場可編程門陣列FPGA的嵌入式應(yīng)用。某人工神經(jīng)網(wǎng)絡(luò)的FPGA處理器能夠?qū)?shù)據(jù)進行運算處理，為了實現(xiàn)集數(shù)據(jù)通信、操作控制和數(shù)據(jù)處理于一體的便攜式神經(jīng)網(wǎng)絡(luò)處理器，需要設(shè)計一種基于嵌入式ARM內(nèi)核及現(xiàn)場可編程門陣列FPGA的主從結(jié)構(gòu)處理系統(tǒng)滿足要求。

　　1人工神經(jīng)網(wǎng)絡(luò)處理器

　　1.1人工神經(jīng)網(wǎng)絡(luò)模型

　　人工神經(jīng)網(wǎng)絡(luò)是基于模仿大腦功能而建立的一種信息處理系統(tǒng)。它實際上是由大量的、很簡單的處理單元(或稱神經(jīng)元)，通過廣泛的互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。最早的神經(jīng)元模型是MP模型，由輸入X、連接權(quán)值W和閾值θ、激活函數(shù)f和輸出O組成，如圖1所示。

　　圖1人工神經(jīng)元的MP模型

　　神經(jīng)元j的輸出為：

　　式中：netj是神經(jīng)元j的凈輸入，xi是神經(jīng)元j的輸入，wij是神經(jīng)元i到神經(jīng)元j的權(quán)值，θj是神經(jīng)元j的閾值，f()是神經(jīng)元凈輸入和輸出之間的變換函數(shù)，稱為激活函數(shù)。[1]

　　后來的各種網(wǎng)絡(luò)模型基本都由這幾個因素構(gòu)成，例如圖2的三層BP神經(jīng)網(wǎng)絡(luò)模型。

　　圖2三層BP神經(jīng)網(wǎng)絡(luò)模型

　　三層BP網(wǎng)絡(luò)的標準學(xué)習算法如下[2]，當網(wǎng)絡(luò)輸出與期望輸出不等時，存在輸出誤差E，定義如下：

　　容易看出，各層權(quán)值調(diào)整公式均由3個因素決定，即學(xué)習率η、本層輸出的誤差信號δ以及本層出入信號Y(或X)。其中，輸出層誤差信號與網(wǎng)絡(luò)的期望輸出與實際輸出之差有關(guān)，直接反映了輸出誤差，而各隱層的誤差信號與前面各層的誤差信號都有關(guān)，是從輸出層開始逐層反傳過來的。

　　神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習的過程就是通過不斷地調(diào)整各個節(jié)點的權(quán)值，使輸出誤差達到最小，最終獲得穩(wěn)定可靠的權(quán)值，實現(xiàn)網(wǎng)絡(luò)的預(yù)定功能。

　　1.2人工神經(jīng)網(wǎng)絡(luò)的FPGA實現(xiàn)

　　算法公式實際隱含著各種運算過程，乘累加計算、激活函數(shù)及其導(dǎo)數(shù)的計算和邏輯運算是3種必不可少的運算，因此FPGA的實現(xiàn)主要是各種運算器的設(shè)計和連接。處理器要處理各種類型的數(shù)據(jù)，樣本數(shù)據(jù)X(訓(xùn)練樣本、實際樣本)，網(wǎng)絡(luò)參數(shù)(學(xué)習速率η、每層神經(jīng)元個數(shù)n等)和權(quán)值W是必不可少的。網(wǎng)絡(luò)參數(shù)和初始權(quán)值用來對網(wǎng)絡(luò)初始化，訓(xùn)練樣本用來訓(xùn)練網(wǎng)絡(luò)學(xué)習，最后在網(wǎng)絡(luò)應(yīng)用階段對實際樣本進行處理。

　　圖3神經(jīng)網(wǎng)絡(luò)的運算模塊和數(shù)據(jù)存儲結(jié)構(gòu)圖

　　圖3展示的是FPGA神經(jīng)網(wǎng)絡(luò)處理器的主體部分：存儲模塊和運算模塊。根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)特點，連接權(quán)值處于各個神經(jīng)元節(jié)點的連接處，與各自的權(quán)值運算結(jié)構(gòu)一一對應(yīng)，為分布式，所以分布式存儲器WM中存儲權(quán)值數(shù)據(jù);樣本數(shù)據(jù)統(tǒng)一從網(wǎng)絡(luò)的輸入層進入網(wǎng)絡(luò)，故DM中存儲樣本數(shù)據(jù);MAE是處理器的運算部分。

　　2通信硬件設(shè)計

　　2.1系統(tǒng)整體架構(gòu)

　　系統(tǒng)整體結(jié)構(gòu)框圖如圖4所示，分為ARM端和FPGA端兩個部分。ARM端有兩個功能：一是從內(nèi)存中讀取已有數(shù)據(jù)，通過DMA方式下載到FPGA端，按照數(shù)據(jù)類型將數(shù)據(jù)下載到不同的存儲設(shè)備和存儲空間;二是對FPGA進行控制，主要是各種中斷操作。FPGA端的功能是接收ARM傳送的數(shù)據(jù)，存儲數(shù)據(jù)，并在微程序控制器的控制下進行運算處理，最后把結(jié)果上傳給ARM.

　　圖4系統(tǒng)整體結(jié)構(gòu)框圖

　　ARM端以S3C44B0X芯片為核心，外部擴展各類設(shè)備構(gòu)成。S3C44B0X是三星公司的16/32位微處理器，片內(nèi)集成了ARM7TDMI核，并在此基礎(chǔ)上集成了豐富的外圍功能模塊，為嵌入式設(shè)備提供一個低成本高性能的方案。

　　S3C44B0X擁有4通道的DMA控制器，兩個ZDMA，連接于SSB(三星系統(tǒng)總線);另外兩個BDMA，連接在SSB和SPB(三星外圍總線)之間的接口層。其中ZDMA可從存儲器到存儲器、存儲器到I/O設(shè)備和I/O設(shè)備到存儲器傳送數(shù)據(jù)。DMA操作由S/W或來自外部請求引腳(nXDREQ0/1)的請求來啟動。[3]

　　在DMA操作中，通過配置DMA特殊功能寄存器來實現(xiàn)對DMA的控制，如圖5所示。

　　圖5 ZDMA控制器框圖

　　FPGA端的組成為FPGA芯片和擴展存儲器。按處理數(shù)據(jù)類型的不同設(shè)計不同的存儲結(jié)構(gòu)，具體如下所列。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)存放于控制寄存器組，初始權(quán)值、穩(wěn)定權(quán)值存放于分布式存儲器，其他參數(shù)(學(xué)習速率、學(xué)習速率調(diào)整因子等)存放于專用寄存器組A中，處理結(jié)果存放于專用寄存器組B中，樣本數(shù)據(jù)存放于擴展存儲器SD卡中。

　　以上所述的存儲體，除擴展存儲器外其他結(jié)構(gòu)都在FPGA芯片內(nèi)部設(shè)計完成。采用這種設(shè)計是基于FPGA片上存儲資源的使用情況：①FPGA的配置文件占用;②分布式存儲器占用;③各類寄存器組占用。當樣本數(shù)據(jù)數(shù)量較大時會占用比較大的空間，F(xiàn)PGA芯片將不能滿足，因此不能把樣本數(shù)據(jù)存儲在片上，而是存儲于擴展存儲器。