AI的人工神經(jīng)網(wǎng)絡(luò)

人工智能，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)，不論你現(xiàn)在是否能夠理解這些概念，你都應(yīng)該學(xué)習(xí)。否則三年內(nèi)，你就會像滅絕的恐龍一樣被社會淘汰。

——馬克·庫班（NBA小牛隊老板，億萬富翁）

我們正經(jīng)歷一場大革命，這場革命就是由大數(shù)據(jù)和強大電腦計算能力發(fā)起的。

人工智能的底層模型是"神經(jīng)網(wǎng)絡(luò)"（neural network）。許多復(fù)雜的應(yīng)用（比如模式識別、自動控制）和高級模型（比如深度學(xué)習(xí)）都基于它。學(xué)習(xí)人工智能，一定是從它開始。

人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是模擬人和動物的神經(jīng)網(wǎng)絡(luò)的某種結(jié)構(gòu)和功能的模擬，所以要了解神經(jīng)網(wǎng)絡(luò)的工作原理，所以我們首先要了解生物神經(jīng)元。其結(jié)構(gòu)如下圖所示：

從上圖可看出生物神經(jīng)元它包括，細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)與細(xì)胞膜組成；

軸突：

是從細(xì)胞體向外伸出的細(xì)長部分，也就是神經(jīng)纖維。軸突是神經(jīng)細(xì)胞的輸出端，通過它向外傳出神經(jīng)沖動；

樹突：

是細(xì)胞體向外伸出的許多較短的樹枝狀分支。它們是細(xì)胞的輸入端，接受來自其它神經(jīng)元的沖動；

突觸：

神經(jīng)元之間相互連接的地方，既是神經(jīng)末梢與樹突相接觸的交界面。

對于從同一樹突先后傳入的神經(jīng)沖動，以及同一時間從不同樹突輸入的神經(jīng)沖動，神經(jīng)細(xì)胞均可加以綜合處理，處理的結(jié)果可使細(xì)胞膜電位升高；當(dāng)膜電位升高到一閥值（約40mV），細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，并由軸突輸出神經(jīng)沖動；當(dāng)輸入的沖動減小，綜合處理的結(jié)果使膜電位下降，當(dāng)下降到閥值時。細(xì)胞進(jìn)入抑制狀態(tài)，此時無神經(jīng)沖動輸出?！芭d奮”和“抑制”，神經(jīng)細(xì)胞必呈其一。

突觸界面具有脈沖/電位信號轉(zhuǎn)換功能，即類似于D/A轉(zhuǎn)換功能。沿軸突和樹突傳遞的是等幅、恒寬、編碼的離散電脈沖信號。細(xì)胞中膜電位是連續(xù)的模擬量。

神經(jīng)沖動信號的傳導(dǎo)速度在1～150m/s之間，隨纖維的粗細(xì)，髓鞘的有無而不同。

神經(jīng)細(xì)胞的重要特點是具有學(xué)習(xí)功能并有遺忘和疲勞效應(yīng)。總之，隨著對生物神經(jīng)元的深入研究，揭示出神經(jīng)元不是簡單的雙穩(wěn)邏輯元件而是微型生物信息處理機(jī)制和控制機(jī)。

而人工神經(jīng)網(wǎng)絡(luò)的基本原理也就是對生物神經(jīng)元進(jìn)行盡可能的模擬，當(dāng)然，以目前的理論水平，制造水平，和應(yīng)用水平，還與人腦神經(jīng)網(wǎng)絡(luò)的有著很大的差別，它只是對人腦神經(jīng)網(wǎng)絡(luò)有選擇的，單一的，簡化的構(gòu)造和性能模擬，從而形成了不同功能的，多種類型的，不同層次的神經(jīng)網(wǎng)絡(luò)模型。

人工神經(jīng)網(wǎng)絡(luò)具有四個基本特征：

（1）非線性非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性一個神經(jīng)網(wǎng)絡(luò)通常由多個神經(jīng)元廣泛連接而成。

一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。

（3）非常定性人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。

神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動力系統(tǒng)的演化過程。

（4）非凸性一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數(shù)。

例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。

人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、大腦風(fēng)格的信息處理，其本質(zhì)是通過網(wǎng)絡(luò)的變換和動力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。它是涉及神經(jīng)科學(xué)、思維科學(xué)、人工智能、計算機(jī)科學(xué)等多個領(lǐng)域的交叉學(xué)科。

人工神經(jīng)網(wǎng)絡(luò)是并行分布式系統(tǒng)，采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機(jī)理，克服了傳統(tǒng)的基于邏輯符號的人工智能在處理直覺、非結(jié)構(gòu)化信息方面的缺陷，具有自適應(yīng)、自組織和實時學(xué)習(xí)的特點。

典型神經(jīng)網(wǎng)絡(luò)

當(dāng)前最常見的幾種神經(jīng)網(wǎng)絡(luò)分別是感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、柯荷倫網(wǎng)絡(luò)、競爭網(wǎng)絡(luò)，這幾種網(wǎng)絡(luò)各具特點。

1、感知器

感知器的工作原理是使用直線、平面等切割平面或立體空間，將這些平面或空間分成若干不同的區(qū)域 ，以達(dá)到對輸入信號進(jìn)行分類的目的。感知器在使用前，需要先進(jìn)行訓(xùn)練。訓(xùn)練感知器的主要目的是調(diào)整它的權(quán)值。訓(xùn)練感知器時，通過選擇典型的輸入類型，這些輸入需要能代表所有的輸入類型，然后將這些數(shù)據(jù)輸入到感知器中對感知器進(jìn)行訓(xùn)練。訓(xùn)練之后，感知器網(wǎng)絡(luò)的節(jié)點數(shù)及權(quán)值得到了調(diào)整。當(dāng)感知器訓(xùn)練完成之后，就可以進(jìn)行工作了。

2、BP 網(wǎng)絡(luò)

BP 網(wǎng)絡(luò)是當(dāng)前使用得最多的一種神經(jīng)網(wǎng)絡(luò)，它的主要功能是對非線性有理函數(shù)進(jìn)行逼近，以滿足對非線性系統(tǒng)的控制作用。一般使用最速下降法對 BP 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將誤差反向傳播，當(dāng)有大量的數(shù)據(jù)通過 BP 網(wǎng)絡(luò)時，網(wǎng)絡(luò)的權(quán)值和閾值得到調(diào)整，并使得網(wǎng)絡(luò)的誤差系數(shù)降低到最小 。下式是不含反饋的神經(jīng)網(wǎng)絡(luò)的輸入與輸出關(guān)系：

以上表達(dá)式不能表示具有反饋方式的神經(jīng)網(wǎng)絡(luò)，如果需要表示 BP 網(wǎng)絡(luò)，還需要對上式加入反饋部分，如下式所示：

當(dāng)訓(xùn)練結(jié)束之后，此神經(jīng)網(wǎng)絡(luò)即是 BP 網(wǎng)絡(luò)，它就可用于對非線性系統(tǒng)的控制。它將輸出反饋到輸入，作為輸入的一部分，以達(dá)到對系統(tǒng)權(quán)值的持續(xù)調(diào)整，消除非線性影響的作用。

3、競爭網(wǎng)絡(luò)

競爭網(wǎng)絡(luò)一般用于對大量具有典型特征的數(shù)據(jù)進(jìn)行分類，它是一種單層網(wǎng)絡(luò)，包括輸入層和競爭層，輸入層和競爭層共用一個權(quán)值函數(shù)。競爭網(wǎng)絡(luò)的訓(xùn)練和工作并未像其它神經(jīng)網(wǎng)絡(luò)那樣明確分開，而是在工作的過程中實現(xiàn)對網(wǎng)絡(luò)的訓(xùn)練。它的訓(xùn)練方式是無監(jiān)督式的，訓(xùn)練過程是通過競爭，將獲勝節(jié)點的權(quán)值進(jìn)行調(diào)整，從而使網(wǎng)絡(luò)的輸出于輸入間的誤差逐漸減小，在這個競爭過程中，就可以通過輸出的不同，而將輸入分成不同的類型，以實現(xiàn)自動分類的功能。

4、柯荷倫網(wǎng)絡(luò)

為了實現(xiàn)對具有概率分布模式的數(shù)據(jù)進(jìn)行分類，可以利用柯荷倫網(wǎng)絡(luò)模型?？潞蓚惥W(wǎng)絡(luò)網(wǎng)絡(luò)模型與普通的網(wǎng)絡(luò)模型很相似，它的不同之處在與它在訓(xùn)練過程中對節(jié)點的調(diào)整方法的區(qū)別?？潞蓚惥W(wǎng)絡(luò)模型對節(jié)點的調(diào)節(jié)方式與競爭網(wǎng)絡(luò)的比較相似，都是通過競爭來確定需要調(diào)整的網(wǎng)絡(luò)節(jié)點，競爭網(wǎng)絡(luò)只需要調(diào)整競爭獲勝的節(jié)點，而柯荷倫網(wǎng)絡(luò)除了需要調(diào)整競爭獲勝的網(wǎng)絡(luò)節(jié)點，還需要調(diào)整獲勝節(jié)點的臨近節(jié)點。

BP 網(wǎng)絡(luò)在智能系統(tǒng)中的應(yīng)用

1、聯(lián)想記憶

在信號處理、語音和圖像識別等領(lǐng)域，當(dāng)輸入數(shù)據(jù)具有干擾或需要網(wǎng)絡(luò)具有糾錯能力時，就需要網(wǎng)絡(luò)能夠識別出這種錯誤，并將其糾正過來。為了能得到具有這種功能的神經(jīng)網(wǎng)絡(luò)，可以先將識別對象轉(zhuǎn)換成網(wǎng)絡(luò)的平衡節(jié)點，通過調(diào)整節(jié)點的權(quán)值，使其記住這些目標(biāo)。然后再通過不斷對網(wǎng)絡(luò)輸入學(xué)習(xí)數(shù)據(jù)，使其不斷進(jìn)行聯(lián)想，最終使目標(biāo)模型的特征收斂到網(wǎng)絡(luò)的平衡節(jié)點上。例如在進(jìn)行文字處理時，為了能是神經(jīng)網(wǎng)絡(luò)具有識別出錯誤文字的功能，可先將特定模型的文字轉(zhuǎn)化成網(wǎng)絡(luò)平衡節(jié)點，然后在對網(wǎng)絡(luò)輸入正確的文字，在不斷的訓(xùn)練過程中，網(wǎng)絡(luò)就能實現(xiàn)對錯誤輸入的識別作用。

2、優(yōu)化計算

霍普菲爾德的網(wǎng)絡(luò)穩(wěn)定性判別函數(shù)以能量為基礎(chǔ)。當(dāng)系統(tǒng)不穩(wěn)定時，能量會逐漸減小，并最終趨于穩(wěn)定。在大規(guī)模電力線路的設(shè)計過程中，為了使設(shè)計的電子線路系統(tǒng)最優(yōu)，就需要對設(shè)計不斷進(jìn)行優(yōu)化。通過對系統(tǒng)網(wǎng)絡(luò)進(jìn)行分析，求解出網(wǎng)絡(luò)的最優(yōu)參數(shù)之后，將這些參數(shù)轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)中的平衡節(jié)點。在對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之后，網(wǎng)絡(luò)就可以通過不斷循環(huán)優(yōu)化，最終設(shè)計出一個最優(yōu)電子線路系統(tǒng)。

3、影像處理

在人造成像系統(tǒng)中，無論是光學(xué)成像，還是聲波成像，以及電磁波成像，由于在對影像進(jìn)行采集和處理的系統(tǒng)一般是數(shù)字系統(tǒng)，并且數(shù)字信號本身比模擬信號具有更強的抗噪能力，在采集和處理過程中，必須先對影像資料進(jìn)行數(shù)字化處理，將模擬信號轉(zhuǎn)換成數(shù)字信號。因此，最終采集到的影像資料都是不連續(xù)的。

當(dāng)前對影像數(shù)據(jù)的處理主要包括：處理因焦距問題而產(chǎn)生的影像模糊；影像噪聲含量較多時將噪聲處理掉；使用邊緣檢測的方法，得到圖像的特殊屬性。影像處理所涉及的領(lǐng)域也非常寬廣，如對影像進(jìn)行分類、在醫(yī)學(xué)中對藥物反應(yīng)的影像進(jìn)行分析等。

在對圖像處理的研究中，主要出現(xiàn)過線性鑒別、遺傳網(wǎng)絡(luò)、counter-propagation network 三種主要的處理方法 ，經(jīng)過比較其處理結(jié)果，發(fā)現(xiàn)利用遺傳網(wǎng)絡(luò)進(jìn)行處理的性能最好。

神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行處理的步驟如下：將原始圖像輸入到網(wǎng)絡(luò)中；利用特征提取的方法得到圖像自身的屬性；對圖像特征進(jìn)行分類；將這些處理結(jié)果作為訓(xùn)練資料或數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中，通過神經(jīng)網(wǎng)絡(luò)的自動分辨功能，分辨出圖形結(jié)果。

在實際使用時，先對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再將神經(jīng)網(wǎng)絡(luò)投入到實際應(yīng)用中。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理具有諸多實際應(yīng)用意義，也是當(dāng)前研究的一個熱點方向。在Google 地圖、對天文圖像的處理及網(wǎng)絡(luò)圖像分析等領(lǐng)域，由于資料十分龐大，利用人工進(jìn)行處理，顯然是不切實際的。為了能快速的得到所需的圖像特征，查找出需要的圖像資料，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理，無疑是最好的選擇。
 

神經(jīng)網(wǎng)絡(luò)是一門重要的機(jī)器學(xué)習(xí)技術(shù)。它是目前最為火熱的研究方向–深度學(xué)習(xí)的基礎(chǔ)。學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)不僅可以讓你掌握一門強大的機(jī)器學(xué)習(xí)方法，同時也可以更好地幫助你理解深度學(xué)習(xí)技術(shù)。

- END -