AI的人工神經(jīng)網(wǎng)絡(luò)

人工智能，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)，不論你現(xiàn)在是否能夠理解這些概念，你都應(yīng)該學(xué)習(xí)。否則三年內(nèi)，你就會(huì)像滅絕的恐龍一樣被社會(huì)淘汰。

——馬克·庫班（NBA小牛隊(duì)老板，億萬富翁）

我們正經(jīng)歷一場(chǎng)大革命，這場(chǎng)革命就是由大數(shù)據(jù)和強(qiáng)大電腦計(jì)算能力發(fā)起的。

人工智能的底層模型是"神經(jīng)網(wǎng)絡(luò)"（neural network）。許多復(fù)雜的應(yīng)用（比如模式識(shí)別、自動(dòng)控制）和高級(jí)模型（比如深度學(xué)習(xí)）都基于它。學(xué)習(xí)人工智能，一定是從它開始。

人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是模擬人和動(dòng)物的神經(jīng)網(wǎng)絡(luò)的某種結(jié)構(gòu)和功能的模擬，所以要了解神經(jīng)網(wǎng)絡(luò)的工作原理，所以我們首先要了解生物神經(jīng)元。其結(jié)構(gòu)如下圖所示：

從上圖可看出生物神經(jīng)元它包括，細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)與細(xì)胞膜組成；

軸突：

是從細(xì)胞體向外伸出的細(xì)長(zhǎng)部分，也就是神經(jīng)纖維。軸突是神經(jīng)細(xì)胞的輸出端，通過它向外傳出神經(jīng)沖動(dòng)；

樹突：

是細(xì)胞體向外伸出的許多較短的樹枝狀分支。它們是細(xì)胞的輸入端，接受來自其它神經(jīng)元的沖動(dòng)；

突觸：

神經(jīng)元之間相互連接的地方，既是神經(jīng)末梢與樹突相接觸的交界面。

對(duì)于從同一樹突先后傳入的神經(jīng)沖動(dòng)，以及同一時(shí)間從不同樹突輸入的神經(jīng)沖動(dòng)，神經(jīng)細(xì)胞均可加以綜合處理，處理的結(jié)果可使細(xì)胞膜電位升高；當(dāng)膜電位升高到一閥值（約40mV），細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，并由軸突輸出神經(jīng)沖動(dòng)；當(dāng)輸入的沖動(dòng)減小，綜合處理的結(jié)果使膜電位下降，當(dāng)下降到閥值時(shí)。細(xì)胞進(jìn)入抑制狀態(tài)，此時(shí)無神經(jīng)沖動(dòng)輸出?！芭d奮”和“抑制”，神經(jīng)細(xì)胞必呈其一。

突觸界面具有脈沖/電位信號(hào)轉(zhuǎn)換功能，即類似于D/A轉(zhuǎn)換功能。沿軸突和樹突傳遞的是等幅、恒寬、編碼的離散電脈沖信號(hào)。細(xì)胞中膜電位是連續(xù)的模擬量。

神經(jīng)沖動(dòng)信號(hào)的傳導(dǎo)速度在1～150m/s之間，隨纖維的粗細(xì)，髓鞘的有無而不同。

神經(jīng)細(xì)胞的重要特點(diǎn)是具有學(xué)習(xí)功能并有遺忘和疲勞效應(yīng)。總之，隨著對(duì)生物神經(jīng)元的深入研究，揭示出神經(jīng)元不是簡(jiǎn)單的雙穩(wěn)邏輯元件而是微型生物信息處理機(jī)制和控制機(jī)。

而人工神經(jīng)網(wǎng)絡(luò)的基本原理也就是對(duì)生物神經(jīng)元進(jìn)行盡可能的模擬，當(dāng)然，以目前的理論水平，制造水平，和應(yīng)用水平，還與人腦神經(jīng)網(wǎng)絡(luò)的有著很大的差別，它只是對(duì)人腦神經(jīng)網(wǎng)絡(luò)有選擇的，單一的，簡(jiǎn)化的構(gòu)造和性能模擬，從而形成了不同功能的，多種類型的，不同層次的神經(jīng)網(wǎng)絡(luò)模型。

人工神經(jīng)網(wǎng)絡(luò)具有四個(gè)基本特征：

（1）非線性非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯(cuò)性和存儲(chǔ)容量。

（2）非局限性一個(gè)神經(jīng)網(wǎng)絡(luò)通常由多個(gè)神經(jīng)元廣泛連接而成。

一個(gè)系統(tǒng)的整體行為不僅取決于單個(gè)神經(jīng)元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。

（3）非常定性人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。

神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時(shí)，非線性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動(dòng)力系統(tǒng)的演化過程。

（4）非凸性一個(gè)系統(tǒng)的演化方向，在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù)。

例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。

人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、大腦風(fēng)格的信息處理，其本質(zhì)是通過網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。它是涉及神經(jīng)科學(xué)、思維科學(xué)、人工智能、計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域的交叉學(xué)科。

人工神經(jīng)網(wǎng)絡(luò)是并行分布式系統(tǒng)，采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機(jī)理，克服了傳統(tǒng)的基于邏輯符號(hào)的人工智能在處理直覺、非結(jié)構(gòu)化信息方面的缺陷，具有自適應(yīng)、自組織和實(shí)時(shí)學(xué)習(xí)的特點(diǎn)。

典型神經(jīng)網(wǎng)絡(luò)

當(dāng)前最常見的幾種神經(jīng)網(wǎng)絡(luò)分別是感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、柯荷倫網(wǎng)絡(luò)、競(jìng)爭(zhēng)網(wǎng)絡(luò)，這幾種網(wǎng)絡(luò)各具特點(diǎn)。

1、感知器

感知器的工作原理是使用直線、平面等切割平面或立體空間，將這些平面或空間分成若干不同的區(qū)域 ，以達(dá)到對(duì)輸入信號(hào)進(jìn)行分類的目的。感知器在使用前，需要先進(jìn)行訓(xùn)練。訓(xùn)練感知器的主要目的是調(diào)整它的權(quán)值。訓(xùn)練感知器時(shí)，通過選擇典型的輸入類型，這些輸入需要能代表所有的輸入類型，然后將這些數(shù)據(jù)輸入到感知器中對(duì)感知器進(jìn)行訓(xùn)練。訓(xùn)練之后，感知器網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)及權(quán)值得到了調(diào)整。當(dāng)感知器訓(xùn)練完成之后，就可以進(jìn)行工作了。

2、BP 網(wǎng)絡(luò)

BP 網(wǎng)絡(luò)是當(dāng)前使用得最多的一種神經(jīng)網(wǎng)絡(luò)，它的主要功能是對(duì)非線性有理函數(shù)進(jìn)行逼近，以滿足對(duì)非線性系統(tǒng)的控制作用。一般使用最速下降法對(duì) BP 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將誤差反向傳播，當(dāng)有大量的數(shù)據(jù)通過 BP 網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)的權(quán)值和閾值得到調(diào)整，并使得網(wǎng)絡(luò)的誤差系數(shù)降低到最小 。下式是不含反饋的神經(jīng)網(wǎng)絡(luò)的輸入與輸出關(guān)系：

以上表達(dá)式不能表示具有反饋方式的神經(jīng)網(wǎng)絡(luò)，如果需要表示 BP 網(wǎng)絡(luò)，還需要對(duì)上式加入反饋部分，如下式所示：

當(dāng)訓(xùn)練結(jié)束之后，此神經(jīng)網(wǎng)絡(luò)即是 BP 網(wǎng)絡(luò)，它就可用于對(duì)非線性系統(tǒng)的控制。它將輸出反饋到輸入，作為輸入的一部分，以達(dá)到對(duì)系統(tǒng)權(quán)值的持續(xù)調(diào)整，消除非線性影響的作用。

3、競(jìng)爭(zhēng)網(wǎng)絡(luò)

競(jìng)爭(zhēng)網(wǎng)絡(luò)一般用于對(duì)大量具有典型特征的數(shù)據(jù)進(jìn)行分類，它是一種單層網(wǎng)絡(luò)，包括輸入層和競(jìng)爭(zhēng)層，輸入層和競(jìng)爭(zhēng)層共用一個(gè)權(quán)值函數(shù)。競(jìng)爭(zhēng)網(wǎng)絡(luò)的訓(xùn)練和工作并未像其它神經(jīng)網(wǎng)絡(luò)那樣明確分開，而是在工作的過程中實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的訓(xùn)練。它的訓(xùn)練方式是無監(jiān)督式的，訓(xùn)練過程是通過競(jìng)爭(zhēng)，將獲勝節(jié)點(diǎn)的權(quán)值進(jìn)行調(diào)整，從而使網(wǎng)絡(luò)的輸出于輸入間的誤差逐漸減小，在這個(gè)競(jìng)爭(zhēng)過程中，就可以通過輸出的不同，而將輸入分成不同的類型，以實(shí)現(xiàn)自動(dòng)分類的功能。

4、柯荷倫網(wǎng)絡(luò)

為了實(shí)現(xiàn)對(duì)具有概率分布模式的數(shù)據(jù)進(jìn)行分類，可以利用柯荷倫網(wǎng)絡(luò)模型?？潞蓚惥W(wǎng)絡(luò)網(wǎng)絡(luò)模型與普通的網(wǎng)絡(luò)模型很相似，它的不同之處在與它在訓(xùn)練過程中對(duì)節(jié)點(diǎn)的調(diào)整方法的區(qū)別?？潞蓚惥W(wǎng)絡(luò)模型對(duì)節(jié)點(diǎn)的調(diào)節(jié)方式與競(jìng)爭(zhēng)網(wǎng)絡(luò)的比較相似，都是通過競(jìng)爭(zhēng)來確定需要調(diào)整的網(wǎng)絡(luò)節(jié)點(diǎn)，競(jìng)爭(zhēng)網(wǎng)絡(luò)只需要調(diào)整競(jìng)爭(zhēng)獲勝的節(jié)點(diǎn)，而柯荷倫網(wǎng)絡(luò)除了需要調(diào)整競(jìng)爭(zhēng)獲勝的網(wǎng)絡(luò)節(jié)點(diǎn)，還需要調(diào)整獲勝節(jié)點(diǎn)的臨近節(jié)點(diǎn)。

BP 網(wǎng)絡(luò)在智能系統(tǒng)中的應(yīng)用

1、聯(lián)想記憶

在信號(hào)處理、語音和圖像識(shí)別等領(lǐng)域，當(dāng)輸入數(shù)據(jù)具有干擾或需要網(wǎng)絡(luò)具有糾錯(cuò)能力時(shí)，就需要網(wǎng)絡(luò)能夠識(shí)別出這種錯(cuò)誤，并將其糾正過來。為了能得到具有這種功能的神經(jīng)網(wǎng)絡(luò)，可以先將識(shí)別對(duì)象轉(zhuǎn)換成網(wǎng)絡(luò)的平衡節(jié)點(diǎn)，通過調(diào)整節(jié)點(diǎn)的權(quán)值，使其記住這些目標(biāo)。然后再通過不斷對(duì)網(wǎng)絡(luò)輸入學(xué)習(xí)數(shù)據(jù)，使其不斷進(jìn)行聯(lián)想，最終使目標(biāo)模型的特征收斂到網(wǎng)絡(luò)的平衡節(jié)點(diǎn)上。例如在進(jìn)行文字處理時(shí)，為了能是神經(jīng)網(wǎng)絡(luò)具有識(shí)別出錯(cuò)誤文字的功能，可先將特定模型的文字轉(zhuǎn)化成網(wǎng)絡(luò)平衡節(jié)點(diǎn)，然后在對(duì)網(wǎng)絡(luò)輸入正確的文字，在不斷的訓(xùn)練過程中，網(wǎng)絡(luò)就能實(shí)現(xiàn)對(duì)錯(cuò)誤輸入的識(shí)別作用。

2、優(yōu)化計(jì)算

霍普菲爾德的網(wǎng)絡(luò)穩(wěn)定性判別函數(shù)以能量為基礎(chǔ)。當(dāng)系統(tǒng)不穩(wěn)定時(shí)，能量會(huì)逐漸減小，并最終趨于穩(wěn)定。在大規(guī)模電力線路的設(shè)計(jì)過程中，為了使設(shè)計(jì)的電子線路系統(tǒng)最優(yōu)，就需要對(duì)設(shè)計(jì)不斷進(jìn)行優(yōu)化。通過對(duì)系統(tǒng)網(wǎng)絡(luò)進(jìn)行分析，求解出網(wǎng)絡(luò)的最優(yōu)參數(shù)之后，將這些參數(shù)轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)中的平衡節(jié)點(diǎn)。在對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之后，網(wǎng)絡(luò)就可以通過不斷循環(huán)優(yōu)化，最終設(shè)計(jì)出一個(gè)最優(yōu)電子線路系統(tǒng)。

3、影像處理

在人造成像系統(tǒng)中，無論是光學(xué)成像，還是聲波成像，以及電磁波成像，由于在對(duì)影像進(jìn)行采集和處理的系統(tǒng)一般是數(shù)字系統(tǒng)，并且數(shù)字信號(hào)本身比模擬信號(hào)具有更強(qiáng)的抗噪能力，在采集和處理過程中，必須先對(duì)影像資料進(jìn)行數(shù)字化處理，將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。因此，最終采集到的影像資料都是不連續(xù)的。

當(dāng)前對(duì)影像數(shù)據(jù)的處理主要包括：處理因焦距問題而產(chǎn)生的影像模糊；影像噪聲含量較多時(shí)將噪聲處理掉；使用邊緣檢測(cè)的方法，得到圖像的特殊屬性。影像處理所涉及的領(lǐng)域也非常寬廣，如對(duì)影像進(jìn)行分類、在醫(yī)學(xué)中對(duì)藥物反應(yīng)的影像進(jìn)行分析等。

在對(duì)圖像處理的研究中，主要出現(xiàn)過線性鑒別、遺傳網(wǎng)絡(luò)、counter-propagation network 三種主要的處理方法 ，經(jīng)過比較其處理結(jié)果，發(fā)現(xiàn)利用遺傳網(wǎng)絡(luò)進(jìn)行處理的性能最好。

神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理的步驟如下：將原始圖像輸入到網(wǎng)絡(luò)中；利用特征提取的方法得到圖像自身的屬性；對(duì)圖像特征進(jìn)行分類；將這些處理結(jié)果作為訓(xùn)練資料或數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中，通過神經(jīng)網(wǎng)絡(luò)的自動(dòng)分辨功能，分辨出圖形結(jié)果。

在實(shí)際使用時(shí)，先對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再將神經(jīng)網(wǎng)絡(luò)投入到實(shí)際應(yīng)用中。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理具有諸多實(shí)際應(yīng)用意義，也是當(dāng)前研究的一個(gè)熱點(diǎn)方向。在Google 地圖、對(duì)天文圖像的處理及網(wǎng)絡(luò)圖像分析等領(lǐng)域，由于資料十分龐大，利用人工進(jìn)行處理，顯然是不切實(shí)際的。為了能快速的得到所需的圖像特征，查找出需要的圖像資料，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理，無疑是最好的選擇。
 

神經(jīng)網(wǎng)絡(luò)是一門重要的機(jī)器學(xué)習(xí)技術(shù)。它是目前最為火熱的研究方向–深度學(xué)習(xí)的基礎(chǔ)。學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)不僅可以讓你掌握一門強(qiáng)大的機(jī)器學(xué)習(xí)方法，同時(shí)也可以更好地幫助你理解深度學(xué)習(xí)技術(shù)。

- END -