憶阻器或賦予AI芯片時(shí)間感知能力

“你有時(shí)間嗎？”隨著密歇根大學(xué)（University of Michigan）最新的憶阻器發(fā)現(xiàn)，人工智能芯片可能很快就會(huì)注意到事件的順序。

密歇根大學(xué)的一個(gè)研究小組利用新的憶阻器技術(shù)創(chuàng)建了一個(gè)時(shí)間感知神經(jīng)網(wǎng)絡(luò)。雖然這項(xiàng)技術(shù)目前只是在小規(guī)模上實(shí)現(xiàn)，但其特性可能會(huì)導(dǎo)致人工智能的重大范式轉(zhuǎn)變。

與感知器等早期神經(jīng)網(wǎng)絡(luò)相比，現(xiàn)代人工智能模型遠(yuǎn)遠(yuǎn)超出了簡單的模式識別。最新的部署，如 Copilot 或 GPT4，可以生成新的材料。然而，這種性能會(huì)消耗相當(dāng)大的功率。

研究人員研究了人腦中的神經(jīng)元，以了解他們?nèi)绾卧趹涀杵鳎ㄉ窠?jīng)元的硬件模擬）中復(fù)制計(jì)時(shí)。神經(jīng)元通過一種稱為“松弛時(shí)間”的東西來編碼有關(guān)一系列事件何時(shí)發(fā)生的信息。神經(jīng)元接收并發(fā)送一些電信號。神經(jīng)元只有在接收到一定的輸入信號閾值時(shí)才會(huì)發(fā)送自己的信號，并且必須在一定的時(shí)間范圍內(nèi)達(dá)到這個(gè)閾值。如果時(shí)間過長，神經(jīng)元就會(huì)放松并釋放電能。人類可以理解事件發(fā)生的時(shí)間和順序，因?yàn)檫@些神經(jīng)元在我們的神經(jīng)網(wǎng)絡(luò)中以不同的速率放松。

到目前為止，憶阻器的工作原理與此不同。當(dāng)一個(gè)憶阻器接觸到一個(gè)信號時(shí)，它的電阻會(huì)減小，允許更多的下一個(gè)信號通過。隨著時(shí)間的推移，更多的放松會(huì)導(dǎo)致更高的電阻。然而，加州大學(xué)團(tuán)隊(duì)的研究表明，基底材料的變化可以產(chǎn)生不同的弛豫時(shí)間，類似于神經(jīng)元弛豫時(shí)間的自然變化，從而使憶阻器具有計(jì)時(shí)機(jī)制。

研究人員挖掘“原子世界的廚房水槽”

使用熵穩(wěn)定氧化物 （ESO），UM 憶阻器表現(xiàn)出隨時(shí)間變化的弛豫時(shí)間，可以在159到278 ns之間進(jìn)行調(diào)節(jié)。依賴時(shí)間的神經(jīng)元激活可以在硬件中編程，從而在部署模型時(shí)不需要耗電的GPU。

UM小組使用釔、鋇、碳和氧（YBCO）襯底開發(fā)了這種ESO，該襯底在-292°F以下具有超導(dǎo)特性。該項(xiàng)目的一位研究人員將這種熵穩(wěn)定的氧化物稱為“原子世界的廚房水槽”;也就是說，研究人員添加的元素越多，它就越穩(wěn)定。

經(jīng)過訓(xùn)練后，該設(shè)備可以識別數(shù)字 0 到 9 的聲音（在許多情況下甚至在音頻輸入完成之前），同時(shí)與基于 GPU 的系統(tǒng)相比，始終保持更好的運(yùn)行效率。未來，該團(tuán)隊(duì)相信他們可以進(jìn)一步改進(jìn)用于制造設(shè)備的能源密集型過程。

在現(xiàn)代神經(jīng)網(wǎng)絡(luò)中，GPU 技術(shù)完成了大部分訓(xùn)練和識別。GPU 從內(nèi)存中提取已知權(quán)重，將它們用于乘法和累加，并將它們發(fā)送回內(nèi)存。這可以重復(fù)任意次數(shù)，結(jié)果是模型輸出。這種方法非常適用于小型模型。隨著模型變得越來越先進(jìn)，內(nèi)存移動(dòng)的數(shù)量開始凸顯馮·諾依曼架構(gòu)的弱點(diǎn)。許多研究人員和開發(fā)人員正在轉(zhuǎn)向內(nèi)存計(jì)算或硬件支持的技術(shù)，以加快這種數(shù)據(jù)傳輸并降低能耗。

UM小組并不是第一個(gè)在人工智能和高級計(jì)算中使用憶阻器的團(tuán)隊(duì)。以前的許多小組已經(jīng)探索了用于內(nèi)存計(jì)算的新材料。然而，UM是第一個(gè)表現(xiàn)出時(shí)間依賴性行為的研究小組，這對于復(fù)制人腦的運(yùn)作方式至關(guān)重要。

雖然 UM 小組對他們的可調(diào) ESO 能否很快投入商用沒有任何誤解，但他們的研究標(biāo)志著向硬件支持的人工智能性能又邁進(jìn)了一步。

如果憶阻器件能夠利用現(xiàn)代半導(dǎo)體技術(shù)，它們對定制的人工智能硬件解決方案的影響可能是巨大的。UM團(tuán)隊(duì)估計(jì)，在不改變時(shí)間常數(shù)的情況下，他們的新材料系統(tǒng)可以將人工智能芯片的能效提高到目前材料的六倍。

來源：EETOP