類腦計(jì)算已為大時(shí)代做好準(zhǔn)備

幾十年來(lái)，構(gòu)建類腦計(jì)算機(jī)硬件的努力一直在進(jìn)行，但該領(lǐng)域尚未出現(xiàn)突破時(shí)刻?，F(xiàn)在，領(lǐng)先的研究人員表示，開(kāi)始構(gòu)建第一個(gè)可以解決實(shí)際問(wèn)題的大規(guī)模神經(jīng)形態(tài)設(shè)備的時(shí)機(jī)已經(jīng)成熟。

為人工智能的最新進(jìn)展提供動(dòng)力的神經(jīng)網(wǎng)絡(luò)大致受到大腦的啟發(fā)，展示了從生物學(xué)中汲取靈感的技術(shù)的潛力。但相似之處只是膚淺的，當(dāng)今 AI 背后的算法和硬件的運(yùn)行方式與生物神經(jīng)元完全不同。

神經(jīng)形態(tài)工程師希望，通過(guò)設(shè)計(jì)更忠實(shí)地復(fù)制大腦工作方式的技術(shù)，我們將能夠模仿其令人難以置信的計(jì)算能力和能源效率。這種方法的核心是使用脈沖神經(jīng)網(wǎng)絡(luò)，其中計(jì)算神經(jīng)元通過(guò)使用活動(dòng)峰值進(jìn)行通信來(lái)模擬它們的生物表親，而不是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中使用的數(shù)值。但是，盡管經(jīng)過(guò)了幾十年的研究，私營(yíng)部門的興趣日益濃厚，但大多數(shù)示范活動(dòng)仍然是小規(guī)模的，而且這項(xiàng)技術(shù)還沒(méi)有取得商業(yè)突破。

在 1 月份發(fā)表在《自然》雜志上的一篇論文中，該領(lǐng)域的一些領(lǐng)先研究人員認(rèn)為，這種情況可能很快就會(huì)改變。他們認(rèn)為，神經(jīng)形態(tài)計(jì)算已經(jīng)從學(xué)術(shù)原型成熟為能夠應(yīng)對(duì)現(xiàn)實(shí)世界挑戰(zhàn)的生產(chǎn)就緒設(shè)備，現(xiàn)在已準(zhǔn)備好向大規(guī)模系統(tǒng)飛躍。 與該論文的作者之一 Steve Furber 進(jìn)行了交談，他是 ARM 微處理器（現(xiàn)在為大多數(shù)手機(jī)提供支持的技術(shù)）的首席設(shè)計(jì)師，也是 SpiNNaker 神經(jīng)形態(tài)計(jì)算機(jī)架構(gòu)的創(chuàng)建者。

史蒂夫·福伯 （Steve Furber） 談關(guān)于下列問(wèn)題：

    為什么神經(jīng)形態(tài)計(jì)算正處于關(guān)鍵時(shí)刻
    軟件與硬件
    打破研究孤島
    規(guī)模與生物學(xué)合理性
    憶阻器的影響

在論文中，您說(shuō)神經(jīng)形態(tài)計(jì)算正處于一個(gè)關(guān)鍵時(shí)刻。這是什么意思？

史蒂夫·福伯：我們已經(jīng)證明，該技術(shù)可以支持幾乎任意規(guī)模的脈沖神經(jīng)網(wǎng)絡(luò)，并且可以使用它們做一些有用的事情。當(dāng)前的關(guān)鍵是，我們確實(shí)需要一些殺手級(jí)應(yīng)用的演示。

SpiNNaker 項(xiàng)目始于 20 年前，專注于為腦科學(xué)做出貢獻(xiàn)，如果您想構(gòu)建腦細(xì)胞功能模型，神經(jīng)形態(tài)學(xué)是一項(xiàng)顯而易見(jiàn)的技術(shù)。但在過(guò)去的 20 年里，重點(diǎn)已經(jīng)轉(zhuǎn)移到工程應(yīng)用上。要在工程領(lǐng)域真正起飛，我們需要一些神經(jīng)形態(tài)優(yōu)勢(shì)的展示。

與此同時(shí)，在這 20 年里，基于一種完全不同的神經(jīng)網(wǎng)絡(luò)的主流 AI 出現(xiàn)了爆炸式增長(zhǎng)。這非常令人印象深刻，顯然產(chǎn)生了巨大的影響，但它開(kāi)始遇到一些嚴(yán)重的問(wèn)題，尤其是在大型語(yǔ)言模型 （LLM） 的能源需求方面?，F(xiàn)在人們期望神經(jīng)形態(tài)方法可能會(huì)通過(guò)顯著減少那些不可持續(xù)的能源需求來(lái)做出貢獻(xiàn)。

我們即將擁有足以支持神經(jīng)形態(tài)形式的 LLM 的規(guī)模的神經(jīng)形態(tài)系統(tǒng)。我認(rèn)為在較小的一端也有很多重要的應(yīng)用程序開(kāi)發(fā)。特別靠近傳感器，使用基于事件的圖像傳感器和神經(jīng)形態(tài)處理系統(tǒng)可以提供非常低能耗的視覺(jué)系統(tǒng)，可以應(yīng)用于安全和汽車等領(lǐng)域。

當(dāng)您談到實(shí)現(xiàn)大規(guī)模神經(jīng)形態(tài)計(jì)算機(jī)時(shí)，這與已經(jīng)存在的系統(tǒng)相比如何？

Furber：已經(jīng)有很多例子，比如大型 Intel Loihi 2 系統(tǒng) Hala Point。這是一個(gè)非常密集、大規(guī)模的系統(tǒng)。自 2016 年以來(lái)，我們一直在 [英國(guó)曼徹斯特大學(xué)] 上運(yùn)行服務(wù)的 SpiNNaker 1 機(jī)器在系統(tǒng)中有五十萬(wàn)個(gè) ARM 內(nèi)核，到 2018 年擴(kuò)展到 100 萬(wàn)個(gè)。這是相當(dāng)大的規(guī)模。我們?cè)?nbsp;SpiNNaker 2 [SpiNNcloud Systems，總部位于德國(guó)德累斯頓] 上的合作者開(kāi)始銷售 500 萬(wàn)個(gè)核心級(jí)別的系統(tǒng)，他們將能夠運(yùn)行相當(dāng)多的 LLM。

現(xiàn)在，神經(jīng)形態(tài)平臺(tái)需要進(jìn)化多少是一個(gè)有待回答的問(wèn)題。它們可以以相當(dāng)簡(jiǎn)單的方式進(jìn)行轉(zhuǎn)換以使其運(yùn)行，但這種簡(jiǎn)單的轉(zhuǎn)換不一定能獲得最佳的能源性能。

那么，硬件不是真正的問(wèn)題嗎，而是在它上面有效地構(gòu)建一些東西嗎？

Furber：是的，我認(rèn)為過(guò)去 20 年已經(jīng)見(jiàn)證了概念驗(yàn)證硬件系統(tǒng)以所需的規(guī)模出現(xiàn)。而是弄清楚如何充分利用他們，這就是差距。其中一些只是復(fù)制為基于 GPU 的機(jī)器學(xué)習(xí)開(kāi)發(fā)的高效且有用的軟件堆棧。

可以在 neuromorphic 硬件上構(gòu)建應(yīng)用程序，但仍然非常困難。最大的缺失組件是類似于 TensorFlow 和 PyTorch 的高級(jí)軟件設(shè)計(jì)工具，這些工具使構(gòu)建大型模型變得簡(jiǎn)單明了，而不必深入到詳細(xì)描述每個(gè)神經(jīng)元的級(jí)別。

有相當(dāng)多樣化的神經(jīng)形態(tài)技術(shù)，這有時(shí)會(huì)使不同群體之間的研究結(jié)果難以轉(zhuǎn)化。您如何打破這些孤島？

Furber：盡管硬件實(shí)現(xiàn)通常大不相同，但更高級(jí)別有很多共同點(diǎn)。所有神經(jīng)形態(tài)平臺(tái)都使用尖峰神經(jīng)元，神經(jīng)元本身也相似。在較低級(jí)別上，您有各種各樣的細(xì)節(jié)，但可以通過(guò)實(shí)現(xiàn)一個(gè)軟件層來(lái)彌合這些較低級(jí)別的硬件差異與較高級(jí)別的共性。

我們?cè)谶@方面取得了一些進(jìn)展，因?yàn)樵跉W盟的 Human Brain Project 中，我們有一個(gè)小組一直在開(kāi)發(fā) PyNN 語(yǔ)言。它得到了 SpiNNaker（一個(gè)多核心神經(jīng)形態(tài)系統(tǒng)）和海德堡大學(xué)的 BrainScaleS 系統(tǒng)（一個(gè)模擬神經(jīng)模型）的支持。

但事實(shí)是，許多神經(jīng)形態(tài)系統(tǒng)都是在實(shí)驗(yàn)室中開(kāi)發(fā)的，并且只由該實(shí)驗(yàn)室內(nèi)的其他人使用。因此，它們對(duì)追求共性沒(méi)有貢獻(xiàn)。英特爾一直在嘗試通過(guò)在 Loihi 系統(tǒng)上構(gòu)建 Lava 軟件基礎(chǔ)設(shè)施并鼓勵(lì)其他人參與來(lái)做出貢獻(xiàn)。因此，有朝這個(gè)方向前進(jìn)的步伐，但遠(yuǎn)未完成。

對(duì)于神經(jīng)形態(tài)技術(shù)的生物學(xué)合理性需要有多大，意見(jiàn)不一。該領(lǐng)域需要在這里達(dá)成一些共識(shí)嗎？

Furber：我認(rèn)為硬件平臺(tái)和使用的神經(jīng)元模型的多樣性是研究領(lǐng)域的一個(gè)優(yōu)勢(shì)。多樣性是一種探索空間的機(jī)制，讓您有最好的機(jī)會(huì)找到開(kāi)發(fā)嚴(yán)肅的大規(guī)模應(yīng)用程序的最佳答案。但是，一旦你這樣做了，是的，我認(rèn)為你需要減少多樣性并更多地關(guān)注共性。因此，如果神經(jīng)形態(tài)即將從一個(gè)主要由研究驅(qū)動(dòng)的領(lǐng)域過(guò)渡到一個(gè)主要由應(yīng)用驅(qū)動(dòng)的領(lǐng)域，那么我們預(yù)計(jì)會(huì)看到這種變化。

如果該領(lǐng)域想要實(shí)現(xiàn)規(guī)?；?，它是否必須犧牲一點(diǎn)生物學(xué)上的合理性？

Furber：生物保真度和工程可控性之間存在權(quán)衡。復(fù)制 LLM 中使用的極其簡(jiǎn)單的神經(jīng)模型不需要很高的生物保真度?，F(xiàn)在，可以說(shuō)，如果您可以整合更多的生物細(xì)節(jié)和功能，則可以將這些模型所需的神經(jīng)元數(shù)量減少一個(gè)重要因素。如果這是真的，那么最終整合這些更復(fù)雜的模型可能是值得的。但要證明情況確實(shí)如此，仍然是一個(gè)很大的研究問(wèn)題。

近年來(lái)，憶阻器（模擬神經(jīng)元某些功能的存儲(chǔ)設(shè)備）引起了人們的廣泛關(guān)注。這是否改變了人們接近神經(jīng)形態(tài)計(jì)算的方式？

Furber：我確實(shí)認(rèn)為，正在開(kāi)發(fā)的技術(shù)有可能在非常低的水平上提高硬件效率方面產(chǎn)生變革性。但是，當(dāng)我觀察英國(guó)的神經(jīng)形態(tài)研究格局時(shí)，其中很大一部分集中在新型設(shè)備技術(shù)上?？梢哉f(shuō)，人們對(duì)此的關(guān)注有點(diǎn)過(guò)分了，因?yàn)橄到y(tǒng)問(wèn)題總體上是相同的。

除非我們能夠在系統(tǒng)級(jí)問(wèn)題上取得進(jìn)展，否則支撐技術(shù)是什么并不重要，我們已經(jīng)有平臺(tái)可以支持系統(tǒng)級(jí)問(wèn)題的進(jìn)展。

該論文表明，大規(guī)模神經(jīng)形態(tài)計(jì)算的時(shí)機(jī)已經(jīng)成熟。近年來(lái)，有什么變化讓您對(duì)此持積極態(tài)度，還是更像是一種戰(zhàn)斗號(hào)召？

Furber：它有點(diǎn)介于兩者之間。有證據(jù)表明它正在發(fā)生，神經(jīng)形態(tài)領(lǐng)域有許多有趣的初創(chuàng)公司正在設(shè)法生存下來(lái)。因此，這證明擁有大量可用資金的人開(kāi)始準(zhǔn)備在神經(jīng)形態(tài)技術(shù)上花錢。更廣泛的社區(qū)都相信 Neuromorphic 的時(shí)代即將到來(lái)。當(dāng)然，主流機(jī)器學(xué)習(xí)在能源方面面臨的巨大問(wèn)題，這是一個(gè)迫切需要解決的問(wèn)題。一旦有令人信服的證明神經(jīng)形態(tài)學(xué)可以改變方程式，那么我認(rèn)為我們將看到事情開(kāi)始轉(zhuǎn)變。