山東青年利用離子電流進(jìn)行儲(chǔ)層計(jì)算，預(yù)測(cè)誤差不到0.1，為低功耗硬件計(jì)算系統(tǒng)提供新視角

她叫闞韶華，山東淄博人，生于 1996 年，今年 25 歲。

近日，她的一作論文發(fā)表在 Advanced Science（IF 16.806）期刊，審稿人在各項(xiàng)評(píng)價(jià)中均給予 Top15% 的評(píng)價(jià)。

論文題為《通過(guò)電化學(xué)反應(yīng)實(shí)現(xiàn)儲(chǔ)層計(jì)算的物理實(shí)現(xiàn)》（Physical Implementation of Reservoir Computing through Electrochemical Reaction）[1]。

“編輯還邀請(qǐng)我們參與制作封面（不過(guò)最后被選為了扉頁(yè)），把我的導(dǎo)師給激動(dòng)壞了，周末都來(lái)跟我一起早出晚歸地準(zhǔn)備所需材料?！标R韶華說(shuō)。

據(jù)悉，其本科畢業(yè)于中北大學(xué)微電子科學(xué)與技術(shù)專業(yè)，大三開始的專業(yè)課讓她了解到“摩爾定律”即將失效的這一技術(shù)難題，其認(rèn)為探索新的體系方案將是有趣的研究方向，因此來(lái)到日本大阪大學(xué)量子工程設(shè)計(jì)專業(yè)讀碩士，跟隨導(dǎo)師赤井恵（Megumi Akai-Kasaya）老師探索新型 AI 器件解決方案。

后來(lái)由于導(dǎo)師工作調(diào)動(dòng)，闞韶華轉(zhuǎn)到北海道大學(xué)情報(bào)科學(xué)院讀博。2023 年博士畢業(yè)后，她打算回國(guó)找工作，并表示更想去企業(yè)工作。

從水中質(zhì)子運(yùn)動(dòng)，到 AI 新型芯片

此次論文的背景在于：當(dāng)前，基于晶體管的半導(dǎo)體芯片尺寸和速度，都已幾乎接近物理極限。然而，AI 的發(fā)展使得人們對(duì)于計(jì)算規(guī)模和計(jì)算速度的需求，處于持續(xù)增長(zhǎng)狀態(tài)。

一種被叫做儲(chǔ)層計(jì)算（Reservoir Computing）的神經(jīng)網(wǎng)絡(luò)，是解決該困境的最有潛力的方法之一。

執(zhí)行計(jì)算的部分俗稱為“水庫(kù)”，它相當(dāng)于傳統(tǒng)遞歸型神經(jīng)網(wǎng)絡(luò)的隱藏層，由大量隨機(jī)鏈接的動(dòng)態(tài)節(jié)點(diǎn)組成，節(jié)點(diǎn)之間的鏈接權(quán)重?zé)o需訓(xùn)練和調(diào)整的，被“水庫(kù)”處理后的信息可直接用于學(xué)習(xí)過(guò)程，因此可節(jié)省大量計(jì)算負(fù)擔(dān)和訓(xùn)練時(shí)間。

一些比較復(fù)雜的計(jì)算問(wèn)題比如天氣狀況、流體流動(dòng)、軟體材料的行為等，都可通過(guò)儲(chǔ)層計(jì)算了解它們的內(nèi)在動(dòng)力學(xué)。

物理學(xué)中有一個(gè)非線性動(dòng)態(tài)系統(tǒng)的概念，它能用于“水庫(kù)”的構(gòu)建中，雖然具有一些前提條件（比如系統(tǒng)不能是混沌的等），但自然界依然有許多物理系統(tǒng)都有可能利用其自身的非線性動(dòng)態(tài)特性來(lái)實(shí)現(xiàn)儲(chǔ)層計(jì)算，這一概念被稱作物理儲(chǔ)層計(jì)算。

一直以來(lái)，此概念都激發(fā)了物理學(xué)家們的諸多嘗試：比如利用原子陣列、電子自旋、量子動(dòng)力學(xué)等構(gòu)建物理儲(chǔ)層。

多年來(lái)，雖然取得了一定進(jìn)展，但依然存在不夠簡(jiǎn)明和通用等問(wèn)題，因此物理儲(chǔ)層的探索依然前路漫漫。

而此次闞韶華的工作，分兩方面對(duì)上述問(wèn)題做了研究：其一提出一套利用離子電流進(jìn)行儲(chǔ)層計(jì)算的獨(dú)特方案；其二她發(fā)現(xiàn)這套測(cè)試設(shè)備，能讓溶液依賴自身電化學(xué)響應(yīng)和電極間的相互影響，進(jìn)而構(gòu)成一個(gè)有效的物理儲(chǔ)層，同時(shí)具有強(qiáng)大的計(jì)算能力。

測(cè)試方案的實(shí)現(xiàn)過(guò)程如下：她先設(shè)計(jì)出一款微米級(jí)尺度的平面電極組，讓電極之間相互平行，每組電極的一邊是輸入電極組、另一邊是輸出電極組。

這時(shí)，將溶液滴加在平面電極的表面，并在輸入電極上施加電壓，接著利用一套多路數(shù)據(jù)采集系統(tǒng)，依次讀取各個(gè)輸出電極上的響應(yīng)電流（期間要經(jīng)過(guò)十萬(wàn)至百萬(wàn)倍的放大）。

憑借這種系統(tǒng)設(shè)計(jì)，即使簡(jiǎn)單如純水，也可以在復(fù)雜的非線性問(wèn)題上表現(xiàn)十分出色。以氣動(dòng)人工肌肉為例，它是一種用于構(gòu)建軟體機(jī)器人的柔性材料，由于存在高階的自由度、機(jī)械非線性和滯后性，其行為難以被控制和傳感。

但在該研究中，它的長(zhǎng)度變化卻能被物理儲(chǔ)層做出良好預(yù)測(cè)。隨著闞韶華在實(shí)驗(yàn)中加入多金屬氧酸鹽，溶液的電化學(xué)過(guò)程也得到豐富，每個(gè)輸出電極上的電流響應(yīng)也更加動(dòng)態(tài)多樣，系統(tǒng)對(duì)周期性信號(hào)的處理能力也得以提高。

此外，她還發(fā)現(xiàn)水中的質(zhì)子運(yùn)動(dòng)，對(duì)這類系統(tǒng)的計(jì)算能力發(fā)揮了關(guān)鍵作用，這一發(fā)現(xiàn)既有趣、又意想不到。

闞韶華表示，該研究是她碩士課題的延續(xù)。讀碩士時(shí)，她第一次接觸到儲(chǔ)層計(jì)算，當(dāng)時(shí)讀了很多論文，感覺(jué)大部分物理實(shí)現(xiàn)都像一個(gè)“黑匣子”，內(nèi)部動(dòng)態(tài)和信息處理機(jī)制既不清晰、也不可控。

因此，她想建立一個(gè)簡(jiǎn)單可控的物理系統(tǒng)，并研究其作為儲(chǔ)層計(jì)算的效果。

期間，她使用一對(duì)反向并聯(lián)的二極管，通過(guò)外部控制讓其簡(jiǎn)單的響應(yīng)電流產(chǎn)生一定的動(dòng)態(tài)變化，借此構(gòu)建出一個(gè)非常簡(jiǎn)單的物理儲(chǔ)層計(jì)算系統(tǒng)。將該系統(tǒng)結(jié)合相關(guān)算法，只需幾十個(gè)節(jié)點(diǎn)就能實(shí)現(xiàn)對(duì)不同說(shuō)話者的 10 個(gè)孤立詞的識(shí)別，準(zhǔn)確率達(dá)到 84% [2]。

這樣的結(jié)果無(wú)疑展示了儲(chǔ)層計(jì)算的巨大優(yōu)勢(shì)和開發(fā)潛力，也說(shuō)明就連二極管這樣簡(jiǎn)單的電流電壓響應(yīng)特性，都能被利用。

因此闞韶華認(rèn)為，如果利用其他分子材料的電流電壓反應(yīng)或許會(huì)有更大收獲，于是就有了本次研究的開題。

一開始，導(dǎo)師給她指定了多個(gè)材料，讓其逐一進(jìn)行實(shí)驗(yàn)測(cè)試和計(jì)算。

“但我中途放棄了，因?yàn)槲也皇腔瘜W(xué)專業(yè)出身的，我感覺(jué)自己沒(méi)法從化學(xué)角度思考反應(yīng)的過(guò)程，而且不確定因素實(shí)在太多，就連同一種材料得到的實(shí)驗(yàn)數(shù)據(jù)都讓我有種完全無(wú)跡可尋的感覺(jué)。于是，我嘗試只使用純水測(cè)試，因?yàn)樗恍枰軓?fù)雜的化學(xué)知識(shí)來(lái)解釋，結(jié)果沒(méi)想到純水在一系列的基準(zhǔn)測(cè)試上的表現(xiàn)竟然非常好，而且性能非常穩(wěn)定?！标R韶華回憶稱。

就這樣僅僅憑借純水，她探索并明確了影響該物理儲(chǔ)層的性能表現(xiàn)因素，以及測(cè)試電路中一些不可避免的干擾因素比如選擇開關(guān)引起的泄漏電流，到底會(huì)帶來(lái)多大程度的影響。

慢慢地，物理儲(chǔ)層內(nèi)部的細(xì)節(jié)被一點(diǎn)點(diǎn)明確，這時(shí)闞韶華認(rèn)為可以添加導(dǎo)師要求的材料了，于是她加入極少量有著“電子海綿”之稱的多金屬氧酸鹽材料，其獨(dú)特的分子電子結(jié)構(gòu)可以豐富電極上的電流響應(yīng)。

結(jié)果發(fā)現(xiàn)，復(fù)雜多樣的法拉第電流有助于提高系統(tǒng)對(duì)周期性信號(hào)的處理能力。此外，這兩種溶液的共同特殊之處在于，采樣時(shí)間較早的材料、比采樣時(shí)間較晚的材料性能更佳，為此她又增加一組使用非質(zhì)子溶劑作為參照的測(cè)試。

結(jié)果發(fā)現(xiàn)，這會(huì)大大降低系統(tǒng)的計(jì)算性能，也說(shuō)明水中的質(zhì)子運(yùn)動(dòng)，對(duì)系統(tǒng)計(jì)算能力起著核心作用。

有望在微米電極上，形成極短時(shí)間內(nèi)的電流響應(yīng)

闞韶華表示，該研究能為未來(lái)低功耗硬件計(jì)算系統(tǒng)的發(fā)展提供新視角。若干年內(nèi)，有望實(shí)現(xiàn)僅在微米級(jí)電極上，即可利用溶液中的質(zhì)子移動(dòng)、或離子移動(dòng)，形成極短時(shí)間內(nèi)的電流響應(yīng)，從而設(shè)計(jì)出更強(qiáng)大的計(jì)算系統(tǒng)，為日益重要的邊緣計(jì)算提供低成本、低功耗和高度集成的硬件設(shè)備。

不過(guò)，當(dāng)前系統(tǒng)仍有一定局限性，因此未來(lái)她計(jì)劃改進(jìn)測(cè)試電路，從而實(shí)現(xiàn)大規(guī)模的并行運(yùn)算，以及把測(cè)試速度提高到微秒級(jí)別。

作為一名 95 后理工生，闞韶華有著她細(xì)膩卻堅(jiān)韌的一面。問(wèn)及研究中難忘的事，她說(shuō)：“肯定是之前沒(méi)忍住在導(dǎo)師面前哭鼻子了吧，哈哈。一開始我搭建的測(cè)試系統(tǒng)不能正常工作，推測(cè)問(wèn)題出在廠家新制作的電路板上，但導(dǎo)師把一塊原來(lái)能正常使用的舊板子給我測(cè)試時(shí)也失敗了，所以導(dǎo)師認(rèn)為是我電路搭建或者測(cè)試代碼出了錯(cuò)。”

于是，她用好長(zhǎng)時(shí)間全部重新來(lái)過(guò)，還是覺(jué)得電路板有問(wèn)題，最后對(duì)著廠家電路圖逐個(gè)把板子上的模塊進(jìn)行搭建和測(cè)試，并把問(wèn)題鎖定在位移寄存器上。

這時(shí)，導(dǎo)師幫她聯(lián)系廠家后，得到的答復(fù)卻是他們測(cè)試該器件時(shí)能夠正常工作，當(dāng)時(shí)闞韶華的心情有些崩潰，因?yàn)榍昂蠛臅r(shí)遠(yuǎn)超預(yù)期，而且她十分確定問(wèn)題出在哪里，但是沒(méi)有人遇到同類問(wèn)題，導(dǎo)致導(dǎo)師也不太相信她的判斷。這時(shí)導(dǎo)師安慰她，說(shuō)要是不行就換一個(gè)同學(xué)來(lái)做。

提及此闞韶華說(shuō)：“這時(shí)，我實(shí)在憋不住淚水了。我回應(yīng)導(dǎo)師說(shuō)：‘在電路方面，組里其他人的經(jīng)驗(yàn)都沒(méi)我豐富，很多人出問(wèn)題時(shí)還是我?guī)兔鉀Q的，我不覺(jué)得如果我解決不了的問(wèn)題其他人就能解決。’然后越想越委屈，一路哭著回住處?；厝ズ筮€是不希望把自己的課題交給別人，就在網(wǎng)上用中文、英語(yǔ)、日語(yǔ)分別搜索這個(gè)型號(hào)的位移寄存器在使用中會(huì)遇到的問(wèn)題，最后終于找到一些關(guān)于供電電壓的討論?！?/span>

第二天一早，她就去實(shí)驗(yàn)室把該器件的供電電壓從廠家指定的 5V 降到了 3.3V，驚喜地發(fā)現(xiàn)一切都能正常工作。

“雖然直到現(xiàn)在，導(dǎo)師依舊不相信廠家給的使用建議會(huì)出錯(cuò)（笑），但我的課題總算可以進(jìn)行下去了?！标R韶華表示。

-End-

參考：

1、Kan, S., Nakajima, K., Asai, T., & Akai‐Kasaya, M. (2021). Physical Implementation of Reservoir Computing through Electrochemical Reaction. Advanced Science, 2104076.

2、Kan, S., Nakajima, K., Takeshima, Y., Asai, T., Kuwahara, Y., & Akai-Kasaya, M. (2021). Simple reservoir computing capitalizing on the nonlinear response of materials: theory and physical implementations. Physical review applied, 15(2), 024030.