山東青年利用離子電流進行儲層計算,預(yù)測誤差不到0.1,為低功耗硬件計算系統(tǒng)提供新視角
她叫闞韶華,山東淄博人,生于 1996 年,今年 25 歲。
近日,她的一作論文發(fā)表在 Advanced Science(IF 16.806)期刊,審稿人在各項評價中均給予 Top15% 的評價。
論文題為《通過電化學反應(yīng)實現(xiàn)儲層計算的物理實現(xiàn)》(Physical Implementation of Reservoir Computing through Electrochemical Reaction)[1]。
“編輯還邀請我們參與制作封面(不過最后被選為了扉頁),把我的導師給激動壞了,周末都來跟我一起早出晚歸地準備所需材料。”闞韶華說。
據(jù)悉,其本科畢業(yè)于中北大學微電子科學與技術(shù)專業(yè),大三開始的專業(yè)課讓她了解到“摩爾定律”即將失效的這一技術(shù)難題,其認為探索新的體系方案將是有趣的研究方向,因此來到日本大阪大學量子工程設(shè)計專業(yè)讀碩士,跟隨導師赤井恵(Megumi Akai-Kasaya)老師探索新型 AI 器件解決方案。
后來由于導師工作調(diào)動,闞韶華轉(zhuǎn)到北海道大學情報科學院讀博。2023 年博士畢業(yè)后,她打算回國找工作,并表示更想去企業(yè)工作。
從水中質(zhì)子運動,到 AI 新型芯片
此次論文的背景在于:當前,基于晶體管的半導體芯片尺寸和速度,都已幾乎接近物理極限。然而,AI 的發(fā)展使得人們對于計算規(guī)模和計算速度的需求,處于持續(xù)增長狀態(tài)。
一種被叫做儲層計算(Reservoir Computing)的神經(jīng)網(wǎng)絡(luò),是解決該困境的最有潛力的方法之一。
執(zhí)行計算的部分俗稱為“水庫”,它相當于傳統(tǒng)遞歸型神經(jīng)網(wǎng)絡(luò)的隱藏層,由大量隨機鏈接的動態(tài)節(jié)點組成,節(jié)點之間的鏈接權(quán)重無需訓練和調(diào)整的,被“水庫”處理后的信息可直接用于學習過程,因此可節(jié)省大量計算負擔和訓練時間。
一些比較復雜的計算問題比如天氣狀況、流體流動、軟體材料的行為等,都可通過儲層計算了解它們的內(nèi)在動力學。
物理學中有一個非線性動態(tài)系統(tǒng)的概念,它能用于“水庫”的構(gòu)建中,雖然具有一些前提條件(比如系統(tǒng)不能是混沌的等),但自然界依然有許多物理系統(tǒng)都有可能利用其自身的非線性動態(tài)特性來實現(xiàn)儲層計算,這一概念被稱作物理儲層計算。
一直以來,此概念都激發(fā)了物理學家們的諸多嘗試:比如利用原子陣列、電子自旋、量子動力學等構(gòu)建物理儲層。
多年來,雖然取得了一定進展,但依然存在不夠簡明和通用等問題,因此物理儲層的探索依然前路漫漫。
而此次闞韶華的工作,分兩方面對上述問題做了研究:其一提出一套利用離子電流進行儲層計算的獨特方案;其二她發(fā)現(xiàn)這套測試設(shè)備,能讓溶液依賴自身電化學響應(yīng)和電極間的相互影響,進而構(gòu)成一個有效的物理儲層,同時具有強大的計算能力。
測試方案的實現(xiàn)過程如下:她先設(shè)計出一款微米級尺度的平面電極組,讓電極之間相互平行,每組電極的一邊是輸入電極組、另一邊是輸出電極組。
這時,將溶液滴加在平面電極的表面,并在輸入電極上施加電壓,接著利用一套多路數(shù)據(jù)采集系統(tǒng),依次讀取各個輸出電極上的響應(yīng)電流(期間要經(jīng)過十萬至百萬倍的放大)。
憑借這種系統(tǒng)設(shè)計,即使簡單如純水,也可以在復雜的非線性問題上表現(xiàn)十分出色。以氣動人工肌肉為例,它是一種用于構(gòu)建軟體機器人的柔性材料,由于存在高階的自由度、機械非線性和滯后性,其行為難以被控制和傳感。
但在該研究中,它的長度變化卻能被物理儲層做出良好預(yù)測。隨著闞韶華在實驗中加入多金屬氧酸鹽,溶液的電化學過程也得到豐富,每個輸出電極上的電流響應(yīng)也更加動態(tài)多樣,系統(tǒng)對周期性信號的處理能力也得以提高。
此外,她還發(fā)現(xiàn)水中的質(zhì)子運動,對這類系統(tǒng)的計算能力發(fā)揮了關(guān)鍵作用,這一發(fā)現(xiàn)既有趣、又意想不到。
闞韶華表示,該研究是她碩士課題的延續(xù)。讀碩士時,她第一次接觸到儲層計算,當時讀了很多論文,感覺大部分物理實現(xiàn)都像一個“黑匣子”,內(nèi)部動態(tài)和信息處理機制既不清晰、也不可控。
因此,她想建立一個簡單可控的物理系統(tǒng),并研究其作為儲層計算的效果。
期間,她使用一對反向并聯(lián)的二極管,通過外部控制讓其簡單的響應(yīng)電流產(chǎn)生一定的動態(tài)變化,借此構(gòu)建出一個非常簡單的物理儲層計算系統(tǒng)。將該系統(tǒng)結(jié)合相關(guān)算法,只需幾十個節(jié)點就能實現(xiàn)對不同說話者的 10 個孤立詞的識別,準確率達到 84% [2]。
這樣的結(jié)果無疑展示了儲層計算的巨大優(yōu)勢和開發(fā)潛力,也說明就連二極管這樣簡單的電流電壓響應(yīng)特性,都能被利用。
因此闞韶華認為,如果利用其他分子材料的電流電壓反應(yīng)或許會有更大收獲,于是就有了本次研究的開題。
一開始,導師給她指定了多個材料,讓其逐一進行實驗測試和計算。
“但我中途放棄了,因為我不是化學專業(yè)出身的,我感覺自己沒法從化學角度思考反應(yīng)的過程,而且不確定因素實在太多,就連同一種材料得到的實驗數(shù)據(jù)都讓我有種完全無跡可尋的感覺。于是,我嘗試只使用純水測試,因為它不需要很復雜的化學知識來解釋,結(jié)果沒想到純水在一系列的基準測試上的表現(xiàn)竟然非常好,而且性能非常穩(wěn)定?!标R韶華回憶稱。
就這樣僅僅憑借純水,她探索并明確了影響該物理儲層的性能表現(xiàn)因素,以及測試電路中一些不可避免的干擾因素比如選擇開關(guān)引起的泄漏電流,到底會帶來多大程度的影響。
慢慢地,物理儲層內(nèi)部的細節(jié)被一點點明確,這時闞韶華認為可以添加導師要求的材料了,于是她加入極少量有著“電子海綿”之稱的多金屬氧酸鹽材料,其獨特的分子電子結(jié)構(gòu)可以豐富電極上的電流響應(yīng)。
結(jié)果發(fā)現(xiàn),復雜多樣的法拉第電流有助于提高系統(tǒng)對周期性信號的處理能力。此外,這兩種溶液的共同特殊之處在于,采樣時間較早的材料、比采樣時間較晚的材料性能更佳,為此她又增加一組使用非質(zhì)子溶劑作為參照的測試。
結(jié)果發(fā)現(xiàn),這會大大降低系統(tǒng)的計算性能,也說明水中的質(zhì)子運動,對系統(tǒng)計算能力起著核心作用。
有望在微米電極上,形成極短時間內(nèi)的電流響應(yīng)
闞韶華表示,該研究能為未來低功耗硬件計算系統(tǒng)的發(fā)展提供新視角。若干年內(nèi),有望實現(xiàn)僅在微米級電極上,即可利用溶液中的質(zhì)子移動、或離子移動,形成極短時間內(nèi)的電流響應(yīng),從而設(shè)計出更強大的計算系統(tǒng),為日益重要的邊緣計算提供低成本、低功耗和高度集成的硬件設(shè)備。
不過,當前系統(tǒng)仍有一定局限性,因此未來她計劃改進測試電路,從而實現(xiàn)大規(guī)模的并行運算,以及把測試速度提高到微秒級別。
作為一名 95 后理工生,闞韶華有著她細膩卻堅韌的一面。問及研究中難忘的事,她說:“肯定是之前沒忍住在導師面前哭鼻子了吧,哈哈。一開始我搭建的測試系統(tǒng)不能正常工作,推測問題出在廠家新制作的電路板上,但導師把一塊原來能正常使用的舊板子給我測試時也失敗了,所以導師認為是我電路搭建或者測試代碼出了錯。”
于是,她用好長時間全部重新來過,還是覺得電路板有問題,最后對著廠家電路圖逐個把板子上的模塊進行搭建和測試,并把問題鎖定在位移寄存器上。
這時,導師幫她聯(lián)系廠家后,得到的答復卻是他們測試該器件時能夠正常工作,當時闞韶華的心情有些崩潰,因為前后耗時遠超預(yù)期,而且她十分確定問題出在哪里,但是沒有人遇到同類問題,導致導師也不太相信她的判斷。這時導師安慰她,說要是不行就換一個同學來做。
提及此闞韶華說:“這時,我實在憋不住淚水了。我回應(yīng)導師說:‘在電路方面,組里其他人的經(jīng)驗都沒我豐富,很多人出問題時還是我?guī)兔鉀Q的,我不覺得如果我解決不了的問題其他人就能解決?!缓笤较朐轿宦房拗刈√?。回去后還是不希望把自己的課題交給別人,就在網(wǎng)上用中文、英語、日語分別搜索這個型號的位移寄存器在使用中會遇到的問題,最后終于找到一些關(guān)于供電電壓的討論?!?/span>
第二天一早,她就去實驗室把該器件的供電電壓從廠家指定的 5V 降到了 3.3V,驚喜地發(fā)現(xiàn)一切都能正常工作。
“雖然直到現(xiàn)在,導師依舊不相信廠家給的使用建議會出錯(笑),但我的課題總算可以進行下去了?!标R韶華表示。
-End-
參考:
1、Kan, S., Nakajima, K., Asai, T., & Akai‐Kasaya, M. (2021). Physical Implementation of Reservoir Computing through Electrochemical Reaction. Advanced Science, 2104076.
2、Kan, S., Nakajima, K., Takeshima, Y., Asai, T., Kuwahara, Y., & Akai-Kasaya, M. (2021). Simple reservoir computing capitalizing on the nonlinear response of materials: theory and physical implementations. Physical review applied, 15(2), 024030.
*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權(quán)請聯(lián)系工作人員刪除。