用意念「手寫」字母，準(zhǔn)確率高達(dá)99%，斯坦福腦機(jī)接口新突破登上Nature封面

來(lái)自斯坦福大學(xué)的研究者讓腦機(jī)接口的發(fā)展又進(jìn)了一步——首次破解了「與手寫筆跡相關(guān)」的大腦活動(dòng)。癱瘓受試者借助一套皮質(zhì)內(nèi)腦機(jī)接口系統(tǒng)，每分鐘可以打出 90 個(gè)字符，準(zhǔn)確率為 94% 至 99%，可稱得上是該領(lǐng)域的一大進(jìn)步。

利用腦機(jī)接口技術(shù)（ BCI）進(jìn)行意念操控，已經(jīng)不是什么新鮮事。腦機(jī)接口技術(shù)也正越來(lái)越多地給癱瘓患者帶來(lái)便利。此前，美國(guó) BrainGate 團(tuán)隊(duì)首次實(shí)現(xiàn)了人類大腦信號(hào)與計(jì)算機(jī)之間的無(wú)線高帶寬傳輸，通過(guò)創(chuàng)建一套無(wú)線腦機(jī)接口設(shè)備，癱瘓患者不僅能夠借助思維打字，還能在家輕松瀏覽網(wǎng)絡(luò)內(nèi)容。

以往，腦機(jī)接口的主要功能是恢復(fù)患者的 「運(yùn)動(dòng)技能」，比如借助腦機(jī)接口設(shè)備操控機(jī)械臂抓取物品、移動(dòng)電腦光標(biāo)、點(diǎn)擊字母輸入等。

近日，斯坦福大學(xué)的研究者實(shí)現(xiàn)了一項(xiàng)新的突破，首次破譯了「與手寫筆跡相關(guān)」的大腦活動(dòng)，可以讓癱瘓患者不用手也能快速打字。具體來(lái)講，他們開發(fā)了一套皮質(zhì)內(nèi)腦機(jī)接口（intracortical BCI）系統(tǒng)，這套系統(tǒng)可以從運(yùn)動(dòng)皮層的神經(jīng)活動(dòng)中解碼癱瘓患者想象中的手寫動(dòng)作，并利用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）解碼方法將這些手寫動(dòng)作實(shí)時(shí)轉(zhuǎn)換為文本。

論文一作兼通訊作者為斯坦福大學(xué)霍華德 · 休斯醫(yī)學(xué)研究所的研究科學(xué)家 Frank Willett，相關(guān)論文登上了最新一期的 Nature 封面。

論文地址：https://www.nature.com/articles/s41586-021-03506-2

就實(shí)驗(yàn)結(jié)果而言，借助于這套皮質(zhì)內(nèi)腦機(jī)接口系統(tǒng)，研究受試者（因脊髓損失癱瘓）每分鐘可以打出約 90 個(gè)字符，是以往利用此類腦機(jī)接口打字記錄的兩倍多，并且在線原始準(zhǔn)確率達(dá)到了 94.1%，自動(dòng)更正后的離線準(zhǔn)確率超過(guò)了 99%。

論文作者之一、斯坦福大學(xué)霍華德 · 休斯醫(yī)學(xué)研究院的研究員 Krishna Shenoy 表示：「隨著進(jìn)一步的開發(fā)，這項(xiàng)創(chuàng)新性研究可以使癱瘓患者不用手也能快速打字。」

加州大學(xué)伯克利分校的神經(jīng)工程師 Jose Carmena 也認(rèn)為：「這項(xiàng)研究以及其他同類研究在幫助各類殘疾患者方面具有很大潛力。盡管研究結(jié)果只是初步的，但依然是該領(lǐng)域的重大進(jìn)步?！?/p>

腦機(jī)接口實(shí)現(xiàn)癱瘓患者「意念寫字」

癱瘓患者可能會(huì)喪失移動(dòng)能力，但大腦中仍然存在關(guān)于走路、喝咖啡說(shuō)話等行為的神經(jīng)活動(dòng)。腦機(jī)接口方向的研究能夠幫助癱瘓患者或者截肢患者恢復(fù)失去的能力。具體的需求因患者的情況而定。例如，失去雙手的患者可以使用帶有語(yǔ)音識(shí)別功能的計(jì)算機(jī)或軟件。對(duì)于說(shuō)話困難的人，科學(xué)家們正在研究其他方法來(lái)幫助人們交流。

Shenoy 的團(tuán)隊(duì)對(duì)與語(yǔ)音相關(guān)的神經(jīng)活動(dòng)進(jìn)行了解碼，希望能夠復(fù)現(xiàn)這些神經(jīng)活動(dòng)。他們還為植入傳感器的參與者設(shè)計(jì)了一種新的方法，以使他們能夠利用與肢體運(yùn)動(dòng)相關(guān)的意念來(lái)移動(dòng)屏幕上的光標(biāo)。

然而，沒有人嘗試過(guò)「手寫文字」的行為。

因此，論文一作 Frank Willett 想探究是否有可能將筆置于紙張上來(lái)激發(fā)大腦信號(hào)。此外，該團(tuán)隊(duì)與一位參與了 BrainGate2 臨床實(shí)驗(yàn)的參與者進(jìn)行了合作。

Shenoy 團(tuán)隊(duì)中的神經(jīng)外科醫(yī)生 Henderson 將兩個(gè)微小的傳感器植入到參與者大腦中控制手臂和手部的部位上，從而使患者能夠利用移動(dòng)手臂的意念來(lái)控制機(jī)械臂或屏幕上光標(biāo)的移動(dòng)。

受試者的運(yùn)動(dòng)前區(qū)平層被植入兩個(gè)腦機(jī)接口芯片，共計(jì)大約 200 個(gè)電極。

使用微型電極記錄大腦信號(hào)。圖源：BrainGate.org

在整個(gè)過(guò)程中，首先一位患有脊髓損傷的 65 歲受試者「想象著用筆在紙上寫字」：

接著，受試者大腦中植入的電極檢測(cè)到「他試圖寫字的活動(dòng)」：

最后，算法對(duì)每個(gè)字符對(duì)應(yīng)的活動(dòng)模式進(jìn)行解碼，并將這些活動(dòng)模式轉(zhuǎn)換成可在屏幕上顯示的文本。

對(duì)受試者「試圖手寫」行為的實(shí)時(shí)神經(jīng)解碼如下圖（左）所示，轉(zhuǎn)換為屏幕可顯示文本的關(guān)鍵技術(shù) RNN 的架構(gòu)如圖（右）所示：

利用這種系統(tǒng)，受試者能夠復(fù)制語(yǔ)句或者回答問題，并且速度和同齡人使用智能手機(jī)輸入的速度差不多。

Willett 表示：「這種名為『Brain-to-Text』的 BCI 的速度之所以這么快，是因?yàn)槊總€(gè)字母引發(fā)的神經(jīng)活動(dòng)模式都大不相同，從而使算法易于區(qū)分。」

未來(lái)設(shè)想

Shenoy 團(tuán)隊(duì)設(shè)想利用手寫文本輸入打造一個(gè)更全面的系統(tǒng)，該系統(tǒng)包括類似智能手機(jī)界面中的點(diǎn)擊導(dǎo)航功能，甚至嘗試了語(yǔ)音解碼功能。他表示：「我們肯定會(huì)讓系統(tǒng)嘗試兩到三種模式，并在它們之間切換。」

接下來(lái)，團(tuán)隊(duì)將與一位無(wú)法說(shuō)話的參與人員共同工作，比如患有肌萎縮性脊髓側(cè)索硬化癥（ALS）的人，這是一種退化性的神經(jīng)系統(tǒng)疾病，會(huì)導(dǎo)致患者的運(yùn)動(dòng)及說(shuō)話能力喪失。Henderson 補(bǔ)充說(shuō)，新系統(tǒng)將幫助到那些因各種疾病癱瘓的人。

《潛水鐘與蝴蝶》的作者 Jean-Dominique Bauby 因中風(fēng)喪失了大多數(shù)行為能力，僅剩一只左眼能夠眨動(dòng)，但憑借著頑強(qiáng)的意志力，以聽讀眨眼的方式寫出了生命中最后一本書。假如有了這套新系統(tǒng)，他是否可以留下更多的生命回憶？

「我的肉體沉重如潛水鐘，但內(nèi)心渴望像蝴蝶般自由飛翔。除了我的眼睛外，還有兩樣?xùn)|西沒有癱瘓：我的想象以及我的記憶。只有想象和記憶，才能令我擺脫潛水鐘的束縛?！?/p>

參考鏈接：

https://techxplore.com/news/2021-05-brain-interface-mental-text-screen.html

https://arstechnica.com/science/2021/05/neural-implant-lets-paralyzed-person-type-by-imagining-writing/