讓癱瘓失語患者「說話」，腦機(jī)接口首次從大腦活動(dòng)解碼完整句子，登上新英格蘭醫(yī)學(xué)雜志

Facebook 與加州大學(xué)舊金山分校（UCSF）Chang Lab 的腦機(jī)接口項(xiàng)目 Project Steno 取得了最新進(jìn)展，該研究通過解碼從運(yùn)動(dòng)皮層發(fā)送到聲道的大腦信號(hào)，讓嚴(yán)重癱瘓的失語患者重新恢復(fù)交流能力。

近年來，腦機(jī)接口（BCI）研究吸引了越來越多科研機(jī)構(gòu)和科技企業(yè)的興趣，也相繼出現(xiàn)了很多令人矚目的技術(shù)成果，如馬斯克腦機(jī)接口公司 Neuralink 先后在豬、猴子等體內(nèi)植入腦機(jī)接口設(shè)備、斯坦福大學(xué)腦機(jī)接口設(shè)備讓癱瘓患者實(shí)現(xiàn)「意念寫字」等。這些成果都為癱瘓患者重新與世界進(jìn)行交互提供了新的希望。

一直以來，F(xiàn)acebook 也致力于腦機(jī)接口的研究，并專注于研發(fā)頭戴式腦機(jī)接口設(shè)備。然而，F(xiàn)acebook 近日發(fā)表博客稱其將停止研發(fā)頭戴式腦機(jī)接口技術(shù)，轉(zhuǎn)而專注一種不同的神經(jīng)接口方法，即由肌電圖驅(qū)動(dòng)的腕帶式設(shè)備。究其原因，該公司認(rèn)為手腕式設(shè)備能在短期內(nèi)進(jìn)入市場。不過，F(xiàn)acebook 仍然相信頭戴式腦機(jī)接口技術(shù)的長期前景。

與此同時(shí)，F(xiàn)acebook 也宣布其與加州大學(xué)舊金山分校（UCSF）Chang Lab 的腦機(jī)接口項(xiàng)目 Project Steno 取得了最新的進(jìn)展。他們啟動(dòng)了一項(xiàng)名為「手臂和聲音的腦機(jī)接口修復(fù)」（Brain-Computer Interface Restoration of Arm and Voice）新研究，并將一位 36 歲、癱瘓?jiān)诖睬沂дZ多年的男子作為受試者。研究者在這位受試者的大腦中控制聲道的區(qū)域植入一個(gè)電極陣列，當(dāng)他試圖回答屏幕上顯示的問題時(shí)，機(jī)器學(xué)習(xí)算法自動(dòng)識(shí)別出他腦中出現(xiàn)的單詞，轉(zhuǎn)換為實(shí)時(shí)的句子。

據(jù)了解，這是首次成功地從癱瘓失語患者言語皮質(zhì)的大腦活動(dòng)中直接解碼完整句子。

相關(guān)論文研究《Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria》發(fā)表在了《新英格蘭醫(yī)學(xué)雜志》上。

論文地址：https://www.nejm.org/doi/full/10.1056/NEJMoa2027540?query=featured_home

從大腦活動(dòng)中直接解碼完整句子

受試者在 16 年前因中風(fēng)癱瘓?jiān)诖膊⑶沂дZ多年，他通常使用頭部運(yùn)動(dòng)控制輔助計(jì)算機(jī)打字與他人交流。

受試者。

在實(shí)驗(yàn)中，研究者在其大腦的感覺運(yùn)動(dòng)皮層（sensorimotor cortex）區(qū)域植入一個(gè)硬膜下、高密度的多電極陣列，用于控制受試者的言語。

實(shí)驗(yàn)中植入的多電極陣列。

研究者記錄了 22 個(gè)小時(shí)的皮質(zhì)活動(dòng)，同時(shí)受試者試圖從包含 50 個(gè)單詞的詞匯集中（其中包括水、家庭、好等日常生活中必不可少的詞匯）說出單個(gè)單詞。在實(shí)現(xiàn)受試者說出單詞的過程中，研究者使用深度學(xué)習(xí)算法來創(chuàng)建相應(yīng)的計(jì)算模型，用于從記錄的皮質(zhì)活動(dòng)的模式中檢測和分類單詞。

除了這些計(jì)算模型之外，他們還使用了一個(gè)自然語言模型，該模型在給定序列中前一個(gè)單詞的情況下生成下一個(gè)單詞的概率，以在受試者試圖說出這些單詞時(shí)解碼完整的句子。如下圖所示，研究者用到了神經(jīng)信號(hào)處理、言語生成、單詞分類和語言建模等技術(shù)。

原理示意圖如下所示，可以看到從受試者試圖回答（圖 A）到皮質(zhì)信號(hào)（圖 B）、神經(jīng)信號(hào)處理（圖 C）、言語生成（圖 D）、單詞分類（圖 E）、語言建模（圖 F）和最后的解碼響應(yīng)（圖 G），它們是一個(gè)完整的過程。

為了測試這一方法是否有效，研究者會(huì)通過屏幕顯示問題，比如「你今天過得怎么樣」、「你想喝點(diǎn)水嗎」等，受試者相應(yīng)地給出回答：「我很好」、「不，我不想喝水」等。

實(shí)驗(yàn)結(jié)果顯示，這個(gè)腦機(jī)接口系統(tǒng)平均每分鐘可以實(shí)時(shí)解碼 15.2 個(gè)單詞，平均準(zhǔn)確率為 74%。并且，每分鐘最多可以解碼 18 個(gè)單詞，準(zhǔn)確率最高可以達(dá)到 93%。在事后分析中，研究者檢測到受試者試圖生成單個(gè)單詞的概率為 98%，并且在 81 周的研究期間，他們使用穩(wěn)定皮質(zhì)信號(hào)分類單詞的準(zhǔn)確率達(dá)到了 47.1% 。

腦機(jī)接口技術(shù)仍需改進(jìn)

在 2019、2020 年，Chang Lab 就發(fā)表過早期的 Project Steno 項(xiàng)目研究，該項(xiàng)目表明電極陣列和預(yù)測模型可以創(chuàng)建相對快速和復(fù)雜的思維類型系統(tǒng)。以前的打字方法都涉及用大腦植入物在屏幕上觸動(dòng)光標(biāo)，盡管其他一些研究人員也嘗試過例如可視化手寫字體這樣的方法，但都不理想。該實(shí)驗(yàn)室的早期研究涉及解碼說話人的大腦活動(dòng)，而最新的研究表明，即使受試者不 (或不能) 大聲說話，它也能起作用。

此次研究中未使用的 Facebook Reality Labs 耳機(jī)。

UCSF 神經(jīng)外科主任 Eddie Chang 表示，下一步是改進(jìn)該系統(tǒng)，并讓更多的人進(jìn)行測試?！冈谟布矫?，我們需要構(gòu)建具有更高數(shù)據(jù)分辨率的系統(tǒng)，以更快地記錄更多來自大腦的信息。在算法方面，我們需要有能夠?qū)⒋竽X中這些非常復(fù)雜的信號(hào)轉(zhuǎn)換成語言系統(tǒng)的能力，不是文本，而是真正的、可聽得到的口語。最重要的是要大大擴(kuò)大詞匯量?！?/p>

這項(xiàng)研究對于那些沒有可用鍵盤輸入和其他現(xiàn)有接口的人來說很有價(jià)值，即使是有限的詞匯量，也能幫助他們進(jìn)行更好的交流。但這與 Facebook 在 2017 年設(shè)定的宏偉目標(biāo)相去甚遠(yuǎn)，該目標(biāo)是研究一種非侵入性 BCI 系統(tǒng)，可以讓人每分鐘打 100 個(gè)字，這個(gè)速度相當(dāng)于人在傳統(tǒng)鍵盤的打字速度。UCSF 最近的研究涉及植入技術(shù)，但還未到達(dá)這個(gè)數(shù)字（每分鐘打 100 個(gè)字），甚至是大多數(shù)人按手機(jī)鍵盤的速度也沒有到達(dá)。

此后，F(xiàn)acebook 在 2019 年收購了肌電圖 EMG 腕帶公司 CTRL-Labs，為其提供了 AR 和 VR 的替代控制選項(xiàng)?！肝覀?nèi)蕴幱卺尫磐蟛考‰妶D (EMG) 潛力的早期階段，但我們相信它將成為 AR 眼鏡的核心輸入，對 BCI 的了解將幫助我們更快地實(shí)現(xiàn)這一目標(biāo)，」Facebook Reality Labs 研究主管 Sean Keller 說。Facebook 不會(huì)完全放棄頭戴式大腦接口系統(tǒng)，而是計(jì)劃將該軟件技術(shù)開源，并與外部研究人員共享硬件原型，同時(shí)停止研發(fā)頭戴式腦機(jī)接口技術(shù)，轉(zhuǎn)而專注一種不同的神經(jīng)接口方法。

參考鏈接：

https://www.sohu.com/a/477800341_114835

https://www.theverge.com/2021/7/14/22577095/facebook-bci-ucsf-chang-lab-brain-typing-research-update-project-steno-ar-vr

https://tech.fb.com/bci-milestone-new-research-from-ucsf-with-support-from-facebook-shows-the-potential-of-brain-computer-interfaces-for-restoring-speech-communication/