新聞中心

EEPW首頁 > 智能計算 > 業(yè)界動態(tài) > DNNBrain:北師大團隊出品的用于映射深層神經(jīng)網(wǎng)絡(luò)到大腦的工具箱

DNNBrain:北師大團隊出品的用于映射深層神經(jīng)網(wǎng)絡(luò)到大腦的工具箱

作者: 時間:2022-07-05 來源:腦機接口社區(qū) 收藏

導(dǎo)讀

本文引用地址:http://m.butianyuan.cn/article/202207/435915.htm

()通過端到端的策略在許多具有挑戰(zhàn)性的任務(wù)上達到了人類水平的性能。產(chǎn)生了具有多層抽象層次的數(shù)據(jù)表示;然而,它沒有明確地提供任何關(guān)于s內(nèi)部運作的解釋,換句話說它的內(nèi)部運作是一個黑盒子。的成功吸引了神經(jīng)科學(xué)家,他們不僅將應(yīng)用到生物神經(jīng)系統(tǒng)模型中,而且還采用了認知神經(jīng)科學(xué)的概念和方法來理解DNN的內(nèi)部表示。盡管可以使用諸如PyTorch和TensorFlow之類的通用框架來進行此類跨學(xué)科研究,但是使用這些框架通常需要高級編程專家和全面的數(shù)學(xué)知識。因此迫切需要一個專門為認知神經(jīng)科學(xué)家設(shè)計的工具箱,以繪制DNN和大腦的圖。在這項研究里,北京師范大學(xué)(后文稱北師大)研究團隊設(shè)計并開發(fā)了DNNBrain,這是一個基于Python的工具箱,旨在探索DNN和大腦中的內(nèi)部表示形式。通過集成DNN軟件包和完善的腦成像工具,DNNBrain為各種研究場景提供了應(yīng)用程序和命令行界面,例如提取DNN激活,探測DNN表示,將DNN表示映射到大腦以及可視化DNN表示。北師大研究團隊人員表示,希望他們開發(fā)的這款工具箱可以加速將DNN應(yīng)用到生物神經(jīng)系統(tǒng)建模以及利用認知神經(jīng)科學(xué)范式揭示DNN的黑匣子方面的科學(xué)研究。

DNNBrain軟件介紹

DNNBrain被設(shè)計成為一個集成的工具箱,可以用于描述DNNs的人工表示和大腦的神經(jīng)表示,如下圖表示。

對DNNs和人進行刺激后,可獲得人工神經(jīng)活動和生物神經(jīng)活動。通過將刺激、人工活動數(shù)據(jù)和生物神經(jīng)活動數(shù)據(jù)與定制設(shè)計的輔助IO文件組合在一起,DNNBrain允許用戶輕松地描述、比較和可視化DNNs和大腦的表示。

DNNBrain是一個模塊化框架,由IO、Base、Model、Algorithm四個模塊組成,如下圖所示。

IO模塊提供了管理與文件相關(guān)的輸入和輸出操作的工具。Base模塊定義用于數(shù)組計算和數(shù)據(jù)轉(zhuǎn)換的基礎(chǔ)類。Model模塊包含各種DNN模型。Algorithm模塊定義了探索神經(jīng)網(wǎng)絡(luò)和大腦的各種算法。所有模塊都提供了用戶友好的API。針對各種研究場景開發(fā)了一套CLIs。

Result

為了檢查DNN的人工表示,研究人員首先掃描DNN并獲得了其神經(jīng)活動,就像我們使用大腦成像設(shè)備掃描人的大腦一樣。DNNBrain提供API和CLI來提取DNN用戶指定通道的激活狀態(tài)。下圖顯示了了三個示例圖像(獵豹、啞鈴和禿鷹)的AlexNet五個Conv層的激活圖,這些圖像顯示了五個Conv層中每個層的最大平均激活,這表明圖像的DNN表示隨著 層的深度增加變得更加抽象。

AlexNet架構(gòu)和示例單元活動模式

上圖(A) AlexNet包含五個Conv層,3個FC層和一個1000-way的softmax分類器。(B)提取了三個示例圖像(獵豹、啞鈴和禿鷹)的AlexNet五個Conv層的激活圖。所呈現(xiàn)的通道是在五個Conv層中每個層中顯示該示例圖像的最大平均激活的通道。

DNNBrain中還實現(xiàn)了編碼模型和表示相似性分析,以幫助研究人員檢查DNN與大腦表示之間的對應(yīng)關(guān)系。

上圖(A)使用來自AlexNet Conv層的人工表示法預(yù)測VTC BOLD響應(yīng)的體素式編碼模型的編碼精度圖。(B) BOLD5000刺激的RDM是根據(jù)AlexNet的Conv層的人工表示和人類VTC的大腦激活模式計算得出的。將每對圖像之間的表示距離量化為它們的表示之間的相關(guān)距離。DNN和大腦之間的表示相似性進一步計算為其RDM之間的Pearson相關(guān)性。

研究人員使用DNNBrain來可視化AlexNet的三個輸出單元(即鴕鳥,孔雀和火烈鳥)的首選功能。選擇輸出單元作為示例是因為它們產(chǎn)生的功能易于檢查(即每個單元對應(yīng)一個唯一的類別)。這些過程本質(zhì)上適用于DNN中的任何單元。

AlexNet的三個輸出單元的top刺激

上圖(A)從BOLD5000數(shù)據(jù)集中發(fā)現(xiàn)的top刺激。(B)為(A)中顯示的top刺激計算的顯著性圖。(C)通過增加相應(yīng)神經(jīng)元的激活來引導(dǎo)從頭開始合成的圖像。

總結(jié)

北師大研究團隊為探索DNN和大腦中的內(nèi)部表示形式設(shè)計并開發(fā)了一個基于Python的工具箱--DNNBrain。通過集成DNN軟件包和完善的腦成像工具,DNNBrain為各種研究場景提供了應(yīng)用程序和命令行界面,例如提取DNN激活,探測DNN表示,將DNN表示映射到大腦以及可視化DNN表示。北師大研究團隊人員表示,期待他們開發(fā)的這款工具箱可以加速將DNN應(yīng)用到生物神經(jīng)系統(tǒng)建模以及利用認知神經(jīng)科學(xué)范式揭示DNN的黑匣子方面的科學(xué)研究。

文章來源于公眾號"社區(qū)"



評論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉