東芝宣布時(shí)域神經(jīng)網(wǎng)絡(luò)技術(shù):讓低功率IoT設(shè)備也能深度學(xué)習(xí)

　　為了追求其在物聯(lián)網(wǎng)和大數(shù)據(jù)分析領(lǐng)域的未來，東芝公司正在開發(fā)一種時(shí)域神經(jīng)網(wǎng)絡(luò)(TDNN/Time Domain Neural Network)，采用了超低功耗的神經(jīng)形態(tài)半導(dǎo)體電路，可用于執(zhí)行深度學(xué)習(xí)的運(yùn)算。TDNN 由大量使用了東芝自家的模擬技術(shù)的微型處理單元構(gòu)成，這讓它和傳統(tǒng)的數(shù)字處理器不一樣。TDNN 在 11 月 8 日的 A-SSCC 2016(2016 年亞洲固態(tài)電路會(huì)議)上報(bào)告了出來——這是由 IEEE 贊助的一個(gè)在日本舉辦的國(guó)際性半導(dǎo)體電路技術(shù)會(huì)議。

　　深度學(xué)習(xí)需要大量的計(jì)算，所以通常需要在高功率的高性能處理上運(yùn)行。但是，如果要將深度學(xué)習(xí)和物聯(lián)網(wǎng)邊緣設(shè)備(IoT edge device)(如傳感器和智能手機(jī))結(jié)合起來，就需要非常高能效的 IC(集成電路)——它可以執(zhí)行大量所需的運(yùn)算，同時(shí)僅需消耗極少的能量。

　　圖 1：時(shí)域神經(jīng)網(wǎng)絡(luò)(Time Domain Neural Network)

　　在馮諾依曼型的計(jì)算機(jī)架構(gòu)中，大部分能量都消耗在了將數(shù)據(jù)在片上或片外存儲(chǔ)設(shè)備與處理單元之間的傳遞之中。減少數(shù)據(jù)移動(dòng)的一種最有效的方式是使用大量處理單元，其中每一個(gè)都僅處理與其接近的一個(gè)數(shù)據(jù)。這些數(shù)據(jù)點(diǎn)在將輸入信號(hào)(比如貓的照片)轉(zhuǎn)換成輸出信號(hào)(比如識(shí)別照片中有貓)的過程中會(huì)有一個(gè)權(quán)重。數(shù)據(jù)點(diǎn)離目標(biāo)輸出越近，其獲得的權(quán)重就越高。該權(quán)重是自動(dòng)化引導(dǎo)深度學(xué)習(xí)過程的一個(gè)參數(shù)。

　　生物大腦也有相似的架構(gòu)。在生物大腦中，神經(jīng)元之間的耦合強(qiáng)度(權(quán)重?cái)?shù)據(jù))內(nèi)建于突觸(處理單元)之中。在大腦里面，突觸是神經(jīng)元之間的連接，每一個(gè)都有不同的強(qiáng)度。這些強(qiáng)度(權(quán)重)決定了通過該連接的信號(hào)。突觸可以通過這種方式執(zhí)行某種形式的計(jì)算處理。這種架構(gòu)被稱作是完全空間展開架構(gòu)(fully spatially unrolled architecture);它很有吸引力，但也有一個(gè)明顯的缺點(diǎn)——將其復(fù)制到芯片上需要大量的算術(shù)電路(arithmetic circuits)，而且會(huì)很快變大到難以承受的程度。

　　東芝的 TDNN 從 2013 年開始開發(fā)，使用了時(shí)域的模擬和數(shù)字混合的信號(hào)處理(TDAMS/time-domain analog and digital mixed signal processing)技術(shù)，可以實(shí)現(xiàn)處理單元的小型化。在 TDAMS 中，比如加法這樣的算術(shù)運(yùn)算可以通過使用像模擬信號(hào)一樣的數(shù)字信號(hào)通過邏輯門的延遲時(shí)間來有效地執(zhí)行。使用這項(xiàng)技術(shù)，用于深度學(xué)習(xí)的處理單元可以僅有完全空間展開架構(gòu)的 3 個(gè)邏輯門和 1 bit 內(nèi)存即可。東芝已經(jīng)制造出了一款用于概念驗(yàn)證的芯片，其使用了 SRAM(靜態(tài)隨機(jī)存取存儲(chǔ)器)單元作為內(nèi)存，并且已經(jīng)證明能夠用來識(shí)別手寫數(shù)字。其每條指令的能量消耗是 20.6 fJ，僅有之前一場(chǎng)頂級(jí)會(huì)議上報(bào)道的成績(jī)的 1/6.

　　東芝計(jì)劃將 TDNN 開發(fā)成一種電阻式隨機(jī)存取存儲(chǔ)器(ReRAM/resistive random access memory)，以進(jìn)一步提升能量和數(shù)據(jù)的效率。其目標(biāo)是得到一款能夠在邊緣設(shè)備上實(shí)現(xiàn)高性能深度學(xué)習(xí)技術(shù)的 IC。