東芝宣布時域神經(jīng)網(wǎng)絡技術:讓低功率IoT設備也能深度學習

　　為了追求其在物聯(lián)網(wǎng)和大數(shù)據(jù)分析領域的未來，東芝公司正在開發(fā)一種時域神經(jīng)網(wǎng)絡(TDNN/Time Domain Neural Network)，采用了超低功耗的神經(jīng)形態(tài)半導體電路，可用于執(zhí)行深度學習的運算。TDNN 由大量使用了東芝自家的模擬技術的微型處理單元構成，這讓它和傳統(tǒng)的數(shù)字處理器不一樣。TDNN 在 11 月 8 日的 A-SSCC 2016(2016 年亞洲固態(tài)電路會議)上報告了出來——這是由 IEEE 贊助的一個在日本舉辦的國際性半導體電路技術會議。

　　深度學習需要大量的計算，所以通常需要在高功率的高性能處理上運行。但是，如果要將深度學習和物聯(lián)網(wǎng)邊緣設備(IoT edge device)(如傳感器和智能手機)結合起來，就需要非常高能效的 IC(集成電路)——它可以執(zhí)行大量所需的運算，同時僅需消耗極少的能量。

　　圖 1：時域神經(jīng)網(wǎng)絡(Time Domain Neural Network)

　　在馮諾依曼型的計算機架構中，大部分能量都消耗在了將數(shù)據(jù)在片上或片外存儲設備與處理單元之間的傳遞之中。減少數(shù)據(jù)移動的一種最有效的方式是使用大量處理單元，其中每一個都僅處理與其接近的一個數(shù)據(jù)。這些數(shù)據(jù)點在將輸入信號(比如貓的照片)轉換成輸出信號(比如識別照片中有貓)的過程中會有一個權重。數(shù)據(jù)點離目標輸出越近，其獲得的權重就越高。該權重是自動化引導深度學習過程的一個參數(shù)。

　　生物大腦也有相似的架構。在生物大腦中，神經(jīng)元之間的耦合強度(權重數(shù)據(jù))內建于突觸(處理單元)之中。在大腦里面，突觸是神經(jīng)元之間的連接，每一個都有不同的強度。這些強度(權重)決定了通過該連接的信號。突觸可以通過這種方式執(zhí)行某種形式的計算處理。這種架構被稱作是完全空間展開架構(fully spatially unrolled architecture);它很有吸引力，但也有一個明顯的缺點——將其復制到芯片上需要大量的算術電路(arithmetic circuits)，而且會很快變大到難以承受的程度。

　　東芝的 TDNN 從 2013 年開始開發(fā)，使用了時域的模擬和數(shù)字混合的信號處理(TDAMS/time-domain analog and digital mixed signal processing)技術，可以實現(xiàn)處理單元的小型化。在 TDAMS 中，比如加法這樣的算術運算可以通過使用像模擬信號一樣的數(shù)字信號通過邏輯門的延遲時間來有效地執(zhí)行。使用這項技術，用于深度學習的處理單元可以僅有完全空間展開架構的 3 個邏輯門和 1 bit 內存即可。東芝已經(jīng)制造出了一款用于概念驗證的芯片，其使用了 SRAM(靜態(tài)隨機存取存儲器)單元作為內存，并且已經(jīng)證明能夠用來識別手寫數(shù)字。其每條指令的能量消耗是 20.6 fJ，僅有之前一場頂級會議上報道的成績的 1/6.

　　東芝計劃將 TDNN 開發(fā)成一種電阻式隨機存取存儲器(ReRAM/resistive random access memory)，以進一步提升能量和數(shù)據(jù)的效率。其目標是得到一款能夠在邊緣設備上實現(xiàn)高性能深度學習技術的 IC。