東芝憑借超低功率神經(jīng)形態(tài)處理器推進(jìn)了深度學(xué)習(xí)

　　東芝公司通過開發(fā)“時(shí)域神經(jīng)網(wǎng)絡(luò)1”(TDNN)繼續(xù)履行其關(guān)于促進(jìn)物聯(lián)網(wǎng)和大數(shù)據(jù)分析的承諾，TDNN采用了超低功耗神經(jīng)形態(tài)半導(dǎo)體電路以執(zhí)行深度學(xué)習(xí)處理。不同于傳統(tǒng)的數(shù)字處理器，TDNN包含有大量的采用了東芝原創(chuàng)模擬技術(shù)的微小處理單元。我們在11月8日于日本舉行的A-SSCC 2016(2016年亞洲固態(tài)電路會議)會議上對TDNN作了報(bào)告，A-SSCC是由IEEE主辦的半導(dǎo)體電路技術(shù)國際會議。

　　深度學(xué)習(xí)需要大量的計(jì)算，特別是在高性能處理器上執(zhí)行計(jì)算，需要消耗大量的電能。但是若要讓傳感器和智能手機(jī)等IoT邊緣設(shè)備實(shí)現(xiàn)深度學(xué)習(xí)功能，這就需要使用既能執(zhí)行大量所需操作而又只消耗超低電能的高效節(jié)能型IC。

　　對于馮·諾伊曼式2計(jì)算機(jī)結(jié)構(gòu)，在從片上或片外存儲器裝置移動(dòng)數(shù)據(jù)到處理單元時(shí)將消耗大量電能。減少數(shù)據(jù)移動(dòng)的最有效方式是具備大量的處理單元，每個(gè)處理單元只專注于處理其附近的一個(gè)數(shù)據(jù)。這些數(shù)據(jù)點(diǎn)在輸入信號(例如：一只貓的圖像)轉(zhuǎn)換成輸出信號(例如：作為貓的形象的識別)的過程中會給定一個(gè)權(quán)重。數(shù)據(jù)點(diǎn)與期望的輸出越接近，給定的權(quán)重越大。該權(quán)重提供了一個(gè)自動(dòng)引導(dǎo)深度學(xué)習(xí)過程的參數(shù)。

　　大腦具有類似的結(jié)構(gòu)，其中神經(jīng)元之間的耦合強(qiáng)度(權(quán)重?cái)?shù)據(jù))被構(gòu)建于突觸(處理單元)中。在這種情況下，突觸即是神經(jīng)元之間的連接，且每個(gè)連接具有不同的強(qiáng)度。該強(qiáng)度(權(quán)重)決定了通過連接的信號。突觸以這種方式執(zhí)行了一種處理操作。這種結(jié)構(gòu)可以稱為完全空間鋪展架構(gòu)，它非常具有吸引力，但也有一個(gè)明顯的缺點(diǎn)：將其復(fù)制到一個(gè)芯片上時(shí)需要大量的算術(shù)運(yùn)算電路，這將使得電路變得太過龐大。

　　東芝的TDNN從2013年開始開發(fā)，采用了時(shí)域模擬和數(shù)字混合信號處理(TDAMS3)技術(shù)，它可實(shí)現(xiàn)處理單元的小型化。在TDAMS中，使用數(shù)字信號通過邏輯門的延遲時(shí)間作為模擬信號，可有效地執(zhí)行如加法這樣的等算術(shù)運(yùn)算。利用這一技術(shù)，深度學(xué)習(xí)的處理單元可僅由三個(gè)邏輯門和一個(gè)具有完全空間鋪展架構(gòu)的1位存儲器組成。東芝已制造了采用SRAM(靜態(tài)隨機(jī)存取存儲器)單元作為存儲器的概念驗(yàn)證型芯片，并已展示了對于手寫數(shù)字的識別功能。每次操作的能耗為20.6fJ4，這僅相當(dāng)于之前一場頂級會議5中所報(bào)道能耗的1/6。

　　東芝計(jì)劃開發(fā)TDNN作為電阻式隨機(jī)存取存儲器(ReRAM)以進(jìn)一步提高能量和面積效率。其目標(biāo)是應(yīng)用于邊緣設(shè)備并實(shí)現(xiàn)高性能深度學(xué)習(xí)技術(shù)的IC。

　　1. TDNN：使用時(shí)域模擬和數(shù)字混合信號處理技術(shù)的神經(jīng)網(wǎng)絡(luò)。

　　2. 馮·諾伊曼式：標(biāo)準(zhǔn)的、使用最廣泛的計(jì)算機(jī)結(jié)構(gòu)。該結(jié)構(gòu)將數(shù)據(jù)從存儲設(shè)備加載到處理單元進(jìn)行處理。

　　3. TDAMS：一項(xiàng)模擬信號處理技術(shù)，即使用數(shù)字信號通過邏輯門的延遲時(shí)間作為模擬信號。 由東芝開發(fā)。

　　(參考：http://www.toshiba.co.jp/about/press/2013_02/pr2101.htm)

　　4. 20.6fJ：相當(dāng)于1秒內(nèi)執(zhí)行48.6萬億次的操作，功耗為1W。

　　5. ISSCC 2016(國際固態(tài)電路會議2016)頁號24.2

　　1. TDNN：使用時(shí)域模擬和數(shù)字混合信號處理技術(shù)的神經(jīng)網(wǎng)絡(luò)。

　　2. 馮·諾伊曼式：標(biāo)準(zhǔn)的、使用最廣泛的計(jì)算機(jī)結(jié)構(gòu)。該結(jié)構(gòu)將數(shù)據(jù)從存儲設(shè)備加載到處理單元進(jìn)行處理。

　　3. TDAMS：一項(xiàng)模擬信號處理技術(shù)，即使用數(shù)字信號通過邏輯門的延遲時(shí)間作為模擬信號。 由東芝開發(fā)。

　　(參考：http://www.toshiba.co.jp/about/press/2013_02/pr2101.htm)

　　4. 20.6fJ：相當(dāng)于1秒內(nèi)執(zhí)行48.6萬億次的操作，功耗為1W。

　　5. ISSCC 2016(國際固態(tài)電路會議2016)頁號24.2