新聞中心

EEPW首頁 > 嵌入式系統(tǒng) > 業(yè)界動態(tài) > 東芝憑借超低功率神經(jīng)形態(tài)處理器推進(jìn)了深度學(xué)習(xí)

東芝憑借超低功率神經(jīng)形態(tài)處理器推進(jìn)了深度學(xué)習(xí)

作者:東芝半導(dǎo)體 時間:2016-12-21 來源:電子產(chǎn)品世界 收藏

  公司通過開發(fā)“時域神經(jīng)網(wǎng)絡(luò)1”()繼續(xù)履行其關(guān)于促進(jìn)物聯(lián)網(wǎng)和大數(shù)據(jù)分析的承諾,采用了超低功耗神經(jīng)形態(tài)半導(dǎo)體電路以執(zhí)行深度學(xué)習(xí)處理。不同于傳統(tǒng)的數(shù)字處理器,包含有大量的采用了原創(chuàng)模擬技術(shù)的微小處理單元。我們在11月8日于日本舉行的A-SSCC 2016(2016年亞洲固態(tài)電路會議)會議上對TDNN作了報告,A-SSCC是由IEEE主辦的半導(dǎo)體電路技術(shù)國際會議。

本文引用地址:http://m.butianyuan.cn/article/201612/341884.htm

  深度學(xué)習(xí)需要大量的計算,特別是在高性能處理器上執(zhí)行計算,需要消耗大量的電能。但是若要讓傳感器和智能手機(jī)等IoT邊緣設(shè)備實現(xiàn)深度學(xué)習(xí)功能,這就需要使用既能執(zhí)行大量所需操作而又只消耗超低電能的高效節(jié)能型IC。

  對于馮·諾伊曼式2計算機(jī)結(jié)構(gòu),在從片上或片外存儲器裝置移動數(shù)據(jù)到處理單元時將消耗大量電能。減少數(shù)據(jù)移動的最有效方式是具備大量的處理單元,每個處理單元只專注于處理其附近的一個數(shù)據(jù)。這些數(shù)據(jù)點在輸入信號(例如:一只貓的圖像)轉(zhuǎn)換成輸出信號(例如:作為貓的形象的識別)的過程中會給定一個權(quán)重。數(shù)據(jù)點與期望的輸出越接近,給定的權(quán)重越大。該權(quán)重提供了一個自動引導(dǎo)深度學(xué)習(xí)過程的參數(shù)。

  大腦具有類似的結(jié)構(gòu),其中神經(jīng)元之間的耦合強(qiáng)度(權(quán)重數(shù)據(jù))被構(gòu)建于突觸(處理單元)中。在這種情況下,突觸即是神經(jīng)元之間的連接,且每個連接具有不同的強(qiáng)度。該強(qiáng)度(權(quán)重)決定了通過連接的信號。突觸以這種方式執(zhí)行了一種處理操作。這種結(jié)構(gòu)可以稱為完全空間鋪展架構(gòu),它非常具有吸引力,但也有一個明顯的缺點:將其復(fù)制到一個芯片上時需要大量的算術(shù)運算電路,這將使得電路變得太過龐大。

  的TDNN從2013年開始開發(fā),采用了時域模擬和數(shù)字混合信號處理(TDAMS3)技術(shù),它可實現(xiàn)處理單元的小型化。在TDAMS中,使用數(shù)字信號通過邏輯門的延遲時間作為模擬信號,可有效地執(zhí)行如加法這樣的等算術(shù)運算。利用這一技術(shù),深度學(xué)習(xí)的處理單元可僅由三個邏輯門和一個具有完全空間鋪展架構(gòu)的1位存儲器組成。東芝已制造了采用SRAM(靜態(tài)隨機(jī)存取存儲器)單元作為存儲器的概念驗證型芯片,并已展示了對于手寫數(shù)字的識別功能。每次操作的能耗為20.6fJ4,這僅相當(dāng)于之前一場頂級會議5中所報道能耗的1/6。

  東芝計劃開發(fā)TDNN作為電阻式隨機(jī)存取存儲器(ReRAM)以進(jìn)一步提高能量和面積效率。其目標(biāo)是應(yīng)用于邊緣設(shè)備并實現(xiàn)高性能深度學(xué)習(xí)技術(shù)的IC。

  1. TDNN:使用時域模擬和數(shù)字混合信號處理技術(shù)的神經(jīng)網(wǎng)絡(luò)。

  2. 馮·諾伊曼式:標(biāo)準(zhǔn)的、使用最廣泛的計算機(jī)結(jié)構(gòu)。該結(jié)構(gòu)將數(shù)據(jù)從存儲設(shè)備加載到處理單元進(jìn)行處理。

  3. TDAMS:一項模擬信號處理技術(shù),即使用數(shù)字信號通過邏輯門的延遲時間作為模擬信號。 由東芝開發(fā)。

  (參考:http://www.toshiba.co.jp/about/press/2013_02/pr2101.htm)

  4. 20.6fJ:相當(dāng)于1秒內(nèi)執(zhí)行48.6萬億次的操作,功耗為1W。

  5. ISSCC 2016(國際固態(tài)電路會議2016)頁號24.2

  1. TDNN:使用時域模擬和數(shù)字混合信號處理技術(shù)的神經(jīng)網(wǎng)絡(luò)。

  2. 馮·諾伊曼式:標(biāo)準(zhǔn)的、使用最廣泛的計算機(jī)結(jié)構(gòu)。該結(jié)構(gòu)將數(shù)據(jù)從存儲設(shè)備加載到處理單元進(jìn)行處理。

  3. TDAMS:一項模擬信號處理技術(shù),即使用數(shù)字信號通過邏輯門的延遲時間作為模擬信號。 由東芝開發(fā)。

  (參考:http://www.toshiba.co.jp/about/press/2013_02/pr2101.htm)

  4. 20.6fJ:相當(dāng)于1秒內(nèi)執(zhí)行48.6萬億次的操作,功耗為1W。

  5. ISSCC 2016(國際固態(tài)電路會議2016)頁號24.2



關(guān)鍵詞: 東芝 TDNN

評論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉