IBM深度學(xué)習(xí)演算法新突破 大幅縮短培訓(xùn)時(shí)間

　　IBM Research宣布深度學(xué)習(xí)演算法出現(xiàn)新的突破，IBM新的分布式深度學(xué)習(xí)(DDL)軟件讓每個(gè)添加的處理器之間實(shí)現(xiàn)線性加速比(linear speedup)，該開(kāi)發(fā)旨在為添加到IBM DDL演算法的每個(gè)服務(wù)器實(shí)現(xiàn)類(lèi)似的加速效能。

　　據(jù)EETimes報(bào)導(dǎo)，IBM加速認(rèn)知基礎(chǔ)設(shè)施部門(mén)主管Hillman Hunter認(rèn)為，研究目標(biāo)是將深度學(xué)習(xí)培訓(xùn)的等待時(shí)間從幾天或幾小時(shí)，縮短到幾分鐘或幾秒鐘。

　　Hunter發(fā)文描述這項(xiàng)開(kāi)發(fā)成果，是最受歡迎的深度學(xué)習(xí)框架擴(kuò)展到服務(wù)器中的多個(gè)GPU，而不是使用GPU的多個(gè)服務(wù)器。Hunter進(jìn)一步指出，IBM團(tuán)隊(duì)編寫(xiě)的軟件，可自動(dòng)化和優(yōu)化跨數(shù)百個(gè)GPU加速器上，十幾個(gè)服務(wù)器所需要的龐大而復(fù)雜的并行運(yùn)算任務(wù)。

　　IBM聲稱(chēng)使用開(kāi)源碼Caffe深度學(xué)習(xí)框架，將最多256個(gè)NVIDIA Tesla P100 GPU添加到單個(gè)服務(wù)器上，縮放效能為95%，可應(yīng)用在圖像識(shí)別學(xué)習(xí)，以及類(lèi)似的學(xué)習(xí)任務(wù)。IBM在50分鐘的培訓(xùn)時(shí)間內(nèi)實(shí)現(xiàn)幾乎線性的縮放效率。Facebook之前在同一資料庫(kù)上花60分鐘的培訓(xùn)時(shí)間，效能為89%。

　　在ImageNet-22k資料庫(kù)上的7個(gè)小時(shí)的培訓(xùn)中，IBM同樣聲稱(chēng)對(duì)750萬(wàn)幅影像的驗(yàn)證精確度為33.8%，而微軟(Microsoft)之前針對(duì)同一資料庫(kù)花10天培訓(xùn)，準(zhǔn)確率為29.8%。IBM的處理器是PowerAI平臺(tái)，具備64節(jié)點(diǎn)Power8集群，加上256個(gè)NVIDIA GPU，提供超過(guò)2 petaFLOPS。

　　IBM正在向所有PowerAI平臺(tái)用戶(hù)免費(fèi)提供DDL套件，還為第三方開(kāi)發(fā)人員提供各種應(yīng)用程式介面(API)，讓開(kāi)發(fā)人員選擇與應(yīng)用程式(App)最相關(guān)的基本演算法。