Google投入自家AI芯片　期望發(fā)揮帶頭角色

　　日前Google針對資料中心市場推出自家晶片Tensor Processing Unit (TPU)，專門應付處理大量數(shù)據(jù)需求。評論指出，Google之所以推出該技術，主要出發(fā)點在于追求效能、降低耗能與帶領其他業(yè)者一同加入打造TPU的行列。

　　據(jù)Network World報導，過去由IBM大型主機與升陽(Sun)伺服器處理的資料中心工作量自從受到諸如Google等云端業(yè)者帶動后，更讓英特爾(Intel)的PC硬體將其普及化，不過，日前Google公布自家TPU效能與架構詳細研究報告后，上述情況恐將從此改變。

　　首先，TPU并非類似英特爾中央處理器(CPU)或NVIDIA繪圖處理器(GPU)的晶片，而是屬于機器學習的ASIC特殊應用晶片。機器學習包括訓練與推理兩大部分。訓練是指利用數(shù)據(jù)將電腦程式化。

　　在機器學習系統(tǒng)提供各種語言的句子并教導電腦翻譯成其他語言屬于訓練，而口說或在智慧型手機內(nèi)輸入某語言的句子轉(zhuǎn)變成另一種語言則是推理。

　　由于TPU是針對推理的特殊任務而設計，加上推理已逐漸成為Google工作量龐大部分，在工作量增加后也催生Google的TPU問世。

　　諸如語言翻譯與圖片搜尋等推理模型的處理容量屬于面對用戶的功能，因此，需要低成本與低延遲效能，而推理正是讓資料中心容量神經(jīng)網(wǎng)路工作量最大化最適合起點。

　　評論認為，Google之所以設計并打造TPU原因首先就是著眼于效能。Google將自家TPU與執(zhí)行95%推理工作量的英特爾伺服器等級Haswell CPU與NVIDIA K80 GPU相比，而在執(zhí)行神經(jīng)網(wǎng)路推理時，TPU速度更比NVIDIA GPU與英特爾CPU快15~30倍。

　　第二是考量實體空間。云端資料中心相當于IT廠房。Google資料處理廠房等龐大基礎建設的資本與營運費用已成為一筆龐大預算。6年前，當用戶開始使用自然語言辨識取代手機鍵盤時，Google工程時當時曾預估，每天每位用戶3分鐘自然語言輸入，將會讓采用英特爾與NVIDIA設計的資料中心數(shù)量開始倍增。

　　第三是耗能。評論指出，速度較快的晶片但沒有伴隨耗能降低，只能影響實際空間成本，降低耗能則可帶來雙重影響，因為可降低使用能源量以及降低冷卻成本。Google指出，結合TPU與CPU處理器每瓦效能在不同工作量下，比CPU與GPU替代技術提升30~80倍。

　　第四是TPU可解決特殊應用問題。英特爾的CPU與NVIDIA的GPU是屬于廣泛應用的一般系統(tǒng)單晶片(SoC)，特別是精準計算的浮點運算。機器學習模型可容忍低準度數(shù)學運算，因此，無需浮點處理單元(FPU)。

　　若拿英特爾及NVIDIA的系統(tǒng)單晶片與FPU相比，利用TPU 8位元數(shù)學運算驅(qū)動的推理模型預測精準度兩者相當。

　　另外，矩陣幾何數(shù)學組成了多數(shù)的神經(jīng)網(wǎng)路運算，至于矩陣相乘單元(Matrix Multiply Unit;MMU)則是TPU的核心。當中包含可執(zhí)行8位元乘法與加法共256x256的乘數(shù)累加器(MAC)，MMU每周期可執(zhí)行6.4萬次累加計算。

　　TPU在時脈0.7GHz時由于可讓低準度矩陣數(shù)學最大化以及快速移動數(shù)據(jù)與結果，相較英特爾與NVIDIA的晶片可達到最大效能表現(xiàn)。Google也指出，未來TPU重新設計增加匯流排頻寬后，性能將提升2~3倍。

　　第五則是促使晶片廠打造TPU。由于Google是數(shù)據(jù)頭號使用者，因此相當了解機器學習問題并能足夠打造出解決方案，而且歷經(jīng)2年在其資料中心運作后，證實該問題已經(jīng)獲得解決。

　　而Google之所以釋出這次報告，目的是希望在機器學習與晶片廠團體內(nèi)提高討論度，目前已是推出可大量執(zhí)行推理的商用解決方案的時候。

　　第六則是專利與智財權交易。由Norman Jouppi率領的團隊在15個月內(nèi)便推出TPU，若搜尋美國專利局資料庫有關Jouppi的專利，當中更可發(fā)現(xiàn)許多TPU相關專利。評論指出，身為專利擁有者，Google可借由開放其專利鼓勵晶片廠進入該市場，而且主要機器學習使用者業(yè)者，例如亞馬遜(Amazon)、Google、Facebook、IBM與微軟(Microsoft)也在等候采購機器學習專屬系統(tǒng)單晶片。