英特爾首個神經(jīng)網(wǎng)絡(luò)處理器揭開面紗，幕后推手是這位42歲的冒險家

　　要了解計算機神經(jīng)系統(tǒng)科學家Naveen Rao，只要看看他的手就行了。

　　這位42歲的Dr.在滑雪、滑板、騎自行車、輪滑溜冰、駕駛賽車、摔跤和打籃球的生涯中，弄傷了全部的十個手指。

　　他是一個冒險者，不斷挑戰(zhàn)身體和精神上的極限。在科學研究方面，他試圖通過創(chuàng)造受到人腦結(jié)構(gòu)和行為啟發(fā)的芯片和軟件，加速計算機行業(yè)進入人工智能的新時代。

　　讓Rao有別于其他正在嘗試同樣事情的人的是這樣一個事實，英特爾去年以4億美元的價格收購了他在圣地亞哥創(chuàng)辦的公司：Nervana。

　　這是一個認證標志。英特爾是電腦芯片行業(yè)的巨頭，每年的銷售額約600億美元。但同時，它也是一個年邁的巨人，英特爾將在明年迎來50歲生日。這家公司曾錯失向移動計算轉(zhuǎn)變的最佳時機，而如今是時候重振旗鼓了。

　　現(xiàn)在，英特爾正在努力捕捉業(yè)界下一波新興浪潮：人工智能。更確切地說，是人工智能中被稱為深度學習的那一部分。

　　為AI“量身定制”專用芯片

　　深度學習是一個新的、更具市場推廣意義的術(shù)語，而這個概念已經(jīng)存在了幾十年來，之前被稱為神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)不像傳統(tǒng)計算機那樣以串行方式運行計算，而是模仿人腦中神經(jīng)簇的行為——發(fā)射信號并扼制它們，將數(shù)據(jù)排列成與人類記憶大致相似的模式。

　　為什么深度學習會突然興起?大概是依賴智能手機、無人機、監(jiān)控攝像頭等各種設(shè)備上安裝的傳感器，可以從世界各地創(chuàng)造大量的數(shù)據(jù)，然后將這些數(shù)據(jù)引導到更強大的計算機硬件上。這種組合使得神經(jīng)網(wǎng)絡(luò)的方法被廣泛應(yīng)用。

　　因此，IDC半導體分析師Mario Morales認為，計算機行業(yè)正在改變，“比英特爾或其他任何人期待的都要更快”。專家稱，人工智能現(xiàn)在是一塊重要的增長業(yè)務(wù)，將為提供最好的硬件和軟件的公司賺取數(shù)十億美元。

　　英特爾首個神經(jīng)網(wǎng)絡(luò)處理器揭開面紗，幕后推手是這位42歲的冒險家Naveen Rao 他是一位計算機架構(gòu)師，也是一位神經(jīng)科學家

　　這就是Rao發(fā)揮作用的地方。他的工作是幫助英特爾中央處理器“進化”，也就是CPU——這一統(tǒng)治半導體行業(yè)數(shù)十年的產(chǎn)品。CPU是自20世紀70年代個人電腦革命開始以來，每臺臺式機和筆記本電腦的核心。此前兩家公司統(tǒng)治了這個領(lǐng)域：一是微軟與其操作系統(tǒng)軟件，另一個是英特爾與其“Intel Inside”中央處理器。

　　深度學習軟件在CPU上運行，但效率不高。CPU本質(zhì)上是通用設(shè)備，而并非專門針對深度學習的專業(yè)芯片，這就必然帶來一些天生的不足。打一個比方，用眾核芯片和GPU跑深度學習，就類似于用轎車去拉貨，受轎車自身特點的限制，貨物運輸能力與真正大馬力、高負載的貨車有一定差距。

　　反之，處理雜亂無章的海量數(shù)據(jù)、操控復雜的機器需要“量身定制”的計算機硬件，即專用芯片。這正是Rao和Nervana正在嘗試的東西。如果他們成功了，英特爾也將會收獲果實。

　　沉迷“神經(jīng)網(wǎng)絡(luò)”的 Naveen Rao

　　穿著T恤和藍色牛仔褲的Rao有著運動員般的優(yōu)美體形。他是印度移民的孩子，在肯塔基州東部一個名叫Whitesburg的小鎮(zhèn)里長大。在20世紀70年代末期，他的醫(yī)生父親驅(qū)車開上40分鐘的路程，將Rao和他的兄弟帶到一個無線電小木屋，在一臺落地式電腦上用Basic進行編程。“我們家里那個時候還沒有電腦。”Rao說。

　　Rao在農(nóng)村度過了他的童年，他喜歡戶外玩耍和《龍與地下城》以及Asimov、Heinlein和Tolkien的小說。在此之后，Rao進入了杜克大學(Duke University)。在那里，他被神經(jīng)網(wǎng)絡(luò)所吸引，因為他了解到人眼是如何在視覺物體上發(fā)現(xiàn)邊緣的。當時的邊緣檢測技術(shù)是計算機視覺領(lǐng)域的一個前沿問題，有很多解決方案，包括神經(jīng)網(wǎng)絡(luò)。

　　他最初在硅谷Sun Microsystems從事計算機芯片的研發(fā)工作，卻仍然被神經(jīng)學所吸引。于是，他決定辭去電腦工程師這項工作，然后重返校園。他在神經(jīng)科學先驅(qū)John Donoghue的領(lǐng)導下獲得了Brown University (布朗大學)的博士學位。

　　畢業(yè)后，他前往位于圣迭戈西部的芯片制造商高通(Qualcomm)，帶領(lǐng)團隊進行神經(jīng)網(wǎng)絡(luò)研究，旨在打造一個生物學啟發(fā)下的人工神經(jīng)網(wǎng)絡(luò)。(這個項目后來變成了 Zeroth AI，一個幫助公司用高通芯片打造深度學習系統(tǒng)的軟件平臺。)

　　Rao說，高通正在做有趣的工作。不過，當公司拒絕將他的研究轉(zhuǎn)化為產(chǎn)品時，他決定成立自己的公司。在2014年，他創(chuàng)立了Nervana。不久之后，大公司就開始對它感興趣了。

　　Rao表示，當英特爾發(fā)現(xiàn)另一家大型科技公司正在四處嗅探時，就迅速出手了。對于Rao來說這很好。最重要的是，他找到了一家在芯片制造方面表現(xiàn)優(yōu)異的公司。“The best at that is Intel”，他說。

　　分析師們贊同這一觀點。“他們擁有世界上最好的制造工廠。” Linley集團創(chuàng)始人及長期擔任半導體行業(yè)分析師的Linley Gwennap表示，“和英特爾一起，你可以使用英特爾的名義進入市場，并利用英特爾的資源。”

　　絕地反擊：英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器

　　英特爾和Nervana正在提供一系列軟件工具，開發(fā)人員可以用來編寫深度學習程序。同樣重要的是，Nervana正在制作一款名為“Lake Crest”的神經(jīng)網(wǎng)絡(luò)計算機芯片——將由英特爾在年底前發(fā)布。

　　英特爾首個神經(jīng)網(wǎng)絡(luò)處理器揭開面紗，幕后推手是這位42歲的冒險家英特爾 Nervana 神經(jīng)網(wǎng)絡(luò)處理器(NNP)系列芯片

　　關(guān)于這款芯片有了最新進展。

　　在10月17日召開的WSJ D.Live大會上，英特爾正式發(fā)布了專為機器學習而設(shè)計的英特爾 Nervana 神經(jīng)網(wǎng)絡(luò)處理器(NNP)系列芯片，它是業(yè)內(nèi)第一個面向神經(jīng)網(wǎng)絡(luò)處理的芯片。

　　英特爾CEO科再奇隨后在官方博客發(fā)布公告稱：

　　當我們將新一代AI硬件推向市場時，我們很高興Facebook能夠提供密切合作并共享其技術(shù)見解。

　　這款英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器將為各行各業(yè)帶來人工智能計算革命。利用英特爾Nervana技術(shù)，企業(yè)將能夠開發(fā)全新的人工智能應(yīng)用，以處理海量數(shù)據(jù)并讓客戶獲得更好的洞察，實現(xiàn)業(yè)務(wù)變革。

　　我們有更多英特爾Nervana產(chǎn)品正在推進中，這些產(chǎn)品將提供更高的性能，并為AI模型提供更高可擴展性能力， 這讓我們即將超越去年設(shè)定的目標——即到2020年實現(xiàn)100倍的人工智能性能提升。

　　現(xiàn)任英特爾副總裁、人工智能產(chǎn)品部門總經(jīng)理Naveen Rao在一篇博客文章(文末附全文)中詳細介紹了這款新的芯片，他指出，經(jīng)過三年時間的開發(fā)，這個全新的Nervana神經(jīng)網(wǎng)絡(luò)處理器(Nervana Neural Network Processor)家族代號為“Lake Crest”，將大大提升深度學習的速度和計算效率。

　　很少有人否認人工智能和機器學習的重要性，這已經(jīng)成為當今發(fā)展最快的技術(shù)趨勢之一。英偉達因為它的GPU芯片成為人工智能和機器學習的工作標準，從而在最近幾年迅速聲名鵲起。

　　英特爾也決定投身于這一趨勢前沿，將其作為鞏固在數(shù)據(jù)中心領(lǐng)域優(yōu)勢的戰(zhàn)略之一。這也解釋了為什么英特爾在過去18個月一直強調(diào)自己FPGA加速器的能力，這種加速器用于為英特爾專用計算芯片加速深度學習工作負載。

　　但是很多FPGA就會被Nervana神經(jīng)網(wǎng)絡(luò)處理器擠到一邊，后者提供了許多相同的速度和性能優(yōu)勢。這是因為這些芯片采用了一種新的內(nèi)存架構(gòu)，Rao稱這個架構(gòu)設(shè)計旨在最大限度提高處理速度。與以往的芯片不同，Nervana系列不帶有一個管理緩存層，而是采用軟件來管理片上內(nèi)存，以確定分配給不同的操作。

　　Rao表示，這個功能讓Nervana芯片能夠“實現(xiàn)新一代面向深度學習的計算密度和性能”。他解釋說，這個芯片具有一個簡單的技巧就是所謂的“大規(guī)模雙向數(shù)據(jù)傳輸”，這使得多個處理器可以作為一個大型虛擬芯片，可以容納更大的AI模型，比以前更快地提供更好的洞察。

　　這個“家伙”可以幫住英特爾捕捉AI大潮嗎?

　　英特爾正在掀起收購狂潮。在2016年，它收購了Movidius，一家硅谷公司，該公司專門為包括無人機在內(nèi)的消費設(shè)備制造智能視覺芯片。今年早些時候，它又豪擲153億美元收購了Mobileye，這是一家為無人駕駛汽車生產(chǎn)攝像頭、芯片和軟件系統(tǒng)的以色列廠商。

　　它還與一家專門進行針對特定應(yīng)用芯片定制的公司合作，并購買了另一家生產(chǎn)可以根據(jù)當前工作對其“固件”進行重新編程的芯片的公司。

　　英特爾需要將所有這些融合在一起。當英特爾收購Nervana時，它認為這家小公司是其進軍人工智能的“基礎(chǔ)”。它讓Rao負責英特爾所有的人工智能工作，直接向英特爾的首席執(zhí)行官科再奇匯報。

　　但是，在文化和技術(shù)執(zhí)行方面，合并將是非常復雜微妙的一件事。分析師Gwennap表示，英特爾在初創(chuàng)企業(yè)收購方面表現(xiàn)不佳(a poor record)。他指出，在蘋果推出iPhone之前，英特爾曾經(jīng)有一個無線設(shè)備芯片部門，該公司在2006年將其賣給了Marvell Technology Group。

　　為了嘗試糾正錯誤，英特爾在2010年收購了英飛凌科技公司的無線部門，但文化沖突和技術(shù)上的分歧讓英特爾脫離了手機游戲。諸如ARM Holdings(現(xiàn)在是SoftBank的一部分)之類比較靈活的公司輕松獲得了移動芯片業(yè)務(wù)。

　　DFJ Venture Capital(Nervana的早期投資者)的Steve Jurvetson認為，如果英特爾將讓Rao放手去做，他有可能幫助英特爾推動文化變革。Jurvetson表示：

　　“Rao是一位多才多藝的人，他整合來自多個學科的思想的能力非常出色。”

　　“他有一種溫暖的教授般的氣度。”

　　“他喜歡教別人，并討論他們想法的可行性。但如果他認為某件事不是個好主意，他可不會裹足不前。”

　　Rao坦言，他遇到了一些來自英特爾“老警衛(wèi)”的阻力，但是他相信這家公司已經(jīng)拋棄了“英特爾永遠知道什么是最好的”這種觀念。他表示，收購Nervana “并不是五年前的英特爾會做的事情。”

　　“ 這是一個開放的文化。我可以說，‘嗨，伙計們，你們沒明白。’”Rao說， 有時候，他會發(fā)現(xiàn)自己在會議中拍桌子。但他表示自己有信心，科再奇會支持他。

　　英特爾首個神經(jīng)網(wǎng)絡(luò)處理器揭開面紗，幕后推手是這位42歲的冒險家Naveen Rao 現(xiàn)任英特爾副總裁兼人工智能產(chǎn)品部總經(jīng)理

　　附：Naveen Rao撰文

　　解讀英特爾神經(jīng)網(wǎng)絡(luò)處理器四大關(guān)鍵技術(shù)特征

　　正如英特爾首席執(zhí)行官科再奇今天早些時候在華爾街日報的D.Live活動中討論的那樣，英特爾將很快會出貨世界上第一批從頭至尾專為人工智能打造的系列處理器——英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器系列(以前稱為“Lake Crest”)。

　　這個處理器系列的研發(fā)已經(jīng)有3年多的時間，作為開發(fā)團隊的代表，我想分享一下這一世界第一款神經(jīng)網(wǎng)絡(luò)處理器背后的動機和設(shè)計的初衷。

　　深度學習的計算需求要求對圍繞支持AI計算的硬件有一些新的思維。為此，我們設(shè)計了一個名為“英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器(英特爾Nervana NNP)”的深度學習新芯片。

　　英特爾Nervana NNP是專為深度學習設(shè)計的架構(gòu)。這種新架構(gòu)的目標是提供深度學習所需的靈活性，以支持所有深度學習元語(primitives)，同時使核心硬件組件盡可能高效。

　　我們設(shè)計了英特爾Nervana NNP，使我們免受現(xiàn)有硬件的限制，因為這些硬件并不是明確設(shè)計為AI的。

　　1、新的內(nèi)存架構(gòu)旨在最大限度地提高硅計算的利用率

　　矩陣乘法和卷積是深度學習核心的一些重要原語。這些計算與通用的工作負載不同，因為操作和數(shù)據(jù)移動在很大程度上是先天知道的。因此，英特爾Nervana NNP沒有標準的緩存層次結(jié)構(gòu)，片上存儲器是由軟件直接管理的。更好的內(nèi)存管理使芯片能夠在每個裸片上實現(xiàn)大量計算的高水平利用，這意味著深度學習模型訓練可以更快地完成。

　　2、實現(xiàn)AI模型可擴展性的新水平

　　采用高速片上和片外互連設(shè)計，Intel Nervana NNP可實現(xiàn)大量雙向數(shù)據(jù)傳輸。一個具體的設(shè)計目標是實現(xiàn)真正的模型并行性，其中神經(jīng)網(wǎng)絡(luò)參數(shù)分布在多個芯片上。這使得多個芯片充當一個可以容納更大型號的大型虛擬芯片，從而允許客戶從其數(shù)據(jù)中獲取更多洞察力。

　　3、高度數(shù)值并行性：Flexpoint

　　單個芯片上的神經(jīng)網(wǎng)絡(luò)計算主要受電源和存儲器帶寬的限制。為了實現(xiàn)神經(jīng)網(wǎng)絡(luò)工作負載的更高的吞吐量，除了上述內(nèi)存創(chuàng)新之外，我們還發(fā)明了一種名為Flexpoint的新數(shù)字格式。 Flexpoint允許將標量計算實現(xiàn)為定點乘法和加法，同時允許使用共享指數(shù)的較大動態(tài)范圍。由于每個電路較小，這導致了芯片上的并行性的大幅度增加，同時降低了每次計算的功率。

　　4、性能

　　當下的AI革命實際上是計算上的演進。自集成電路的發(fā)明以來，英特爾一直是推進計算極限的核心。我們擁有行業(yè)和研究方面的早期合作伙伴，他們正在與我們一起走在這個旅程中，共同促成第一個商業(yè)神經(jīng)網(wǎng)絡(luò)處理器，并對各行各業(yè)都產(chǎn)生積極的影響。我們有一個產(chǎn)品路線圖，能讓我們超過了我們?nèi)ツ暝O(shè)定的目標，在2020年，將深度學習訓練的性能提升100倍。