英特爾首個(gè)神經(jīng)網(wǎng)絡(luò)處理器揭開面紗，幕后推手是這位42歲的冒險(xiǎn)家

　　要了解計(jì)算機(jī)神經(jīng)系統(tǒng)科學(xué)家Naveen Rao，只要看看他的手就行了。

　　這位42歲的Dr.在滑雪、滑板、騎自行車、輪滑溜冰、駕駛賽車、摔跤和打籃球的生涯中，弄傷了全部的十個(gè)手指。

　　他是一個(gè)冒險(xiǎn)者，不斷挑戰(zhàn)身體和精神上的極限。在科學(xué)研究方面，他試圖通過創(chuàng)造受到人腦結(jié)構(gòu)和行為啟發(fā)的芯片和軟件，加速計(jì)算機(jī)行業(yè)進(jìn)入人工智能的新時(shí)代。

　　讓Rao有別于其他正在嘗試同樣事情的人的是這樣一個(gè)事實(shí)，英特爾去年以4億美元的價(jià)格收購(gòu)了他在圣地亞哥創(chuàng)辦的公司：Nervana。

　　這是一個(gè)認(rèn)證標(biāo)志。英特爾是電腦芯片行業(yè)的巨頭，每年的銷售額約600億美元。但同時(shí)，它也是一個(gè)年邁的巨人，英特爾將在明年迎來50歲生日。這家公司曾錯(cuò)失向移動(dòng)計(jì)算轉(zhuǎn)變的最佳時(shí)機(jī)，而如今是時(shí)候重振旗鼓了。

　　現(xiàn)在，英特爾正在努力捕捉業(yè)界下一波新興浪潮：人工智能。更確切地說，是人工智能中被稱為深度學(xué)習(xí)的那一部分。

　　為AI“量身定制”專用芯片

　　深度學(xué)習(xí)是一個(gè)新的、更具市場(chǎng)推廣意義的術(shù)語(yǔ)，而這個(gè)概念已經(jīng)存在了幾十年來，之前被稱為神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)不像傳統(tǒng)計(jì)算機(jī)那樣以串行方式運(yùn)行計(jì)算，而是模仿人腦中神經(jīng)簇的行為——發(fā)射信號(hào)并扼制它們，將數(shù)據(jù)排列成與人類記憶大致相似的模式。

　　為什么深度學(xué)習(xí)會(huì)突然興起?大概是依賴智能手機(jī)、無人機(jī)、監(jiān)控?cái)z像頭等各種設(shè)備上安裝的傳感器，可以從世界各地創(chuàng)造大量的數(shù)據(jù)，然后將這些數(shù)據(jù)引導(dǎo)到更強(qiáng)大的計(jì)算機(jī)硬件上。這種組合使得神經(jīng)網(wǎng)絡(luò)的方法被廣泛應(yīng)用。

　　因此，IDC半導(dǎo)體分析師Mario Morales認(rèn)為，計(jì)算機(jī)行業(yè)正在改變，“比英特爾或其他任何人期待的都要更快”。專家稱，人工智能現(xiàn)在是一塊重要的增長(zhǎng)業(yè)務(wù)，將為提供最好的硬件和軟件的公司賺取數(shù)十億美元。

　　英特爾首個(gè)神經(jīng)網(wǎng)絡(luò)處理器揭開面紗，幕后推手是這位42歲的冒險(xiǎn)家Naveen Rao 他是一位計(jì)算機(jī)架構(gòu)師，也是一位神經(jīng)科學(xué)家

　　這就是Rao發(fā)揮作用的地方。他的工作是幫助英特爾中央處理器“進(jìn)化”，也就是CPU——這一統(tǒng)治半導(dǎo)體行業(yè)數(shù)十年的產(chǎn)品。CPU是自20世紀(jì)70年代個(gè)人電腦革命開始以來，每臺(tái)臺(tái)式機(jī)和筆記本電腦的核心。此前兩家公司統(tǒng)治了這個(gè)領(lǐng)域：一是微軟與其操作系統(tǒng)軟件，另一個(gè)是英特爾與其“Intel Inside”中央處理器。

　　深度學(xué)習(xí)軟件在CPU上運(yùn)行，但效率不高。CPU本質(zhì)上是通用設(shè)備，而并非專門針對(duì)深度學(xué)習(xí)的專業(yè)芯片，這就必然帶來一些天生的不足。打一個(gè)比方，用眾核芯片和GPU跑深度學(xué)習(xí)，就類似于用轎車去拉貨，受轎車自身特點(diǎn)的限制，貨物運(yùn)輸能力與真正大馬力、高負(fù)載的貨車有一定差距。

　　反之，處理雜亂無章的海量數(shù)據(jù)、操控復(fù)雜的機(jī)器需要“量身定制”的計(jì)算機(jī)硬件，即專用芯片。這正是Rao和Nervana正在嘗試的東西。如果他們成功了，英特爾也將會(huì)收獲果實(shí)。

　　沉迷“神經(jīng)網(wǎng)絡(luò)”的 Naveen Rao

　　穿著T恤和藍(lán)色牛仔褲的Rao有著運(yùn)動(dòng)員般的優(yōu)美體形。他是印度移民的孩子，在肯塔基州東部一個(gè)名叫Whitesburg的小鎮(zhèn)里長(zhǎng)大。在20世紀(jì)70年代末期，他的醫(yī)生父親驅(qū)車開上40分鐘的路程，將Rao和他的兄弟帶到一個(gè)無線電小木屋，在一臺(tái)落地式電腦上用Basic進(jìn)行編程。“我們家里那個(gè)時(shí)候還沒有電腦。”Rao說。

　　Rao在農(nóng)村度過了他的童年，他喜歡戶外玩耍和《龍與地下城》以及Asimov、Heinlein和Tolkien的小說。在此之后，Rao進(jìn)入了杜克大學(xué)(Duke University)。在那里，他被神經(jīng)網(wǎng)絡(luò)所吸引，因?yàn)樗私獾饺搜凼侨绾卧谝曈X物體上發(fā)現(xiàn)邊緣的。當(dāng)時(shí)的邊緣檢測(cè)技術(shù)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)前沿問題，有很多解決方案，包括神經(jīng)網(wǎng)絡(luò)。

　　他最初在硅谷Sun Microsystems從事計(jì)算機(jī)芯片的研發(fā)工作，卻仍然被神經(jīng)學(xué)所吸引。于是，他決定辭去電腦工程師這項(xiàng)工作，然后重返校園。他在神經(jīng)科學(xué)先驅(qū)John Donoghue的領(lǐng)導(dǎo)下獲得了Brown University (布朗大學(xué))的博士學(xué)位。

　　畢業(yè)后，他前往位于圣迭戈西部的芯片制造商高通(Qualcomm)，帶領(lǐng)團(tuán)隊(duì)進(jìn)行神經(jīng)網(wǎng)絡(luò)研究，旨在打造一個(gè)生物學(xué)啟發(fā)下的人工神經(jīng)網(wǎng)絡(luò)。(這個(gè)項(xiàng)目后來變成了 Zeroth AI，一個(gè)幫助公司用高通芯片打造深度學(xué)習(xí)系統(tǒng)的軟件平臺(tái)。)

　　Rao說，高通正在做有趣的工作。不過，當(dāng)公司拒絕將他的研究轉(zhuǎn)化為產(chǎn)品時(shí)，他決定成立自己的公司。在2014年，他創(chuàng)立了Nervana。不久之后，大公司就開始對(duì)它感興趣了。

　　Rao表示，當(dāng)英特爾發(fā)現(xiàn)另一家大型科技公司正在四處嗅探時(shí)，就迅速出手了。對(duì)于Rao來說這很好。最重要的是，他找到了一家在芯片制造方面表現(xiàn)優(yōu)異的公司。“The best at that is Intel”，他說。

　　分析師們贊同這一觀點(diǎn)。“他們擁有世界上最好的制造工廠。” Linley集團(tuán)創(chuàng)始人及長(zhǎng)期擔(dān)任半導(dǎo)體行業(yè)分析師的Linley Gwennap表示，“和英特爾一起，你可以使用英特爾的名義進(jìn)入市場(chǎng)，并利用英特爾的資源。”

　　絕地反擊：英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器

　　英特爾和Nervana正在提供一系列軟件工具，開發(fā)人員可以用來編寫深度學(xué)習(xí)程序。同樣重要的是，Nervana正在制作一款名為“Lake Crest”的神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)芯片——將由英特爾在年底前發(fā)布。

　　英特爾首個(gè)神經(jīng)網(wǎng)絡(luò)處理器揭開面紗，幕后推手是這位42歲的冒險(xiǎn)家英特爾 Nervana 神經(jīng)網(wǎng)絡(luò)處理器(NNP)系列芯片

　　關(guān)于這款芯片有了最新進(jìn)展。

　　在10月17日召開的WSJ D.Live大會(huì)上，英特爾正式發(fā)布了專為機(jī)器學(xué)習(xí)而設(shè)計(jì)的英特爾 Nervana 神經(jīng)網(wǎng)絡(luò)處理器(NNP)系列芯片，它是業(yè)內(nèi)第一個(gè)面向神經(jīng)網(wǎng)絡(luò)處理的芯片。

　　英特爾CEO科再奇隨后在官方博客發(fā)布公告稱：

　　當(dāng)我們將新一代AI硬件推向市場(chǎng)時(shí)，我們很高興Facebook能夠提供密切合作并共享其技術(shù)見解。

　　這款英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器將為各行各業(yè)帶來人工智能計(jì)算革命。利用英特爾Nervana技術(shù)，企業(yè)將能夠開發(fā)全新的人工智能應(yīng)用，以處理海量數(shù)據(jù)并讓客戶獲得更好的洞察，實(shí)現(xiàn)業(yè)務(wù)變革。

　　我們有更多英特爾Nervana產(chǎn)品正在推進(jìn)中，這些產(chǎn)品將提供更高的性能，并為AI模型提供更高可擴(kuò)展性能力， 這讓我們即將超越去年設(shè)定的目標(biāo)——即到2020年實(shí)現(xiàn)100倍的人工智能性能提升。

　　現(xiàn)任英特爾副總裁、人工智能產(chǎn)品部門總經(jīng)理Naveen Rao在一篇博客文章(文末附全文)中詳細(xì)介紹了這款新的芯片，他指出，經(jīng)過三年時(shí)間的開發(fā)，這個(gè)全新的Nervana神經(jīng)網(wǎng)絡(luò)處理器(Nervana Neural Network Processor)家族代號(hào)為“Lake Crest”，將大大提升深度學(xué)習(xí)的速度和計(jì)算效率。

　　很少有人否認(rèn)人工智能和機(jī)器學(xué)習(xí)的重要性，這已經(jīng)成為當(dāng)今發(fā)展最快的技術(shù)趨勢(shì)之一。英偉達(dá)因?yàn)樗腉PU芯片成為人工智能和機(jī)器學(xué)習(xí)的工作標(biāo)準(zhǔn)，從而在最近幾年迅速聲名鵲起。

　　英特爾也決定投身于這一趨勢(shì)前沿，將其作為鞏固在數(shù)據(jù)中心領(lǐng)域優(yōu)勢(shì)的戰(zhàn)略之一。這也解釋了為什么英特爾在過去18個(gè)月一直強(qiáng)調(diào)自己FPGA加速器的能力，這種加速器用于為英特爾專用計(jì)算芯片加速深度學(xué)習(xí)工作負(fù)載。

　　但是很多FPGA就會(huì)被Nervana神經(jīng)網(wǎng)絡(luò)處理器擠到一邊，后者提供了許多相同的速度和性能優(yōu)勢(shì)。這是因?yàn)檫@些芯片采用了一種新的內(nèi)存架構(gòu)，Rao稱這個(gè)架構(gòu)設(shè)計(jì)旨在最大限度提高處理速度。與以往的芯片不同，Nervana系列不帶有一個(gè)管理緩存層，而是采用軟件來管理片上內(nèi)存，以確定分配給不同的操作。

　　Rao表示，這個(gè)功能讓Nervana芯片能夠“實(shí)現(xiàn)新一代面向深度學(xué)習(xí)的計(jì)算密度和性能”。他解釋說，這個(gè)芯片具有一個(gè)簡(jiǎn)單的技巧就是所謂的“大規(guī)模雙向數(shù)據(jù)傳輸”，這使得多個(gè)處理器可以作為一個(gè)大型虛擬芯片，可以容納更大的AI模型，比以前更快地提供更好的洞察。

　　這個(gè)“家伙”可以幫住英特爾捕捉AI大潮嗎?

　　英特爾正在掀起收購(gòu)狂潮。在2016年，它收購(gòu)了Movidius，一家硅谷公司，該公司專門為包括無人機(jī)在內(nèi)的消費(fèi)設(shè)備制造智能視覺芯片。今年早些時(shí)候，它又豪擲153億美元收購(gòu)了Mobileye，這是一家為無人駕駛汽車生產(chǎn)攝像頭、芯片和軟件系統(tǒng)的以色列廠商。

　　它還與一家專門進(jìn)行針對(duì)特定應(yīng)用芯片定制的公司合作，并購(gòu)買了另一家生產(chǎn)可以根據(jù)當(dāng)前工作對(duì)其“固件”進(jìn)行重新編程的芯片的公司。

　　英特爾需要將所有這些融合在一起。當(dāng)英特爾收購(gòu)Nervana時(shí)，它認(rèn)為這家小公司是其進(jìn)軍人工智能的“基礎(chǔ)”。它讓Rao負(fù)責(zé)英特爾所有的人工智能工作，直接向英特爾的首席執(zhí)行官科再奇匯報(bào)。

　　但是，在文化和技術(shù)執(zhí)行方面，合并將是非常復(fù)雜微妙的一件事。分析師Gwennap表示，英特爾在初創(chuàng)企業(yè)收購(gòu)方面表現(xiàn)不佳(a poor record)。他指出，在蘋果推出iPhone之前，英特爾曾經(jīng)有一個(gè)無線設(shè)備芯片部門，該公司在2006年將其賣給了Marvell Technology Group。

　　為了嘗試糾正錯(cuò)誤，英特爾在2010年收購(gòu)了英飛凌科技公司的無線部門，但文化沖突和技術(shù)上的分歧讓英特爾脫離了手機(jī)游戲。諸如ARM Holdings(現(xiàn)在是SoftBank的一部分)之類比較靈活的公司輕松獲得了移動(dòng)芯片業(yè)務(wù)。

　　DFJ Venture Capital(Nervana的早期投資者)的Steve Jurvetson認(rèn)為，如果英特爾將讓Rao放手去做，他有可能幫助英特爾推動(dòng)文化變革。Jurvetson表示：

　　“Rao是一位多才多藝的人，他整合來自多個(gè)學(xué)科的思想的能力非常出色。”

　　“他有一種溫暖的教授般的氣度。”

　　“他喜歡教別人，并討論他們想法的可行性。但如果他認(rèn)為某件事不是個(gè)好主意，他可不會(huì)裹足不前。”

　　Rao坦言，他遇到了一些來自英特爾“老警衛(wèi)”的阻力，但是他相信這家公司已經(jīng)拋棄了“英特爾永遠(yuǎn)知道什么是最好的”這種觀念。他表示，收購(gòu)Nervana “并不是五年前的英特爾會(huì)做的事情。”

　　“ 這是一個(gè)開放的文化。我可以說，‘嗨，伙計(jì)們，你們沒明白。’”Rao說， 有時(shí)候，他會(huì)發(fā)現(xiàn)自己在會(huì)議中拍桌子。但他表示自己有信心，科再奇會(huì)支持他。

　　英特爾首個(gè)神經(jīng)網(wǎng)絡(luò)處理器揭開面紗，幕后推手是這位42歲的冒險(xiǎn)家Naveen Rao 現(xiàn)任英特爾副總裁兼人工智能產(chǎn)品部總經(jīng)理

　　附：Naveen Rao撰文

　　解讀英特爾神經(jīng)網(wǎng)絡(luò)處理器四大關(guān)鍵技術(shù)特征

　　正如英特爾首席執(zhí)行官科再奇今天早些時(shí)候在華爾街日?qǐng)?bào)的D.Live活動(dòng)中討論的那樣，英特爾將很快會(huì)出貨世界上第一批從頭至尾專為人工智能打造的系列處理器——英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器系列(以前稱為“Lake Crest”)。

　　這個(gè)處理器系列的研發(fā)已經(jīng)有3年多的時(shí)間，作為開發(fā)團(tuán)隊(duì)的代表，我想分享一下這一世界第一款神經(jīng)網(wǎng)絡(luò)處理器背后的動(dòng)機(jī)和設(shè)計(jì)的初衷。

　　深度學(xué)習(xí)的計(jì)算需求要求對(duì)圍繞支持AI計(jì)算的硬件有一些新的思維。為此，我們?cè)O(shè)計(jì)了一個(gè)名為“英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器(英特爾Nervana NNP)”的深度學(xué)習(xí)新芯片。

　　英特爾Nervana NNP是專為深度學(xué)習(xí)設(shè)計(jì)的架構(gòu)。這種新架構(gòu)的目標(biāo)是提供深度學(xué)習(xí)所需的靈活性，以支持所有深度學(xué)習(xí)元語(yǔ)(primitives)，同時(shí)使核心硬件組件盡可能高效。

　　我們?cè)O(shè)計(jì)了英特爾Nervana NNP，使我們免受現(xiàn)有硬件的限制，因?yàn)檫@些硬件并不是明確設(shè)計(jì)為AI的。

　　1、新的內(nèi)存架構(gòu)旨在最大限度地提高硅計(jì)算的利用率

　　矩陣乘法和卷積是深度學(xué)習(xí)核心的一些重要原語(yǔ)。這些計(jì)算與通用的工作負(fù)載不同，因?yàn)椴僮骱蛿?shù)據(jù)移動(dòng)在很大程度上是先天知道的。因此，英特爾Nervana NNP沒有標(biāo)準(zhǔn)的緩存層次結(jié)構(gòu)，片上存儲(chǔ)器是由軟件直接管理的。更好的內(nèi)存管理使芯片能夠在每個(gè)裸片上實(shí)現(xiàn)大量計(jì)算的高水平利用，這意味著深度學(xué)習(xí)模型訓(xùn)練可以更快地完成。

　　2、實(shí)現(xiàn)AI模型可擴(kuò)展性的新水平

　　采用高速片上和片外互連設(shè)計(jì)，Intel Nervana NNP可實(shí)現(xiàn)大量雙向數(shù)據(jù)傳輸。一個(gè)具體的設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)真正的模型并行性，其中神經(jīng)網(wǎng)絡(luò)參數(shù)分布在多個(gè)芯片上。這使得多個(gè)芯片充當(dāng)一個(gè)可以容納更大型號(hào)的大型虛擬芯片，從而允許客戶從其數(shù)據(jù)中獲取更多洞察力。

　　3、高度數(shù)值并行性：Flexpoint

　　單個(gè)芯片上的神經(jīng)網(wǎng)絡(luò)計(jì)算主要受電源和存儲(chǔ)器帶寬的限制。為了實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)工作負(fù)載的更高的吞吐量，除了上述內(nèi)存創(chuàng)新之外，我們還發(fā)明了一種名為Flexpoint的新數(shù)字格式。 Flexpoint允許將標(biāo)量計(jì)算實(shí)現(xiàn)為定點(diǎn)乘法和加法，同時(shí)允許使用共享指數(shù)的較大動(dòng)態(tài)范圍。由于每個(gè)電路較小，這導(dǎo)致了芯片上的并行性的大幅度增加，同時(shí)降低了每次計(jì)算的功率。

　　4、性能

　　當(dāng)下的AI革命實(shí)際上是計(jì)算上的演進(jìn)。自集成電路的發(fā)明以來，英特爾一直是推進(jìn)計(jì)算極限的核心。我們擁有行業(yè)和研究方面的早期合作伙伴，他們正在與我們一起走在這個(gè)旅程中，共同促成第一個(gè)商業(yè)神經(jīng)網(wǎng)絡(luò)處理器，并對(duì)各行各業(yè)都產(chǎn)生積極的影響。我們有一個(gè)產(chǎn)品路線圖，能讓我們超過了我們?nèi)ツ暝O(shè)定的目標(biāo)，在2020年，將深度學(xué)習(xí)訓(xùn)練的性能提升100倍。