解析谷歌大腦的深度學(xué)習(xí)及TensorFlow的前世今生

編者網(wǎng)按：本文是Google Brain負(fù)責(zé)人Jeff Dean在硅谷人工智能前沿論壇AI FronTIers的演講。

在深度學(xué)習(xí)的歷史上，神經(jīng)網(wǎng)絡(luò)的方法在1980-1990年之后開始明顯地發(fā)揮效力，在數(shù)據(jù)量、計算力的推動下，用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法使得我們在研究和開發(fā)上獲得了比其它方法更高的準(zhǔn)確率（在圖像、語音等領(lǐng)域）。在2011年之前，深度學(xué)習(xí)的方法能達(dá)到的圖像誤識率都是26%，而在今天這個數(shù)字超過了人類的誤識率（5%），達(dá)到了3%。在Google今天的產(chǎn)品線中深度學(xué)習(xí)的方法使用非常廣泛，包括Android平臺、各類App中、藥物研究、Gmail等等。

Google Brain團隊目前有什么樣的成果：
在研究方面，有27個paper在各種頂級會議中發(fā)表；

推動Google搜索、廣告、相冊、翻譯、Gmail等產(chǎn)品線的整合優(yōu)化；

發(fā)布TensorFlow等在社區(qū)中高度流行的開源工具。

談到TensorFlow的開發(fā)，我們最初的出發(fā)點是需要創(chuàng)建一個合適的深度學(xué)習(xí)工具。

這個工具需要滿足下面的幾個條件：
1. 適合于機器學(xué)習(xí)思考和算法的表達(dá)；
2. 運行效率高，能夠快速地試驗想法；
3. 兼容性好，實驗?zāi)茉诓煌脚_上運行；
4. 可在不同環(huán)境下分享和重現(xiàn)研究的問題；
5. 適合產(chǎn)品化：能很快從研究階段過渡到產(chǎn)品應(yīng)用階段；

總結(jié)一下TF的目標(biāo)就是建立一個針對機器學(xué)習(xí)方面的思考快速實驗的通用系統(tǒng)，并且確保這個系統(tǒng)既是針對研究也是對產(chǎn)品化最好的系統(tǒng)。最后，這個系統(tǒng)不僅是Google的，而且開源的，屬于平臺上每一個人。

在2015年11月9日，我們發(fā)布了TensorFlow的最初版本，而目前我們已經(jīng)取得了這樣的成果：
1. TF當(dāng)前有500+的代碼貢獻(xiàn)者；
2. 從發(fā)布至今，一共有12000次+的代碼提交；
3. 100萬以上的代碼庫下載；
4. 大量的學(xué)校和商業(yè)機構(gòu)將他們的研究和開發(fā)工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。

我們在軟硬件平臺的支持上也不斷更新。數(shù)據(jù)顯示，我們已經(jīng)是GitHub上最受到歡迎的深度學(xué)習(xí)工具。

深度學(xué)習(xí)在Google產(chǎn)生了哪些重要的影響？

在語音識別上，我們推動詞語識別的錯誤率降低了至少30%；

深度卷積神經(jīng)網(wǎng)絡(luò)使得直接對未標(biāo)記的照片進(jìn)行搜索成為可能；

我們用深度學(xué)習(xí)的方法，在街景照片中抓取識別文字；

同樣用深度學(xué)習(xí)的方法，在衛(wèi)星俯瞰圖中檢索太陽能的屋頂；

在醫(yī)療影像中，使用視網(wǎng)膜影像進(jìn)行糖尿病的診斷；

機器人們現(xiàn)在能通過機器學(xué)習(xí)的方法進(jìn)行環(huán)境和語義理解；

RankBrian甚至被用于Google搜索中的排名優(yōu)化；

在Inbox中，我們通過語義分析自動化地推薦可能的回復(fù)結(jié)果，當(dāng)前Inbox中10%的回復(fù)都是通過推薦生成發(fā)送的；

在機器學(xué)習(xí)的其它方面：
在過去很的的模型都是從零開始訓(xùn)練獲得的，這是非常低效的。我們專門針對深度學(xué)習(xí)設(shè)計的硬件的TPU，將在未來20個月后進(jìn)入大規(guī)模量產(chǎn)的階段。

在我們的設(shè)想里，未來的搜索請求可能是這樣的：請幫我查找所有關(guān)于深度學(xué)習(xí)和機器人的文獻(xiàn)，并用德文總結(jié)出來。

我認(rèn)為未來3 - 5年內(nèi)，通過語音識別、語義理解的發(fā)展，機器人/自動駕駛汽車將會變得產(chǎn)業(yè)內(nèi)非常重要的領(lǐng)域。

PS：附PPT+文字版本。

在深度學(xué)習(xí)的歷史上，神經(jīng)網(wǎng)絡(luò)的方法在1980-1990年之后開始明顯地發(fā)揮效力，在數(shù)據(jù)量、計算力的推動下，用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法使得我們在研究和開發(fā)上獲得了比其它方法更高的準(zhǔn)確率（在圖像、語音等領(lǐng)域）。

在2011年之前，深度學(xué)習(xí)的方法能達(dá)到的圖像誤識率都是26%，而在今天這個數(shù)字超過了人類的誤識率（5%），達(dá)到了3%。

Google Brain團隊目前有什么樣的成果：

在研究方面，有27個paper在各種頂級會議中發(fā)表；

推動Google搜索、廣告、相冊、翻譯、Gmail等產(chǎn)品線的整合優(yōu)化；

發(fā)布TensorFlow等在社區(qū)中高度流行的開源工具。談到TensorFlow的開發(fā)，我們最初的出發(fā)點是需要創(chuàng)建一個合適的深度學(xué)習(xí)工具。

這個工具需要滿足下面的幾個條件：

適合于機器學(xué)習(xí)思考和算法的表達(dá)；

運行效率高，能夠快速地試驗想法；

兼容性好，實驗?zāi)茉诓煌脚_上運行；

可在不同環(huán)境下分享和重現(xiàn)研究的問題；

適合產(chǎn)品化：能很快從研究階段過渡到產(chǎn)品應(yīng)用階段；

總結(jié)一下TF的目標(biāo)就是建立一個針對機器學(xué)習(xí)方面的思考快速實驗的通用系統(tǒng)，并且確保這個系統(tǒng)既是針對研究也是對產(chǎn)品化最好的系統(tǒng)。最后，這個系統(tǒng)不僅是Google的，而且開源的，屬于平臺上每一個人。

在2015年11月9日，我們發(fā)布了TensorFlow的最初版本，而目前我們已經(jīng)取得了這樣的成果：
TF當(dāng)前有500+的代碼貢獻(xiàn)者；

從發(fā)布至今，一共有12000次+的代碼提交；

100萬以上的代碼庫下載；

大量的學(xué)校和商業(yè)機構(gòu)將他們的研究和開發(fā)工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。

我們在軟硬件平臺的支持上也不斷更新。數(shù)據(jù)顯示，我們已經(jīng)是GitHub上最受到歡迎的深度學(xué)習(xí)工具。

深度學(xué)習(xí)在Google產(chǎn)生了哪些重要的影響？

在語音識別上，我們推動詞語識別的錯誤率降低了至少30%；

深度卷積神經(jīng)網(wǎng)絡(luò)使得直接對未標(biāo)記的照片進(jìn)行搜索成為可能；

我們用深度學(xué)習(xí)的方法，在街景照片中抓取識別文字；

同樣用深度學(xué)習(xí)的方法，在衛(wèi)星俯瞰圖中檢索太陽能的屋頂；

在醫(yī)療影像中，使用視網(wǎng)膜影像進(jìn)行糖尿病的診斷；

機器人們現(xiàn)在能通過機器學(xué)習(xí)的方法進(jìn)行環(huán)境和語義理解；RankBrian甚至被用于Google搜索中的排名優(yōu)化；

在Inbox中，我們通過語義分析自動化地推薦可能的回復(fù)結(jié)果，當(dāng)前Inbox中10%的回復(fù)都是通過推薦生成發(fā)送的；

在機器學(xué)習(xí)的其它方面：
在過去很的的模型都是從零開始訓(xùn)練獲得的，這是非常低效的。我們希望通過xxx的方法來解決這個問題；我們的TPU將在，20個月之后進(jìn)入大規(guī)模量產(chǎn)的階段。

在我們的設(shè)想里，未來的搜索請求可能是這樣的：請幫我查找所有關(guān)于深度學(xué)習(xí)和機器人的文獻(xiàn)，并用德文總結(jié)出來。

我認(rèn)為未來3 - 5年內(nèi)，通過語音識別、語義理解的發(fā)展，機器人/自動駕駛汽車將會變得產(chǎn)業(yè)內(nèi)非常重要的領(lǐng)域。