解析谷歌大腦的深度學習及TensorFlow的前世今生

編者網按：本文是Google Brain負責人Jeff Dean在硅谷人工智能前沿論壇AI FronTIers的演講。

在深度學習的歷史上，神經網絡的方法在1980-1990年之后開始明顯地發(fā)揮效力，在數據量、計算力的推動下，用深度學習神經網絡的方法使得我們在研究和開發(fā)上獲得了比其它方法更高的準確率（在圖像、語音等領域）。在2011年之前，深度學習的方法能達到的圖像誤識率都是26%，而在今天這個數字超過了人類的誤識率（5%），達到了3%。在Google今天的產品線中深度學習的方法使用非常廣泛，包括Android平臺、各類App中、藥物研究、Gmail等等。

Google Brain團隊目前有什么樣的成果：
在研究方面，有27個paper在各種頂級會議中發(fā)表；

推動Google搜索、廣告、相冊、翻譯、Gmail等產品線的整合優(yōu)化；

發(fā)布TensorFlow等在社區(qū)中高度流行的開源工具。

談到TensorFlow的開發(fā)，我們最初的出發(fā)點是需要創(chuàng)建一個合適的深度學習工具。

這個工具需要滿足下面的幾個條件：
1. 適合于機器學習思考和算法的表達；
2. 運行效率高，能夠快速地試驗想法；
3. 兼容性好，實驗能在不同平臺上運行；
4. 可在不同環(huán)境下分享和重現研究的問題；
5. 適合產品化：能很快從研究階段過渡到產品應用階段；

總結一下TF的目標就是建立一個針對機器學習方面的思考快速實驗的通用系統(tǒng)，并且確保這個系統(tǒng)既是針對研究也是對產品化最好的系統(tǒng)。最后，這個系統(tǒng)不僅是Google的，而且開源的，屬于平臺上每一個人。

在2015年11月9日，我們發(fā)布了TensorFlow的最初版本，而目前我們已經取得了這樣的成果：
1. TF當前有500+的代碼貢獻者；
2. 從發(fā)布至今，一共有12000次+的代碼提交；
3. 100萬以上的代碼庫下載；
4. 大量的學校和商業(yè)機構將他們的研究和開發(fā)工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。

我們在軟硬件平臺的支持上也不斷更新。數據顯示，我們已經是GitHub上最受到歡迎的深度學習工具。

深度學習在Google產生了哪些重要的影響？

在語音識別上，我們推動詞語識別的錯誤率降低了至少30%；

深度卷積神經網絡使得直接對未標記的照片進行搜索成為可能；

我們用深度學習的方法，在街景照片中抓取識別文字；

同樣用深度學習的方法，在衛(wèi)星俯瞰圖中檢索太陽能的屋頂；

在醫(yī)療影像中，使用視網膜影像進行糖尿病的診斷；

機器人們現在能通過機器學習的方法進行環(huán)境和語義理解；

RankBrian甚至被用于Google搜索中的排名優(yōu)化；

在Inbox中，我們通過語義分析自動化地推薦可能的回復結果，當前Inbox中10%的回復都是通過推薦生成發(fā)送的；

在機器學習的其它方面：
在過去很的的模型都是從零開始訓練獲得的，這是非常低效的。我們專門針對深度學習設計的硬件的TPU，將在未來20個月后進入大規(guī)模量產的階段。

在我們的設想里，未來的搜索請求可能是這樣的：請幫我查找所有關于深度學習和機器人的文獻，并用德文總結出來。

我認為未來3 - 5年內，通過語音識別、語義理解的發(fā)展，機器人/自動駕駛汽車將會變得產業(yè)內非常重要的領域。

PS：附PPT+文字版本。

在深度學習的歷史上，神經網絡的方法在1980-1990年之后開始明顯地發(fā)揮效力，在數據量、計算力的推動下，用深度學習神經網絡的方法使得我們在研究和開發(fā)上獲得了比其它方法更高的準確率（在圖像、語音等領域）。

在2011年之前，深度學習的方法能達到的圖像誤識率都是26%，而在今天這個數字超過了人類的誤識率（5%），達到了3%。

Google Brain團隊目前有什么樣的成果：

在研究方面，有27個paper在各種頂級會議中發(fā)表；

推動Google搜索、廣告、相冊、翻譯、Gmail等產品線的整合優(yōu)化；

發(fā)布TensorFlow等在社區(qū)中高度流行的開源工具。談到TensorFlow的開發(fā)，我們最初的出發(fā)點是需要創(chuàng)建一個合適的深度學習工具。

這個工具需要滿足下面的幾個條件：

適合于機器學習思考和算法的表達；

運行效率高，能夠快速地試驗想法；

兼容性好，實驗能在不同平臺上運行；

可在不同環(huán)境下分享和重現研究的問題；

適合產品化：能很快從研究階段過渡到產品應用階段；

總結一下TF的目標就是建立一個針對機器學習方面的思考快速實驗的通用系統(tǒng)，并且確保這個系統(tǒng)既是針對研究也是對產品化最好的系統(tǒng)。最后，這個系統(tǒng)不僅是Google的，而且開源的，屬于平臺上每一個人。

在2015年11月9日，我們發(fā)布了TensorFlow的最初版本，而目前我們已經取得了這樣的成果：
TF當前有500+的代碼貢獻者；

從發(fā)布至今，一共有12000次+的代碼提交；

100萬以上的代碼庫下載；

大量的學校和商業(yè)機構將他們的研究和開發(fā)工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。

我們在軟硬件平臺的支持上也不斷更新。數據顯示，我們已經是GitHub上最受到歡迎的深度學習工具。

深度學習在Google產生了哪些重要的影響？

在語音識別上，我們推動詞語識別的錯誤率降低了至少30%；

深度卷積神經網絡使得直接對未標記的照片進行搜索成為可能；

我們用深度學習的方法，在街景照片中抓取識別文字；

同樣用深度學習的方法，在衛(wèi)星俯瞰圖中檢索太陽能的屋頂；

在醫(yī)療影像中，使用視網膜影像進行糖尿病的診斷；

機器人們現在能通過機器學習的方法進行環(huán)境和語義理解；RankBrian甚至被用于Google搜索中的排名優(yōu)化；

在Inbox中，我們通過語義分析自動化地推薦可能的回復結果，當前Inbox中10%的回復都是通過推薦生成發(fā)送的；

在機器學習的其它方面：
在過去很的的模型都是從零開始訓練獲得的，這是非常低效的。我們希望通過xxx的方法來解決這個問題；我們的TPU將在，20個月之后進入大規(guī)模量產的階段。

在我們的設想里，未來的搜索請求可能是這樣的：請幫我查找所有關于深度學習和機器人的文獻，并用德文總結出來。

我認為未來3 - 5年內，通過語音識別、語義理解的發(fā)展，機器人/自動駕駛汽車將會變得產業(yè)內非常重要的領域。