原創(chuàng) | 讓你捷足先登的深度學習框架

對于據(jù)科學的初學者來說，利用開源的深度學習框架，可以大幅度簡化復雜的大規(guī)模度學習模型的實現(xiàn)過程。在深度學習框架下構建模型，無需花費幾天或幾周的時間從頭開始編寫代碼，便可以輕松實現(xiàn)諸如卷積神經(jīng)網(wǎng)絡這樣復雜的模型。在本文中，將介紹幾種非常有用的深度學習框架、它們的優(yōu)點以及應用，通過對每個框架進行比較，研發(fā)人員了解如何有選擇地使用它們，高效快捷完成項目任務。

1. 深度學習框架概述

深度學習框架是一種界面、庫或工具，它使編程人員在無需深入了解底層算法的細節(jié)的情況下，能夠更容易、更快速地構建深度學習模型。深度學習框架利用預先構建和優(yōu)化好的組件集合定義模型，為模型的實現(xiàn)提供了一種清晰而簡潔的方法。

利用恰當?shù)目蚣芸梢钥焖贅嫿Ｐ停鵁o需編寫數(shù)百行代碼，一個良好的深度學習框架具備以下關鍵特征：

• 優(yōu)化的性能

• 易于理解和編碼

• 良好的社區(qū)支持，

• 并行化的進程，以減少計算

• 自動計算梯度

這五點也是用來挑選五大頂級深度學習框架的首選標準。

2. PyTorch

PyTorch是Torch深度學習框架的一個接口，可用于建立深度神經(jīng)網(wǎng)絡和執(zhí)行張量計算。Torch是一個基于Lua的框架，而PyTorch則運行在Python上。

PyTorch是一個Python包，它提供張量計算。張量是多維數(shù)組，就像numpy的ndarray一樣，它也可以在GPU上運行。PyTorch使用動態(tài)計算圖，PyTorch的Autograd軟件包從張量生成計算圖，并自動計算梯度。

與特定功能的預定義的圖表不同，PyTorch提供了一個框架，用于在運行時構建計算圖形，甚至在運行時也可以對這些圖形進行更改。當不知道創(chuàng)建神經(jīng)網(wǎng)絡需要多少內存的情況下，這個功能便很有價值。

PyTorch靈活性大，可以使用PyTorch處理各種深度學習的任務，包括但不局限于：

• 影像（檢測、分類等）

• 文本(自然語言學習)

• 增強學習

3. JAX

谷歌最新推出的JAX，官方定義為CPU、GPU和TPU上的NumPy。它具有出色的自動微分（differentiation）功能，是可用于高性能機器學習研究的python庫。Numpy在科學計算領域十分普及，但是在深度學習領域，由于它不支持自動微分和GPU加速，所以更多的是使用Tensorflow或Pytorch這樣的深度學習框架。

JAX使用 XLA 在諸如GPU和TPU的加速器上編譯和運行NumPy。它與 NumPy API 非常相似， numpy 完成的事情幾乎都可以用 jax.numpy 完成。

XLA是TensorFlow底層做JIT編譯優(yōu)化的工具，XLA可以對計算圖做算子Fusion，將多個GPU Kernel合并成少量的GPU Kernel，用以減少調用次數(shù)，可以大量節(jié)省GPU Memory IO時間。Jax本身并沒有重新做執(zhí)行引擎層面的東西，而是直接復用TensorFlow中的XLA Backend進行靜態(tài)編譯,以此實現(xiàn)加速。

JAX在偏微分方程求解問題上的表現(xiàn)尤為突出，研究人員試了試分別在PyTorch和JAX兩種框架上運行幾種預訓練模型，發(fā)現(xiàn)JAX的速度大約是PyTorch的6倍。JAX在以分子動力學為代表的科學計算領域的巨大潛力。

4. TensorFlow

TensorFlow由谷歌大腦團隊的研究人員和工程師研發(fā)，它是深度學習領域中最常用的框架。

TensorFlow之所以流行的原因有兩點：首先，它是完全開源的，并且有出色的社區(qū)支持。TensorFlow為大多數(shù)復雜的深度學習模型預先編寫好了代碼，比如遞歸神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡，其次，它支持多種語言來創(chuàng)建深度學習模型，比如Python語言、C語言和R語言等，并且有不錯的文檔和指南支持。

TensorFlow有許多組件，其中最為突出的是：

• Tensorboard：幫助使用數(shù)據(jù)流圖進行有效的數(shù)據(jù)可視化；

• TensorFlow：用于快速部署新算法/試驗。

TensorFlow的架構靈活，能夠在一個或多個CPU(以及GPU)上部署深度學習模型，典行的TensorFlow應用場景如下：

• 基于文本的應用：語言檢測、文本摘要

• 圖像識別：圖像字幕、人臉識別、目標檢測

• 聲音識別

• 時間序列分析

• 視頻分析

5. Keras

Keras用Python編寫，可以在TensorFlow(以及CNTK和Theano)之上運行。TensorFlow的接口是一個低級庫，新用戶可能會很難理解某些實現(xiàn)。

而Keras是一個高層的API，它為快速實驗而開發(fā)。因此，如果希望獲得快速結果，Keras會自動處理核心任務并生成輸出。Keras支持卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡，可以在CPU和GPU上無縫運行。

深度學習的初學者經(jīng)常會抱怨：無法正確理解復雜的模型。如果你是這樣的用戶，Keras便是正確選擇！它的目標是最小化用戶操作，并使其模型真正容易理解。

Keras有多種架構，用于解決各種各樣的問題，其中最為典型的應用是圖像分類！

6. Caffe

CAFE是另一個面向圖像處理領域的、比較流行的深度學習框架，它是由賈陽青（Yangqing Jia）在加利福尼亞伯克利大學讀博士期間開發(fā)的，它也是開源的！

雖然Caffe對遞歸網(wǎng)絡和語言建模的支持不如前面所述的幾個框架。但是Caffe最突出的優(yōu)點是：只需單個NVIDIA K40 GPU，它便可以每天處理超過六千萬張圖像，其中 1毫秒/圖像用于推理，4毫秒/圖像用于學習。

它為C、Python、MATLAB等接口以及傳統(tǒng)的命令行提供了支持。

通過Caffe Model Zoo框架可訪問用于解決深度學習問題的預訓練網(wǎng)絡、模型和權重。這些模型可完成下述任務：

1) 簡單的遞歸

2) 大規(guī)模視覺分類

3) 用于圖像相似性的SiameSE網(wǎng)絡

4) 語音和機器人應用

7. Deeplearning4j

對于Java程序員來說，Deeplearning4j理想的深度學習框架！

Deeplearning4j用Java實現(xiàn)，與Python相比效率更高。它使用稱為ND4J的張量庫，提供了處理n維數(shù)組(也稱為張量)的能力。該框架還支持CPU和GPU。

Deeplearning4j將加載數(shù)據(jù)和訓練算法的任務作為單獨的過程處理，這種功能分離提供了很大的靈活性。這成為了它的突出優(yōu)點。！

Deeplearning4j適用于圖像、CSV 和純文本等不同的數(shù)據(jù)類型。

可以使用Deeplearning4j構建的深度學習模型有：

1) 卷積神經(jīng)網(wǎng)絡(CNNs)

2) 遞歸神經(jīng)網(wǎng)絡(RNNs)

3) 長短時記憶(LSTM)等多種結構.

8. 深度學習框架之間的對比

上面已經(jīng)討論了六種較為流行的深度學習框架，每一種都獨具特性，那么數(shù)據(jù)科學家會從中如何做出選擇？

當接到一個新的項目時，如何決定采用哪個框架？為此，需要了解每個框架的優(yōu)點和局限性。如果選對了正確的框架，會起到事半功倍的效果。某些框架在處理圖像數(shù)據(jù)時工作得非常好，但無法解析文本數(shù)據(jù)；某些框架在處理圖像和文本數(shù)據(jù)時，性能很好，但是它們的內部工作原理很難理解。

在本節(jié)中，使用以下標準比較上述深度學習框架：

1) 社區(qū)支持力度

2) 使用的語言

3) 接口

4) 對預訓練的模型的支持

所有這些框架都是開源的，支持CUDA，并有預訓練的模型。但是，應該如何正確開始，應該選擇哪個框架來構建（初始）深度學習模型？讓我們來做詳細的討論！

先來說說TensortFlow。TensorFlow能處理圖像以及基于序列的數(shù)據(jù)，如果你是深度學習的初學者，或者對線性代數(shù)和微積分等數(shù)學概念沒有堅實的基礎，那么TensortFlow的學習曲線將會十分陡峭。對于剛起步的人來說，TensorFlow可能過于復雜。建議需要不斷練習，不斷探索社區(qū)，并繼續(xù)閱讀文章以掌握TensorFlow的訣竅。一旦對這個框架有了一個很好的理解，實現(xiàn)一個深度學習模型對你來說將是易如反掌。

Keras是一個非常堅實的框架，可以開啟深度學習之旅。如果你熟悉Python，并且沒有進行一些高級研究或開發(fā)某種特殊的神經(jīng)網(wǎng)絡，那么Keras適合你。如果有一個與圖像分類或序列模型相關的項目，可以從Keras開始，很快便可以構建出一個工作模型。Keras也集成在TensorFlow中，因此也可以使用tf.keras.構建模型。

在圖像數(shù)據(jù)上構建深度學習模型時，Caffe是不錯的選擇。但是，當用到遞歸神經(jīng)網(wǎng)絡和語言模型時，Caffe落后于其他框架。Caffe的主要優(yōu)點是，即使沒有強大的機器學習或微積分知識，也可以構建出深度學習模型。Caffe主要用于建立和部署移動電話和其他計算受限平臺的深度學習模型。

正如前文所述，DeepleEarning4J是Java程序員的天堂，它為CNNS、RNN和LSTMS等不同的神經(jīng)網(wǎng)絡提供了大量的支持，在不犧牲速度的情況下它可以處理大量數(shù)據(jù)。