卷積神經(jīng)網(wǎng)絡性能優(yōu)化

來源：AI蝸牛車、極市平臺

來源｜https://zhuanlan.zhihu.com/p/80361782

卷積（Convolution）是神經(jīng)網(wǎng)絡的核心計算之一，它在計算機視覺方面的突破性進展引領了深度學習的熱潮。卷積的變種豐富，計算復雜，神經(jīng)網(wǎng)絡運行時大部分時間都耗費在計算卷積，網(wǎng)絡模型的發(fā)展在不斷增加網(wǎng)絡的深度，因此優(yōu)化卷積計算就顯得尤為重要。
隨著技術的發(fā)展，研究人員提出了多種優(yōu)化算法，包括 Im2col、Winograd 等等。本文首先定義卷積神經(jīng)網(wǎng)絡的概念，繼而簡要介紹幾種常見的優(yōu)化方法，并討論作者在該領域的一些經(jīng)驗。

• 大部分時間都耗費在計算卷積鏈接：https://arxiv.org/abs/1807.11164
• Im2col 鏈接：https://www.mathworks.com/help/images/ref/im2col.html
• Winograd 鏈接：https://www.intel.ai/winograd/#gs.avmb0n

卷積神經(jīng)網(wǎng)絡（Convolution Neural Networks, CNN）的概念拓展自信號處理領域的卷積。信號處理的卷積定義為
 (1)
由于對稱性 卷積計算在直覺上不易理解，其可視化后如圖一所示。圖中紅色滑塊在移動過程中與藍色方塊的積繪制成的三角圖案即為卷積結果 (

*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯(lián)系工作人員刪除。