卷積神經網絡(CNN/deep learning) 的一些技巧總結如下

 

1. 使用卷積層極大地減小了全連接層中的參數的數目，使學習的問題更容易
2. 使用更多強有力的規範化技術（尤其是棄權和卷積）來減小過度擬合，
3. 使用修正線性單元而不是S型神經元，來加速訓練-依據經驗，通常是3-5倍，
4. 使用GPU來計算
5. 利用充分大的數據集，避免過擬合
6. 使用正確的代價函數，避免學習減速
7. 使用好的權重初始化，避免因為神經元飽和引起的學習減速