Gradient Vanishing
What？
梯度消失（Gradient Vanishing）是什麼？
梯度消失是深度學習中的一個常見問題，特別是在訓練深層神經網路時經常發生。簡單來說，就是當網路的層數越來越多時，反向傳播過程中計算的梯度會逐漸變得非常小，甚至接近於零。這會導致模型參數更新非常慢，最終使得訓練難以收斂。
實務上，你可以把梯度想像成一個指引模型優化方向的指南針。如果指南針的指針幾乎不動（梯度接近零），那麼模型就很難知道該怎麼改進自己。
Who？
誰會使用、誰會受影響？
-
使用者： 梯度消失主要影響的是深度學習工程師與研究員，特別是那些需要設計或訓練多層神經網路（如 RNN、LSTM、DNN 等）的技術工作者。
-
受影響者： 任何需要處理大規模資料並依賴深層網路進行預測或分類的應用都可能受到影響，例如語音辨識、自然語言處理（NLP）、Computer Vision等領域。
When？
什麼時間點會用到或遇到梯度消失？
-
當你在設計 Deep Neural Network（Deep Neural Networks, DNN） 時，如果層數超過一定數量，例如 10 層以上，就可能開始觀察到這個問題。
-
在使用 Activation Function（Activation Function） 時，例如 Sigmoid 或 tanh，這些函數會將輸出壓縮到小範圍內，進而放大梯度消失的風險。
-
訓練長序列資料的時候，例如在 RNN 或 LSTM 中處理語音訊號或文本時，也經常碰到這個現象。
Where？
它出現在架構哪個部分？
梯度消失問題主要發生在以下兩個階段：
-
Back Propagation算法（Backpropagation Algorithm）中： 當從輸出層往輸入層逐步傳遞誤差信號時，各層之間的權重更新依賴於前一層提供的梯度。然而，由於連續相乘的小量值，導致梯度越往早期層回傳就越小。
-
激活函數內部： 某些激活函數（如 Sigmoid 和 tanh）的微分值在飽和區域非常接近零，使得它們放大了這種現象。
Why？
為什麼需要解決這個問題？
如果不解決梯度消失問題，你可能面臨以下困擾：
-
無法有效訓練早期層： 網路中靠近輸入端的權重幾乎無法被更新，導致模型無法充分學習特徵。
-
模型性能下降： 即使有足夠多的資料和計算資源，由於訓練過程無法收斂，你仍然可能獲得性能較差的結果。
-
浪費資源： 訓練深層網路本身就需要大量運算資源，如果由於梯度消失而使訓練效率低下，那等同於浪費了大量時間與成本。
舉例來說，如果你正在開發一個圖像分類模型，但由於早期捲積層沒有學到足夠好的邊界檢測特徵，那麼最終分類準確率將大打折扣。
How？
🛠️ 建立階段
要減少或避免梯度消失問題，可以採取以下策略：
-
選擇合適的激活函數：
- 將 Sigmoid 或 tanh 替換為 ReLU 或其變體（如 Leaky ReLU、Parametric ReLU）。
- ReLU 的優勢在於它對正值區域提供了非零梯度，因此能有效減少小量值連續相乘造成的影響。
-
初始化權重：
- 使用更好的權重初始化方法，如 Xavier Initialization 或 He Initialization，以確保初始權重分布適當，不會讓某些單元陷入「死區」。
-
正則化技巧：
- 使用 Batch Normalization （BN）來對每一批資料進行標準化，有助於穩定各層之間的輸入分佈並減輕梯度消失問題。
-
改變架構設計：
- 採用殘差網路（Residual Network, ResNet），透過引入跳躍連接（Skip Connection），讓原始輸入可以直接傳遞至後面的層，以避免訊號因逐步累積損耗而衰減。
🔍 查詢階段
在查詢階段，我們不再進行參數更新，因此不直接受到「梯度消失」本身的影響。但查詢效率仍然取決於建立階段是否成功解決該問題。例如，如果你的模型因為訓練不佳導致性能低下，那麼查詢結果也可能是不準確或延遲表現欠佳。
補充說明
📌 範例比較
以下是不同方法效果比較：
| 方法 | 訓練速度 | 模型表現 |
|---|---|---|
| 使用 Sigmoid 函數 | 慢 | 欠佳 |
| 替換為 ReLU | 快速 | 表現良好 |
| 引入 Batch Normalization | 更快 | 穩定且高效 |
🧠 延伸／常見誤解
-
誤解：「所有激活函數都會造成梯度消失。」
- 並非如此。像 ReLU 和其變體通常能有效減輕此問題，但要注意死亡 ReLU 問題，即某些神經元永遠產生零輸出，此時可改用 Leaky ReLU 等修正版本。
-
誤解：「只要加更多資料，就能克服。」
- 資料量雖然重要，但如果基礎架構設計缺陷未解決，即使有再多資料也無法彌補性能損耗。例如，在極端情況下所有早期參數都沒被更新，再多資料也無濟於事。
-
延伸應用：「殘差網路是否只能用在圖像分類？」
- 殘差結構已被廣泛應用在 NLP 與其他領域，例如 Transformers 模型中的殘差塊。