Recurrent Neural Network

What？

RNN（Recurrent Neural Network）是一種能夠處理序列資料的人工神經網路模型，擅長分析具有時序性或上下文關聯的資料。簡單來說， RNN 的特殊之處在於它具有「記憶」能力，可以將之前的輸入狀態帶入到當下的運算中。

舉例來說，在自然語言處理（Natural Language Processing, NLP）中，分析一段文字時，我們需要了解前後句子的語意關聯。 RNN 就能幫助模型記住前面的文字資訊，用以輔助後續的判斷。類似地，在時間序列分析中，比如股票價格預測， RNN 能利用先前時間點的資料來預測未來趨勢。

Who？

主要使用者包括：

資料科學家與機器學習工程師：負責設計和訓練模型，用於語音識別、文本生成等應用。
NLP 領域專家：利用 RNN 處理句子語意分析、對話生成。
金融科技工程師：用於時間序列預測，如股票市場或消費行為模式。
影像處理工程師：例如在視頻幀數序列中進行動作辨識。

受影響的可能是任何與時序性資料相關的應用與產業，例如電子商務推薦系統、醫療診斷以及自動駕駛技術等。

When？

你會使用 RNN 的情境通常包含以下條件：

資料具有明確時序性。例如：
- 分析股市走勢
- 文本翻譯
資料需要考慮上下文依賴性。例如：
- 聽寫語音轉文字（Speech-to-Text）
- 自然語言生成（例如 ChatGPT 的回覆）
需要逐步更新輸入狀態且依賴歷史資訊。例如：
- 用戶行為模式建模

Where？

在整體架構上， RNN 通常出現在以下部分：

在深度學習管線中的模型層：
- 作為隱藏層以捕捉時序性特徵。
與其他技術結合，例如與 CNN（Convolutional Neural Network）搭配，用於視頻分析。
部署在伺服器端進行大規模推論，或者嵌入式系統中實現即時運算。

Why？

大家會選擇使用 RNN 是因為它能有效解決以下問題：

序列資料難以單獨依賴靜態特徵進行處理。例如，一段話中某個詞的意思取決於上下文，而非孤立存在。
普通神經網路（如 DNN）的輸入通常是固定維度，但序列資料長度不一，需要動態適應。
在需要追蹤歷史狀態或持續更新資訊的場景下，普通神經網路無法「記住」過去資訊，而 RNN 可以做到。

舉例來說，如果我們要做電影推薦，一個人的最近觀看紀錄可能比幾年前更重要。 RNN 可以根據這些「最近事件」提供更具針對性的建議。

How？

🛠️ 建立階段

建立一個簡單的 RNN 模型可以分為以下步驟：

定義輸入形狀與維度
- 確定你的數據是否符合 RNN 的需求，例如時間步長和每步特徵數量。
```
input_shape = (time_steps, features)
```

選擇適當的 RNN 層

根據需求選擇基本 RNN 層或其變體，例如 LSTM 或 GRU。在 Keras 中直接調用相關 API：

from keras.models import Sequential
from keras.layers import SimpleRNN, Dense

model = Sequential()
model.add(SimpleRNN(128, input_shape=input_shape))
model.add(Dense(10, activation='softmax'))

設計損失函數與優化器
- 選擇合適的方法，例如交叉熵損失函數及 Adam 優化器。
訓練模型
- 將你的訓練集餵給模型並執行 model.fit() 函數。

🔍 查詢階段

查詢階段通常指的是推論時如何使用已訓練好的模型：

接收新的輸入資料，例如自然語言句子或時間序列向量化後之結果。
通過模型進行推論：
```
predictions = model.predict(new_data)
```
解讀輸出結果並進一步應用到業務邏輯中。例如將分類結果映射到推薦系統上顯示給用戶。

補充說明

📌 範例比較

技術	長期記憶能力	計算效率	常見用途
Simple RNN	弱	高	基礎場景
LSTM	強	中等	時間序列預測
GRU	中等	中高	較快速度但效果佳

🧠 延伸／常見誤解

誤解：所有有關「記憶」能力都只能使用 LSTM
澄清：其實 GRU 雖然結構更簡單，但在許多場景下效果不遜色且速度更快，可根據資源限制選擇。
延伸概念：
若你遇到非常長期依賴問題（例如需追溯極遠時間步），可以考慮 Transformer 架構，它利用 Attention Mechanism 克服了傳統 RNN/LSTM 的缺點，但這已超出本篇範圍，可再深入了解。

What？​

Who？​

When？​

Where？​

Why？​

How？​

🛠️ 建立階段​

🔍 查詢階段​

補充說明​

📌 範例比較​

🧠 延伸／常見誤解​