跳至主要内容

Self Attention

What？​

Self-Attention 是一種能夠讓模型在處理輸入數據時，有效捕捉數據中不同部分之間相互關聯的機制。簡單來說，它讓模型可以專注於某些重要的信息，並根據內容的上下文來理解每個部分的意義。

舉例來說，假設我們有一段文字：「台北的天氣今天很晴朗」。如果模型需要判斷「台北」和「晴朗」之間的關聯， Self-Attention 就可以幫助它快速識別這兩個詞在句子中的重要性與彼此之間的關係。

Who？​

Self-Attention 的主要使用者包括：

  • 機器學習工程師：他們通常用它來改善自然語言處理（NLP）模型的性能，例如在訓練 Transformer 或 BERT 時。
  • 數據科學家：需要分析複雜文本或序列數據時，可以利用 Self-Attention 進行深度挖掘。
  • 研究人員：探索更高效、更準確的模型架構時，常會考慮 Self-Attention 機制。

此外，它直接影響使用相關技術的應用，例如聊天機器人、翻譯工具，以及語音識別系統。

When？​

你可能會在以下情況使用到 Self-Attention：

  1. 文本分析：例如處理文章摘要、情感分析或命名實體識別（NER）。
  2. 序列建模：解決需要理解長距離依賴關係的問題，例如翻譯句子或生成回覆。
  3. 多模態應用場景：結合文字、圖像或語音數據建模，例如影片字幕生成。

舉例而言，如果你正在設計一款自動化客服系統，且希望它能根據上下文提供精準回答，那麼 Self-Attention 可以幫助你實現更好的結果。

Where？​

從架構角度看， Self-Attention 通常出現在以下部分：

  1. Transformer 模型內部核心計算單元
    • 在 Encoder 和 Decoder 中廣泛使用。
  2. 特徵提取層
    • 用於提取序列數據中不同部分的重要性權重。
  3. 預訓練階段
    • 在 BERT、GPT 等大型預訓練模型中扮演重要角色。

換句話說，如果你的系統架構包含 NLP 模型，大概率會看到 Self-Attention 的身影。

Why？​

有了這個機制，我們可以解決以下問題：

  1. 傳統 RNN/ LSTM 的缺陷：

    • 這些方法處理序列時受限於固定窗口範圍，很難捕捉長距離依賴。而 Self-Attention 則能一次性考慮整個輸入序列。

  2. 提升效率：

    • 相較於逐步傳遞信息的方法（如 RNN）， Self-Attention 能以並行方式運算，大幅加快速度。

  3. 彈性更高：

    • 它不僅適合文本，也適合其他類型數據，比如圖像和音頻。

實際上，許多現代 AI 工具（例如 ChatGPT）都依賴它來提高性能與準確度！

How？​

🛠️ 建立階段​

建立一個簡單版本的 Self-Attention 機制流程如下：

  1. 計算 Query (Q)、Key (K)、Value (V)：
    • 將輸入向量通過線性變換得到 Q、K 和 V。
  2. 計算注意力分數：
    • 使用公式 Attention(Q, K, V) = Softmax(QK^T / sqrt(d_k))V，其中 d_k 是 Key 的維度，用來進行縮放。
  3. 加權求和：
    • 根據注意力分數對 Value 進行加權平均得到結果。
  4. 輸出結果作為下一層輸入：
    • 最終結果是每個輸入向量對應的重要信息提取後的新表示。

🔍 查詢階段​

查詢階段是當模型已經完成訓練後，用於推斷時執行以下步驟：

  1. 提供輸入序列，例如一句話：「我喜歡台灣的小吃」。
  2. 模型根據每個字詞產生 Query、Key 和 Value 向量。
  3. 計算每個字詞與其他字詞之間的重要性得分，例如「小吃」可能對「喜歡」有高度相關性。
  4. 最終輸出加權後的新表示，用作後續任務（如分類或生成回答）。

補充說明​

📌 範例比較​

以下是基於不同 Attention 方法的一些比較：

方法特點缺點
RNN-based Attention適合短距離依賴隨著序列增長性能下降
Self-Attention捕捉長距離依賴且支持並行運算計算資源需求較高

🧠 延伸／常見誤解​

誤解 1：Self-Attention 僅適用於 NLP​

事實上，它也被廣泛應用到圖像領域，例如 Vision Transformer(ViT)，以及多模態任務如影像字幕生成等場景中。

誤解 2：Attention 和 Self-Attention 是同義詞​

雖然兩者有密切關聯，但 Attention 泛指所有注意力機制，而 Self-Attention 特指自身序列內部元素相互作用的一種形式。例如 Cross Attention 則專注於不同序列間的信息交互！