跳至主要内容

TF-IDF

What？​

TF-IDF 是一種常用的文字分析技術，用來衡量一個詞語在文件中的重要性。它的全名是 Term Frequency-Inverse Document Frequency，從名字可以看出，它透過詞頻（Term Frequency, TF）和逆文件頻率（Inverse Document Frequency, IDF）的結合來計算每個詞的權重。簡單來說，TF-IDF 幫助我們找到那些對某篇文件「特殊」但又不會在所有文件中都出現的詞。

舉例來說，如果我們正在分析一份公司內部的技術報告，像「技術」、「報告」這類詞可能在每篇文章中都會出現，因此它的重要性相對較低。而像「AI 模型」或「深度學習」這些專有名詞可能只出現在某幾篇文章中，因此它的重要性相對較高。

Who？​

TF-IDF 的主要使用者包含：

  • 資料科學家：用來進行文本文檔的特徵工程，例如建模前的資料處理。
  • 搜尋引擎工程師：用於改進搜尋結果的排序。
  • 自然語言處理（NLP）專家：將 TF-IDF 作為基礎工具來提取關鍵字或進行語意分析。

此外，TF-IDF 對於想要從大量文檔中快速篩選重要資訊的任何人都有幫助。例如，企業可以利用它來分析客戶反饋中的高頻問題。

When？​

TF-IDF 通常在以下情境下被使用：

  1. 需要提取關鍵字時：例如，在文章摘要生成或主題建模前。
  2. 搜尋引擎排序時：例如改善搜尋結果與查詢內容之間的相關性。
  3. 資料預處理階段時：例如將文字轉換成數值特徵以供機器學習模型使用。

一般而言，只要你需要評估文字的重要性，而不依賴上下文理解（如深度學習模型），就可能會選擇使用 TF-IDF。

Where？​

TF-IDF 通常出現在以下架構部分：

  1. 自然語言處理管道中的特徵工程步驟，例如文本向量化。
  2. 搜尋系統中的索引模組，用於計算文檔與查詢之間的相關性分數。
  3. 文件分類系統中的預處理階段，幫助篩選重要特徵。

換句話說，無論你是在設計 ML 模型還是開發搜索工具，只要涉及到文字向量化，都有可能遇到 TF-IDF。

Why？​

TF-IDF 的核心目的就是解決「重要但不常見」這個問題。一般而言，有兩種極端情況可能造成困擾：

  1. 某些常見字詞（例如：「the」、「is」、「and」）會因頻率很高而影響分析結果，但實際上它們並不具備任何特殊意義。
  2. 某些稀有字詞雖然在整體文檔中很少出現，但卻能代表某篇文章的重要內容。

透過 TF 和 IDF 的結合，我們能有效減少常見字詞的干擾，並提升那些稀有但重要字詞的權重。這讓文本分析更具洞察力，也讓模型能更精確地捕捉重點資訊。

How？​

🛠️ 建立階段​

建立 TF-IDF 的流程通常如下：

  1. 計算 Term Frequency (TF)

    • 計算每個單詞在某篇文章中的出現次數，並標準化為比例值。公式如下：
    • $$ [ TF(t) = \frac{\text{該單詞 t 出現次數}}{\text{該文件中所有單詞總次數}} ] $$

  2. 計算 Inverse Document Frequency (IDF)

    • 計算某個單詞在所有文件中是否罕見，其公式如下：
    • 加 1 是為了避免分母為 0 的問題。 $$ IDF(t) = \log\frac{\text{總文件數}}{\text{包含該單詞 t 的文件數 + 1}} $$

  3. 計算 TF-IDF 權重

    • 將上述兩者相乘得到該單詞的重要性分數：
      $$ TF\text{-}IDF(t) = TF(t) * IDF(t) $$

  4. 轉換成矩陣形式

    • 最後將每篇文章轉換成一個矩陣，其中列代表單字、行代表文檔，每個值是對應的權重分數。

🔍 查詢階段​

查詢階段通常與搜索相關，有以下步驟：

  1. 接收用戶查詢，例如輸入關鍵字：「AI 模型」
  2. 計算 Query 的 TF 和 IDF 分數
  3. 使用餘弦相似度等方法比較 Query 向量與文檔向量
  4. 返回最相關的文檔（根據分數排序）

補充說明​

🔧 關鍵技術工具​

工具名稱功能描述適合場景
Scikit-learn提供簡易 API 進行向量化機器學習模型前處理
NLTK基本 NLP 操作文本文檔預處理
Gensim支援大型文本集操作主題建模、語意分析
Elasticsearch搜尋引擎框架，可整合 TF-IDF實時搜索系統

📌 範例比較​

以下是一篇文檔經過不同技術處理後的重要性權重比較：

技術詞彙：「AI 模型」權重詞彙：「技術」權重
Bag-of-Words510
TF0.150.30
TF-IDF72

從表格可以看出，相比其他方法，TF-IDF 更能突出稀有但重要的信息，例如「AI 模型」。

🧠 延伸／常見誤解​

  • 誤解 1：TF-IDF 是深度學習方法

    • 澄清：其實它是一種傳統且基礎的方法，不涉及神經網路。

  • 誤解 2：IDF 值越高越好

    • 澄清：IDF 僅表示罕見程度，高低需要配合具體應用情境判斷，而非越大越好。

  • 延伸應用

    • 除了文本分析外，也可以應用於圖片標籤、商品推薦等場景，只需替代「文字」為其他類型特徵即可。