跳至主要内容

Logistic Regression

What？​

邏輯迴歸（ Logistic Regression ）是一種統計學的分類方法，主要用來預測某事件發生的機率。雖然名字裡有「迴歸」，但它其實更多地應用於分類問題，而非傳統意義上的回歸模型。簡單來說，它能幫助我們回答「某個資料點屬於哪一個類別」這樣的問題。

例如，在信用卡欺詐檢測中，邏輯迴歸可以用來預測某筆交易是「正常」還是「欺詐」。透過分析輸入資料的特徵（如交易金額、地點等），模型會輸出一個介於 0 到 1 的值，用以表示屬於某類別的機率。

Who？​

邏輯迴歸通常由以下群體使用或受影響：

  • 資料科學家／機器學習工程師：在開發二元或多元分類模型時，邏輯迴歸是基礎工具之一。
  • 商業分析師：例如在市場行銷中，用來預測客戶是否會購買某產品。
  • 研究人員：對於醫療診斷、社會科學調查等需要分類結果的領域，邏輯迴歸提供了一種可靠且易解釋的方法。

簡而言之，任何需要對給定資料進行分類的人，都可能使用這項技術。

When？​

你可能會在以下情境中用到邏輯迴歸：

  • 小型資料集：當資料量不大且特徵數適中時，它是一個快速且有效的選擇。
  • 二元分類問題：例如判斷郵件是「垃圾郵件」還是「正常郵件」。
  • 多元分類問題：例如預測客戶屬於「高價值」、「中價值」或「低價值」群體。
  • 需要高解釋性的場合：如果你需要清楚了解模型如何作出決策（如特徵影響力），邏輯迴歸是非常適合的。

Where？​

在架構上，邏輯迴歸通常出現在機器學習流程中的以下部分：

  1. 資料前處理階段：將輸入特徵標準化或進行 One-Hot Encoding ，為模型訓練做準備。
  2. 建模階段：使用 Logistic Regression 建立分類模型。
  3. 推論階段：利用訓練好的模型進行查詢和預測。

它可以與其他方法和技術結合，例如搭配 Feature Engineering 提升效能或與 Ensemble 模型進一步優化結果。

Why？​

邏輯迴歸主要解決的是以下問題：

  1. 可解釋性與效能兼具：
    • Logistic Regression 使用 Sigmoid 函數將結果映射到 [0,1] 區間，非常直觀。輸出的權重可以直接反映每個變數對結果的重要性。
  2. 快速訓練與易部署：
    • 相較於更複雜的深度學習模型，它具有輕量級、高效率以及簡單部署等優勢。
  3. 穩健處理二分情境：
    • 對於二元分類問題（如欺詐檢測），它表現穩定且計算成本低。

缺點則包含在非線性關係較強時可能表現不足，但這時可考慮加入 Polynomial Features 或切換至其他先進演算法。

How？​

🛠️ 建立階段​

建立一個 Logistic Regression 模型通常包含以下步驟：

  1. 資料準備：

    • 清洗並整理輸入資料，確保沒有遺漏值或異常值。
    • 對連續變數進行標準化（如 Z-score normalization ）。
    • 對類別變數執行 One-Hot Encoding 轉換成向量形式。

  2. 選擇特徵：

    • 根據業務需求選擇重要特徵。例如，在信用卡欺詐檢測中，你可能選擇交易金額、時間、地點等作為主要特徵。

  3. 訓練模型：

    • 使用庫（如 scikit-learn ）導入 LogisticRegression 模組，並設定超參數，例如正則化參數 C 和懲罰項 penalty （ L1 或 L2 ）： 
      from sklearn.linear_model import LogisticRegression
      model = LogisticRegression(C=1.0, penalty='l2')
      model.fit(X_train, y_train)

  4. 檢驗效能：

    • 使用 Cross Validation 或 ROC 曲線評估模型表現，以確保其有穩定效能。

🔍 查詢階段​

在查詢階段，你可以透過已訓練好的邏輯迴歸模型進行預測：

  1. 載入新資料並做相同前處理步驟（如標準化）。
  2. 輸入新資料至訓練好的 Logistic Regression 模型以取得分類機率分佈： 
    predictions = model.predict_proba(X_test)
  3. 根據閾值決策（ Threshold Decision ），將機率轉換成最終類別。例如若機率 > 0.5 則標記為正類別；否則為負類別： 
    final_predictions = (predictions[:, 1] > 0.5).astype(int)

補充說明​

📌 範例比較​

技術方案優勢劣勢
邏輯迴歸可解釋性高、運算效率快非線性關係表現不足
支援向量機 (SVM)非線性效果更強計算成本高
隨機森林 (Random Forest)抗過擬合能力強可解釋性相對較差

🧠 延伸／常見誤解​

常見誤解一：「只有二元分類才能用」​

事實上， Logistic Regression 支援多元分類，只需使用 Softmax 函數替代原本的 Sigmoid 函數即可。

常見誤解二：「線性分隔過多限制」​

儘管邏輯迴歸本身假設的是線性分隔，但透過加入 Polynomial Features 或互動項，可以部分提升其非線性表現能力。不過若非線性關係極強，可考慮切換到其他演算法，如神經網路或 SVM 。