跳至主要内容

Accuracy

What？​

模型準確度（Model Accuracy）是衡量機器學習模型是否能正確預測或分類的指標之一。它是一個基本但重要的指標，通常用來評估模型在整體表現上的好壞程度。簡單來說，就是計算模型所做出的正確預測比例。

例如，如果你的模型被用來分類圖片中的動物，並且它正確地辨識出了 90 張圖片中的動物，而總共測試了 100 張圖片，那麼該模型的準確度就是 90%。

公式如下： $$ Accuracy = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}} $$

Who？​

誰使用、誰受影響

模型準確度主要是給技術工作者使用，例如資料科學家（Data Scientists）、機器學習工程師（Machine Learning Engineers）以及 AI 研究人員等。在實務上，也會影響到產品經理和使用這些技術的終端用戶。

舉例來說，資料科學家需要透過準確度來判斷模型是否適合部署，而產品經理可能會根據準確度決定是否投入資源進一步開發功能。如果準確度過低，最終可能導致使用者體驗不佳。

When？​

什麼時間點會用到？

  • 訓練階段：在訓練完機器學習模型後，用於評估該模型是否能夠正確地完成指定任務。
  • 測試階段：當對模型進行性能測試時，準確度是一個直觀的評估方式。
  • 部署前：在將模型部署到真實環境之前，需要確認其表現是否足夠穩定。
  • 監控階段：應用到實際場景後，需要定期監控其準確度，以檢查模型是否隨著時間劣化。

Where？​

出現在架構哪個部分

準確度通常出現在以下流程中：

  1. 資料前處理後，用於初步驗證資料品質。
  2. 模型訓練完成後，用於評估訓練效果。
  3. 測試集上執行結果分析時，用於比較不同演算法或超參數調整的效果。
  4. 模型部署到生產環境後，用於持續監控性能表現。

Why？​

解決什麼問題？

準確度幫助我們回答一個核心問題：「我的機器學習模型有多可靠？」如果一個分類器在某些場景下擁有高準確度，那就代表它大部分時間都可以提供正確答案。然而，僅依賴準確度可能忽略一些問題，例如樣本分佈不均造成的偏差（Imbalanced Dataset）。因此，我們需要搭配其他指標如 Precision、Recall 等進行全方位分析。

例如，在醫療診斷中，一個癌症檢測系統雖然有很高的 Accuracy，但如果沒有考慮 False Negative 的影響，那麼可能導致病患錯過治療時機。

How？​

🛠️ 建立階段​

建立並計算 Accuracy 的流程如下：

  1. 準備資料集，包括訓練集和測試集。
  2. 設計或選擇合適的 Machine Learning 模型（例如 Logistic Regression 或 Neural Networks）。
  3. 訓練該模型並獲得預測結果。
  4. 使用測試集對預測結果進行比對：
    • 計算所有正確預測數量（True Positive + True Negative）。
    • 計算總樣本數量（包含 False Positive 和 False Negative）。
  5. 套入公式計算 Accuracy： $$ Accuracy = \frac{\text{Correct Predictions}}{\text{Total Samples}} $$

🔍 查詢階段​

查詢階段主要用來分析和比較不同情境下的 Accuracy 表現：

  1. 對已知輸入資料執行查詢操作，獲得模擬預測值。
  2. 比較真實值與模擬預測值之間的一致性。
  3. 如果發現 Accuracy 過低，可以回溯並調整：
    • 新增更多樣本以平衡資料分布
    • 改善特徵工程
    • 調整超參數或選擇更適合的演算法

補充說明​

📌 範例比較​

以下是不同情境下的範例：

模型類型測試集大小準確度備註
Logistic Regression100085%適合線性關係
Random Forest100092%非線性關係表現較好
Neural Networks100095%資料量大時效果顯著

🧠 延伸／常見誤解​

  1. 只看 Accuracy 是不夠的 當資料分布不均時，高 Accuracy 並不代表好的結果。例如，在某些極端情況下，如果只有少數類別佔比很高，僅靠 Accuracy 無法反映真正效能。這時應搭配 Precision 和 Recall 一起分析。

  2. Accuracy 不等於完整效能 有些任務如推薦系統或排序問題，更需要其他指標如 RMSE 或 AUC ROC，比單純依賴 Accuracy 更有意義。

  3. 混淆矩陣的重要性 為了更深入了解錯誤模式，可以考慮使用 Confusion Matrix 分析 TP、TN、FP、FN 的分佈情況，以輔助改善缺陷。