Supervised Fine-Tuning

What？

Supervised Fine-Tuning，是一種針對 Foundational Model 進行 Fine Tune 的方法。它的主要目的是透過有標籤的資料集（通常由人類標記）來進一步訓練模型，使其能更準確地完成特定任務。這個過程可以理解為把一個「泛用型」模型調整成「專業型」模型。

舉例來說，假設我們有一個大型語言模型（例如 GPT），它已經接受了海量資料的預訓練，可以回答各種問題。透過 SFT，我們可以專注於醫療領域的資料，微調後讓模型更擅長回答醫療相關問題。

Who？

SFT 的主要使用者是技術工作者，例如：

機器學習工程師：需要針對特定任務微調預訓練模型。
資料科學家：負責分析並準備高品質、有標籤的訓練資料。
產品開發者：將微調後的模型整合至應用系統中，例如聊天機器人或推薦系統。

受影響者通常是最終使用該技術產品的用戶。例如，醫生、客服代表或消費者可能因 SFT 微調後的模型而獲得更精準、更有效率的答案或建議。

When？

以下情境通常會需要 SFT：

當預訓練模型表現一般，但不能完全符合你的特定需求（例如回答太泛）。
有高品質且經過標籤處理的資料集可用於微調時。
在部署前希望進一步提升 AI 模型的效能，例如使其能夠更符合商業需求。

舉例來說，在開發法律諮詢 AI 時，你可能會先使用通用語言模型，但由於法律領域有許多專業術語與固定格式，需要透過法律文件資料集進行 SFT 微調，使其更加精準地生成答案。

Where？

在典型 AI 系統架構中，SFT 通常出現在以下步驟：

訓練階段：位於預訓練和部署之間。在完成大規模預訓練後，接著執行 SFT。
管線流程中間層：介於基礎設施（如 GPU/TPU 設備）與應用程式層之間，用於特定任務優化。
部署前測試環節：在推送至生產環境前，用以驗證特定任務表現是否達標。

簡單比喻，它就像是將「全才」轉變成「專才」的一步，以確保它能在實際場景中發揮最佳效果。

Why？

從技術角度看，SFT 解決了通用性與專業性的平衡問題——雖然大型語言模型具有高度泛化能力，可以完成各種任務，但未必能精準地解答某些特定領域或情境中的問題。因此，有了以下需求：

提升效率與精度：讓 AI 更快、更準確地完成指定任務。
滿足商業目標：根據企業需求進行功能微調，例如客服 AI 回答得更切題、更友善。
降低錯誤率：通過領域知識優化生成內容，減少錯誤或不適當輸出。

舉例來說，大型語言模型可能知道「蘋果」可以指水果或科技公司，但如果你只關心科技公司相關資訊，就需要透過 SFT 確保輸出的內容聚焦於科技領域。

How？

🛠️ 建立階段

建立一個基於 SFT 的微調流程通常包含以下步驟：

收集高品質、有標籤資料集
- 例如從某些知名平台取得已分類且可靠的文本。
- 確保資料多樣性，以避免偏差。
選擇基礎預訓練模型
- 從 Hugging Face 或 OpenAI 提供的大型語言模型中挑選合適版本（如 GPT-3、GPT-4）。
配置Hyperparameters
- 設置學習率、batch size 等重要參數以達到最佳效果。
執行 Fine-Tuning
- 使用工具如 Hugging Face Transformers 開始運算。
- 透過分批次計算 Loss Function 來更新權重，使其貼合新資料分布。
驗證效果
- 測試新的任務效能是否達到要求，例如正確分類率或生成句子的合理性。

🔍 查詢階段

查詢階段則偏向應用層面，即如何利用已完成微調的模型。有以下典型流程：

接收用戶輸入文字，如：「請推薦一本有關深度學習的書籍。」
使用 API 調取經微調後的語言模型。
利用多輪查詢策略檢查輸出是否符合上下文需求（例如回答是否完整）。
返回結果給終端應用程式並顯示給使用者。

補充說明

📌 範例比較

以下比較不同方法在同樣查詢條件下產生結果：

方法	回答時間	精準度
原始 GPT 模型	0.5 秒	中等 (偏泛)
經法律文件集 SFT 微調後	0.8 秒	高 (專業)

🧠 延伸／常見誤解

誤解：「SFT 就是重新訓練整個預訓練模型。」
澄清：SFT 是基於已有權重進行小幅更新，不等同於從零開始重新建模，因此資源耗費較少，更快速實現目標。
誤解：「只要有無標籤數據就可以做 SFT。」
澄清：無標籤數據只能幫助自動化生成，而不是直接支持微調；SFT 必須依賴有人類標記明確答案或者分類資訊的數據集才能執行操作！

What？​

Who？​

When？​

Where？​

Why？​

How？​

🛠️ 建立階段​

🔍 查詢階段​

補充說明​

📌 範例比較​

🧠 延伸／常見誤解​