DeepSpeed

DeepSpeed 是 Microsoft 開發的深度學習優化函式庫，透過 ZeRO-3 等技術把模型參數、梯度與優化器狀態分散到多 GPU/節點，大幅降低單卡顯存壓力，是 LLM 大規模訓練的常用框架。