Ray
What?
Ray 是一個用於分散式計算的開源框架,常用於分散式機器學習訓練、推論與資料處理。
TODO Stub 此頁為待擴充佔位卡。原本被以下筆記引用:
- vLLM 多節點推論教學 - 405B 模型
- MLOps 平台教育訓練內容
- Ray MLOps 平台測試規劃書
- Ray 進行 LLM 微調
Who?
- ML 工程師(分散式訓練)
- MLOps 工程師(叢集部署)
Why?
- 把單機 PyTorch / TensorFlow 訓練擴展到多機多卡
- 統一介面:Ray Train、Ray Tune、Ray Serve
How?
(待補:基本叢集啟動、actor model、與 vLLM/DeepSpeed 整合方式)