跳至主要内容

Ray

What?​

Ray 是一個用於分散式計算的開源框架,常用於分散式機器學習訓練、推論與資料處理。

TODO Stub 此頁為待擴充佔位卡。原本被以下筆記引用:

  • vLLM 多節點推論教學 - 405B 模型
  • MLOps 平台教育訓練內容
  • Ray MLOps 平台測試規劃書
  • Ray 進行 LLM 微調

Who?​

  • ML 工程師(分散式訓練)
  • MLOps 工程師(叢集部署)

Why?​

  • 把單機 PyTorch / TensorFlow 訓練擴展到多機多卡
  • 統一介面:Ray Train、Ray Tune、Ray Serve

How?​

(待補:基本叢集啟動、actor model、與 vLLM/DeepSpeed 整合方式)