跳到主要內容
AI News HubLIVE
更多
僅摘要

VRAM幽靈獵手:你該關閉哪個()?

H公司團隊在GPU叢集中發現了一個幽靈程序漏洞:作業崩潰後,GPU視訊記憶體仍被佔用且無歸屬程序。深入排查發現,這是由於FUSE掛載的S3儲存路徑中,使用者態守護程序(rclone mount)因OOM被殺後,核心未能正確中止FUSE連線,導致訓練程序卡在不可中斷睡眠狀態,從而持有CUDA上下文。最終透過強制中止FUSE連線解決了問題,但根本原因在於檔案描述符洩露。

來源Hacker News AI作者: zhwu
VRAM幽靈獵手:你該關閉哪個()?
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • GPU作業崩潰後視訊記憶體未釋放,無關聯程序,稱為幽靈程序。
  • 診斷髮現被刪除的容器仍在執行,執行緒卡在FUSE的request_wait_answer函式。
  • 使用者態FUSE守護程序rclone mount因記憶體不足被殺,但核心未觸發fuse_abort_conn,因為fusermount-server仍持有/dev/fuse檔案描述符。
  • 透過/sys/fs/fuse/connections/*/abort強制中止連線可釋放視訊記憶體,但部分節點需重啟。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。