跳到主要内容
AI News HubLIVE
更多
仅摘要

VRAM幽灵猎手:你该关闭哪个()?

H公司团队在GPU集群中发现了一个幽灵进程漏洞:作业崩溃后,GPU显存仍被占用且无归属进程。深入排查发现,这是由于FUSE挂载的S3存储路径中,用户态守护进程(rclone mount)因OOM被杀后,内核未能正确中止FUSE连接,导致训练进程卡在不可中断睡眠状态,从而持有CUDA上下文。最终通过强制中止FUSE连接解决了问题,但根本原因在于文件描述符泄露。

来源Hacker News AI作者: zhwu
VRAM幽灵猎手:你该关闭哪个()?
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • GPU作业崩溃后显存未释放,无关联进程,称为幽灵进程。
  • 诊断发现被删除的容器仍在运行,线程卡在FUSE的request_wait_answer函数。
  • 用户态FUSE守护进程rclone mount因内存不足被杀,但内核未触发fuse_abort_conn,因为fusermount-server仍持有/dev/fuse文件描述符。
  • 通过/sys/fs/fuse/connections/*/abort强制中止连接可释放显存,但部分节点需重启。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。