VRAM幽灵猎手:你该关闭哪个()?
H公司团队在GPU集群中发现了一个幽灵进程漏洞:作业崩溃后,GPU显存仍被占用且无归属进程。深入排查发现,这是由于FUSE挂载的S3存储路径中,用户态守护进程(rclone mount)因OOM被杀后,内核未能正确中止FUSE连接,导致训练进程卡在不可中断睡眠状态,从而持有CUDA上下文。最终通过强制中止FUSE连接解决了问题,但根本原因在于文件描述符泄露。
VRAM幽灵猎手:你该关闭哪个()?
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。