VRAMゴーストバスター:どのclose()を呼ぶべきか?
H社のGPUクラスタで、ジョブクラッシュ後にVRAMがゴーストプロセスに占有される問題が発生。調査の結果、S3ストレージ用のFUSEマウントが原因であることが判明しました。ユーザースペースデーモン(rclone mount)がOOMで強制終了された後、カーネルがFUSE接続を正しく中断できなかったため、訓練スレッドがD状態でCUDAコンテキストを保持し続けました。一時的な対策としてFUSE接続を強制中断しましたが、根本原因はファイルディスクリプタリークです。
VRAMゴーストバスター:どのclose()を呼ぶべきか?
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。