本文にスキップ
AI News HubLIVE
その他
要約のみ

VRAMゴーストバスター:どのclose()を呼ぶべきか?

H社のGPUクラスタで、ジョブクラッシュ後にVRAMがゴーストプロセスに占有される問題が発生。調査の結果、S3ストレージ用のFUSEマウントが原因であることが判明しました。ユーザースペースデーモン(rclone mount)がOOMで強制終了された後、カーネルがFUSE接続を正しく中断できなかったため、訓練スレッドがD状態でCUDAコンテキストを保持し続けました。一時的な対策としてFUSE接続を強制中断しましたが、根本原因はファイルディスクリプタリークです。

ソースHacker News AI著者: zhwu
VRAMゴーストバスター:どのclose()を呼ぶべきか?
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • ジョブクラッシュ後、GPUのVRAMが解放されず、所有プロセスが存在しない(ゴーストプロセス)。
  • 削除されたPodのコンテナが依然として実行中で、スレッドがFUSEのrequest_wait_answerで停止(D状態)。
  • ユーザースペースFUSEデーモン(rclone mount)がOOMで強制終了されたが、fusermount-serverが/dev/fuseのfdを保持していたため、カーネルが接続を中断しなかった。
  • sysfs経由で強制中断するとVRAMが解放されるが、一部のノードは再起動が必要。根本原因はfusermount-serverでのfdリーク。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。