在任何雲上運行AI工作負載，數據存儲在Hugging Face：SkyPilot實現零出口存儲

對於大多數團隊來説，模型和數據集通常存放在某個雲服務商的某個區域存儲桶中。然而，可用於開發、訓練或推理的GPU可能位於與數據不同的雲上。一旦數據和計算分離，你不得不為讀取自己的數據到自己的GPU支付跨雲數據傳輸費用。

SkyPilot與Hugging Face攜手解決了這一問題：你的模型和數據集保留在Hub上，而SkyPilot在擁有GPU的任何集羣上運行計算任務（開發、訓練或推理）。只需一個hf:// URL和已有的HF_TOKEN，即可將Hugging Face Bucket或任何Hub倉庫掛載到SkyPilot任務中，然後將其啓動在任何有容量的地方。Hugging Face不收取出口費用，因此從任何雲上讀取數據到GPU都是免費的。

主要功能包括：

• 任意任務中使用Hub數據：通過store: hf將Hugging Face Bucket（讀寫）或任何模型/數據集/Space倉庫（只讀）掛載到SkyPilot任務，使用hf:// URL和HF_TOKEN，支持MOUNT或COPY模式。
• 在任何GPU和雲上運行：SkyPilot在20多個雲平台、Kubernetes、Slurm和本地環境中調度任務，因此同一運行可以使用任何供應商的預留或按需GPU。
• 讀取數據無出口費用：Hugging Face Storage不收取出口或CDN費用，因此無論SkyPilot將任務部署在何處，都可以直接從同一存儲桶讀取模型和數據集，無需在每個雲上覆制數據，也無需支付拉取數據的出口賬單。
• 基於Xet的去重：Bucket構建在Xet之上，因此增量檢查點和模型變體僅存儲和傳輸發生變化的塊。

Hugging Face Storage現已成為SkyPilot的一等後端。SkyPilot任務已能通過掛載讀取和寫入雲對象存儲（S3、GCS、Azure、R2等），現在Hugging Face Storage通過store: hf和hf://方案加入其中。

例如，以下配置展示瞭如何掛載一個讀寫Bucket作為檢查點目錄，以及只讀掛載模型和數據集倉庫：

file_mounts: /checkpoints: source: hf://buckets/my-org/qwen-sft store: hf mode: MOUNT /base-model: source: hf://Qwen/Qwen3.5-4B store: hf mode: MOUNT

MOUNT模式使用Hugging Face的hf-mount FUSE後端，倉庫像本地路徑一樣出現。讀取是惰性的，代碼讀取時按需拉取數據，並保留本地磁盤緩存。COPY模式則通過huggingface_hub提前下載整個文件。

身份驗證使用現有的HF_TOKEN，通過--secret HF_TOKEN傳遞給任務。該令牌適用於任何雲，無需管理每雲桶密鑰。

零出口意味着存儲不再決定計算的位置。GPU容量通常分散在多個供應商：團隊在多個雲上持有預留容量，而SkyPilot將任務調度到空閒的集羣。此前，對象存儲的出口費用迫使團隊將運行固定在持有數據的供應商上，導致其他容量閒置。Hugging Face Storage消除了讀取數據的出口成本（存儲$12-18/TB/月，相比之下AWS S3約$23/TB加出口），即使寫入仍有正常出口費用，但大多數AI工作以讀取為主，因此大大提高了靈活性。

基準測試：使用Qwen3.5-4B模型和Multilingual-Thinking數據集進行微調，在AWS、GCP和Lambda上運行相同SkyPilot YAML，所有云都讀取和寫入同一Bucket。模型加載免費，約30秒（最高500 MB/s），檢查點寫入速度在112-168 MB/s之間。

Xet存儲的去重功能：通過內容定義分塊，增量檢查點、適配器檢查點、共享基座的模型變體以及追加數據集時，僅傳輸更改的塊。例如，向100K行表中追加10K行僅移動約10 MB而非整個106 MB。重新上傳已存儲的8.43 GB blob僅需約8秒，而首次上傳為24秒。

開始使用： pip install "skypilot[huggingface]" hf auth login 然後添加hf://掛載到任何SkyPilot任務並啓動。MOUNT需要基礎鏡像包含glibc 2.34+和/dev/fuse。

該項目由Nikhil Jha貢獻，Hugging Face團隊推動了hf-mount FUSE修復以支持非特權容器，SkyPilot團隊將其集成到存儲後端。所有組件均為開源：SkyPilot、hf-mount和huggingface_hub。