在任何雲上執行AI工作負載，資料儲存在Hugging Face：SkyPilot實現零出口儲存

對於大多數團隊來說，模型和資料集通常存放在某個雲服務商的某個區域儲存桶中。然而，可用於開發、訓練或推理的GPU可能位於與資料不同的雲上。一旦資料和計算分離，你不得不為讀取自己的資料到自己的GPU支付跨雲資料傳輸費用。

SkyPilot與Hugging Face攜手解決了這一問題：你的模型和資料集保留在Hub上，而SkyPilot在擁有GPU的任何叢集上執行計算任務（開發、訓練或推理）。只需一個hf:// URL和已有的HF_TOKEN，即可將Hugging Face Bucket或任何Hub倉庫掛載到SkyPilot任務中，然後將其啟動在任何有容量的地方。Hugging Face不收取出口費用，因此從任何雲上讀取資料到GPU都是免費的。

主要功能包括：

• 任意任務中使用Hub資料：透過store: hf將Hugging Face Bucket（讀寫）或任何模型/資料集/Space倉庫（只讀）掛載到SkyPilot任務，使用hf:// URL和HF_TOKEN，支援MOUNT或COPY模式。
• 在任何GPU和雲上執行：SkyPilot在20多個雲平臺、Kubernetes、Slurm和本地環境中排程任務，因此同一執行可以使用任何供應商的預留或按需GPU。
• 讀取資料無出口費用：Hugging Face Storage不收取出口或CDN費用，因此無論SkyPilot將任務部署在何處，都可以直接從同一儲存桶讀取模型和資料集，無需在每個雲上覆制資料，也無需支付拉取資料的出口賬單。
• 基於Xet的去重：Bucket構建在Xet之上，因此增量檢查點和模型變體僅儲存和傳輸發生變化的塊。

Hugging Face Storage現已成為SkyPilot的一等後端。SkyPilot任務已能透過掛載讀取和寫入雲物件儲存（S3、GCS、Azure、R2等），現在Hugging Face Storage透過store: hf和hf://方案加入其中。

例如，以下配置展示瞭如何掛載一個讀寫Bucket作為檢查點目錄，以及只讀掛載模型和資料集倉庫：

file_mounts: /checkpoints: source: hf://buckets/my-org/qwen-sft store: hf mode: MOUNT /base-model: source: hf://Qwen/Qwen3.5-4B store: hf mode: MOUNT

MOUNT模式使用Hugging Face的hf-mount FUSE後端，倉庫像本地路徑一樣出現。讀取是惰性的，程式碼讀取時按需拉取資料，並保留本地磁碟快取。COPY模式則透過huggingface_hub提前下載整個檔案。

身份驗證使用現有的HF_TOKEN，透過--secret HF_TOKEN傳遞給任務。該令牌適用於任何雲，無需管理每雲桶金鑰。

零出口意味著儲存不再決定計算的位置。GPU容量通常分散在多個供應商：團隊在多個雲上持有預留容量，而SkyPilot將任務排程到空閒的叢集。此前，物件儲存的出口費用迫使團隊將執行固定在持有資料的供應商上，導致其他容量閒置。Hugging Face Storage消除了讀取資料的出口成本（儲存$12-18/TB/月，相比之下AWS S3約$23/TB加出口），即使寫入仍有正常出口費用，但大多數AI工作以讀取為主，因此大大提高了靈活性。

基準測試：使用Qwen3.5-4B模型和Multilingual-Thinking資料集進行微調，在AWS、GCP和Lambda上執行相同SkyPilot YAML，所有云都讀取和寫入同一Bucket。模型載入免費，約30秒（最高500 MB/s），檢查點寫入速度在112-168 MB/s之間。

Xet儲存的去重功能：透過內容定義分塊，增量檢查點、介面卡檢查點、共享基座的模型變體以及追加資料集時，僅傳輸更改的塊。例如，向100K行表中追加10K行僅移動約10 MB而非整個106 MB。重新上傳已儲存的8.43 GB blob僅需約8秒，而首次上傳為24秒。

開始使用： pip install "skypilot[huggingface]" hf auth login 然後新增hf://掛載到任何SkyPilot任務並啟動。MOUNT需要基礎映象包含glibc 2.34+和/dev/fuse。

該專案由Nikhil Jha貢獻，Hugging Face團隊推動了hf-mount FUSE修復以支援非特權容器，SkyPilot團隊將其整合到儲存後端。所有元件均為開源：SkyPilot、hf-mount和huggingface_hub。