跳到主要內容
AI News HubLIVE
站內改寫5 分鐘閱讀

Exowatt藉助SageMaker無服務器模型定製在準確性上超越前沿模型

文章摘要

Exowatt利用Amazon SageMaker AI的無服務器模型定製構建了可重複的AI流水線,為邊緣和雲兩個部署目標生成特定任務的微調模型,以高達49倍的成本優勢實現了比前沿模型更高的準確性。

來源AWS Machine Learning Blog作者: Purna Sanyal
Exowatt藉助SageMaker無服務器模型定製在準確性上超越前沿模型
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Exowatt公司致力於構建模塊化、可調度的太陽能系統,為AI數據中心等能源密集型應用提供可靠電力。其旗艦產品Exowatt P3通過光學透鏡捕獲太陽能,將其以熱能形式儲存在長期熱電池中,並通過熱機按需調度電力。與併網光伏系統不同,P3直接在電錶後端為數據中心供電,幫助數據中心無需等待多年的電網互聯排隊即可上線。Exowatt構建了一支AI代理團隊,用於監控和分類實時告警,並支持太陽能系統的運營決策,這些決策往往在邊緣端進行,網絡連接有限甚至完全沒有。隨着其設備規模從測試台擴展到製造和數千台現場部署單元,運營這些系統的智能層也必須同步擴展。

本文展示了Exowatt如何利用Amazon SageMaker AI的無服務器模型定製構建可重複的AI流水線。該流水線為邊緣和雲兩個部署目標生成特定任務的微調模型,以高達49倍的成本優勢實現了比前沿模型更高的準確性。

這裏描述的兩個模型只是該流水線的首批輸出,而非最終目標。更具持久價值的成果是流水線本身:一條從原始運營數據到認證訓練集、微調模型和經過評估的部署產物的可重複路徑。Exowatt現在可以在幾天內而非幾個月內運行這條路徑。告警分類和能源市場分析只是眾多狹窄但高價值任務中的兩個,同樣的方法可以應用於更多場景。

挑戰:物理能源基礎設施上的人工智能

Exowatt的能源管理系統(EMS)運行在不斷增長的運營站點上。每個站點持續產生告警:硬件組件運行超出規格、連接中斷、電壓讀數超出範圍等類似事件。隨着設備規模向數千台現場單元擴展,人工操作員無法實時監控每個站點。Exowatt需要一個AI代理,能夠讀取每個站點的告警狀態,並自主可靠地採取或建議正確的下一步行動。

前沿模型無法解決這個問題,原因有三:

任務狹窄且專有。Exowatt EMS上的告警分類依賴於其特定硬件、數據和運營邏輯。通用前沿模型並不專門針對此任務。

必須在邊緣運行,無GPU且通常無互聯網。許多站點連接有限或間歇性中斷,因此依賴雲調用前沿模型的代理在連接斷開時會使操作員失去覆蓋。

成本在設備規模下無法擴展。將每個運營決策都路由到前沿模型,在數千個站點上對於持續重複的決策來説並不經濟。

這正是Exowatt轉向模型定製的原因。Exowatt最初的微調工作流程依賴於選擇開放權重模型、構建容器並在任何實驗運行之前創建自定義訓練配方。這是模型實驗的主要障礙。此外,他們還必須決定模型微調的GPU硬件需求。隨着團隊加快實驗節奏,每次運行首先需要選擇特定的GPU實例類型,然後等待自行選擇的容量可用。當所選實例類型不可用時,這可能會延遲運行的開始或完全阻止運行。

他們需要一個足夠小的模型,可以在無GPU的邊緣控制器上運行,同時在該特定任務上足夠準確,以與前緣模型相比自主行動。微調彌補了這一差距:一個緊湊的、任務專用的模型,既可在雲端部署,也可在邊緣部署。

解決方案概述

Exowatt通過在Amazon SageMaker AI上採用雲原生、無服務器的模型定製方法解決了這些挑戰。相同的訓練流水線為邊緣和雲兩個部署目標生成微調模型。

Exowatt在Qwen3-1.7B模型上實施了該方法用於第一個用例——邊緣告警分類,然後將相同方法應用於Qwen3-14B模型用於第二個用例——雲能源市場分析。公司計劃重用該解決方案,在整個設備羣中構建更小的任務專用模型。

圖1:Exowatt微調和部署流水線,涵蓋構建、雲服務和邊緣服務三個階段

以下七項AWS服務驅動AI流水線,無需管理任何實例、集羣或端點:

AWS服務 | 用途 Amazon Simple Storage Service (Amazon S3) | 數據、清單、模型產物和測試集 Amazon SageMaker AI無服務器微調 | 每次微調運行,從Public Hub配方啓動 Amazon SageMaker AI無服務器評估 | 每個候選模型2000個答案作為託管作業評分 SageMaker Model Registry | 每次完成的微調及其證據和指標 Amazon Bedrock Custom Model Import | 託管微調的Qwen3-14B用於雲EMS,從雲EMS服務私有調用,無空閒成本 Amazon Bedrock (Claude, Qwen3) | 釋義(訓練數據中每個答案三個改寫)和前沿模型基準測試

告警分類釋義使用Amazon Bedrock上的Qwen3-VL-235B。能源市場釋義使用Amazon Bedrock上的Claude Sonnet 4.6。

AWS Lambda + Amazon EventBridge | 無服務器評估評分器和自定義模型的計劃保活調用

工作流程分為三個階段:

模型定製(雲):Exowatt使用無服務器模型定製、低秩適應(LoRA)和監督微調(SFT)在SageMaker AI上微調開放權重基礎模型。由於無服務器訓練按需分配容量,團隊每天可以運行多個實驗,而不是等待自行選擇的GPU。評估後,最佳模型註冊到SageMaker AI Model Registry。

邊緣部署:對於延遲敏感、連接受限的工作(如告警分類),微調的Qwen3-1.7B模型被凍結、量化為GGUF格式,並使用llama.cpp在邊緣的Kubernetes Pod中通過現場控制器運行。此路徑無需GPU,且無需互聯網連接即可運行。

雲部署(彈性):對於互聯網連接的設備級分析,微調的Qwen3-14B能源市場模型通過Amazon Bedrock Custom Model Import提供服務,無空閒成本,僅在模型活躍時計費。

為什麼選擇Amazon SageMaker AI無服務器模型定製

Amazon SageMaker AI無服務器模型定製服務提供了廣泛的開放權重模型選擇,以及來自SageMaker Public Hub的現成微調配方,因此團隊避免了構建和優化自定義訓練容器的工作,這通常需要數週時間。對Exowatt而言,這將微調從稀缺的預定事件轉變為常規的按需操作。這使得快速實驗和測試循環變得可行,同時保持實驗成本低廉。

在預配置GPU上進行微調需要選擇特定實例類型、請求該容量、等待其可用、運行作業,並在持有實例期間持續付費。持有時間通常包括實驗之間的空閒時間,因為專用實例保持運行。對於運行許多實驗的小團隊來説,這減慢了創新速度並增加了成本。Amazon SageMaker AI無服務器模型定製自動管理和編排運行微調作業所需的基礎設施,消除了容量管理的痛苦,並且僅按微調作業運行時間計費。

用例1:使用Qwen3-1.7B進行邊緣告警分類

Exowatt站點全天候發出告警。一個緊湊的現場模型讀取每個告警以及站點自身的狀態和遙測數據,返回一小組固定分類之一,並附帶引用證據(如系統離線、組件降額或傳感器不匹配),或在證據不足時明確棄權。

模型選擇和訓練數據

團隊首先嚐試了Qwen3-8B配合提示和護欄,但效果停滯在目標以下(宏F1為0.735)。微調的Qwen3-1.7B改變了這一局面:在這個狹窄的單輪任務上,它以約五分之一的參數量超越了Qwen3-8B加提示的設置,同時保持足夠小,適合無GPU的邊緣推理。十三個微調的Qwen3-8B候選模型在12個數據集版本上從未擊敗提示的8B基線。更小的模型配合更多樣化的數據取得了成功。

訓練集小而精:2522個示例,由684個經過驗證的生成站點場景決策和1838個認證釋義組成,每個釋義保持決策不變,同時改寫文本。釋義由Amazon Bedrock上的Qwen3-235B生成,成本約3.72美元。每個釋義僅當確定性檢查確認決策、標籤、證據引用和每個數字均未改變時才保留(2218個候選中1838個通過)。一個故障家族完全排除在訓練之外,320個案例保留用於測試。

訓練和部署

訓練在SageMaker無服務器微調上約32分鐘完成,成本約20-25美元。量化為8位(約1.71 GiB)後,模型在站點現有CPU服務器的6 GiB llama.cpp Pod中離線運行。它也可以在t3.2xlarge實例類型上運行。

用例2:使用Qwen3-14B進行雲能源市場分析

可調度存儲將時機轉變為運營決策:每個站點必須持續決定為其負載保留多少存儲能量以及何時釋放,對於併網站點,市場條件會影響這一選擇。微調模型讀取六小時的實時市場數據包(約90行實時價格、日前預測和電網通知),並在約四秒內返回五種市場事件之一(如價格飆升或稀缺附加費)。每個聲明都綁定到特定數據行,以指導調度策略。

為什麼選擇Qwen3-14B

選擇Qwen3-14B是因為它受Amazon Bedrock Custom Model Import支持,作為SageMaker Public Hub模型提供現成的LoRA配方(無需管理自定義容器或實例類型),並且約28 GiB的大小足以經濟高效地服務。

訓練數據和過程

Exowatt在公共Electric Reliability Council of Texas (ERCOT)市場數據上微調模型,數據來自五年曆史(約1.63億行,橫跨12個表)。團隊對該數據進行規則標註,生成25000個示例(22000個用於訓練,1000個用於驗證,2000個保留用於測試)。然後,他們通過讓Amazon Bedrock上的Anthropic Claude Sonnet 4.6改寫每個示例的文本,同時保持標籤和數字字段不變,將訓練集擴展到86281行。

訓練是單個LoRA週期(秩16,alpha 32),在託管無服務器微調上約8.5小時完成,最多同時運行四個作業。團隊在從初始計劃到冠軍模型在雲EMS中服務的六天內運行了23個作業和約155小時的託管訓練。

決定性的改進來自釋義多樣性:每個答案添加三個改寫將宏F1從0.950提升到0.975。基礎模型僅得分0.415宏F1。它生成了有效的JSON,但還不瞭解市場。微調解決了這個問題。

部署

合併的檢查點在約14分鐘內導入到Amazon Bedrock Custom Model Import。模型無空閒成本運行,僅在活躍時按每小時6.86美元計費。

基準測試結果

在邊緣告警分類任務上,微調的Qwen3-1.7B從無法生成有效答案的模型提升到320個測試案例上0.911的宏F1,領先於所有前沿基線。將相同的微調和評估循環應用於能源市場任務,使用2000個測試案例,Qwen3-14B達到0.975的宏F1,再次領先於前沿基線。

展開要點與分析

文章情報

工程師進階

要點

  • Exowatt使用SageMaker無服務器微調,以約20-25美元的成本在32分鐘內完成Qwen3-1.7B的邊緣告警分類模型訓練,宏F1達到0.911,超越所有前沿基線。
  • 雲能源市場分析採用Qwen3-14B,在約8.5小時內完成LoRA微調,宏F1達到0.975,而基礎模型僅為0.415。
  • 通過Amazon Bedrock生成的釋義數據(每個答案三個改寫)將能源市場任務的宏F1從0.950提升到0.975。
  • 該流水線將微調從稀缺的預定事件轉變為常規的按需操作,使團隊能夠在幾天內而非幾個月內完成從原始數據到部署的整個過程。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。