Exowatt公司致力於構建模組化、可排程的太陽能系統,為AI資料中心等能源密集型應用提供可靠電力。其旗艦產品Exowatt P3透過光學透鏡捕獲太陽能,將其以熱能形式儲存在長期熱電池中,並透過熱機按需排程電力。與併網光伏系統不同,P3直接在電錶後端為資料中心供電,幫助資料中心無需等待多年的電網互聯排隊即可上線。Exowatt構建了一支AI代理團隊,用於監控和分類即時告警,並支援太陽能系統的運營決策,這些決策往往在邊緣端進行,網路連線有限甚至完全沒有。隨著其裝置規模從測試臺擴充套件到製造和數千臺現場部署單元,運營這些系統的智慧層也必須同步擴充套件。
本文展示了Exowatt如何利用Amazon SageMaker AI的無伺服器模型定製構建可重複的AI流水線。該流水線為邊緣和雲兩個部署目標生成特定任務的微調模型,以高達49倍的成本優勢實現了比前沿模型更高的準確性。
這裡描述的兩個模型只是該流水線的首批輸出,而非最終目標。更具持久價值的成果是流水線本身:一條從原始運營資料到認證訓練集、微調模型和經過評估的部署產物的可重複路徑。Exowatt現在可以在幾天內而非幾個月內執行這條路徑。告警分類和能源市場分析只是眾多狹窄但高價值任務中的兩個,同樣的方法可以應用於更多場景。
挑戰:物理能源基礎設施上的人工智慧
Exowatt的能源管理系統(EMS)執行在不斷增長的運營站點上。每個站點持續產生告警:硬體元件執行超出規格、連線中斷、電壓讀數超出範圍等類似事件。隨著裝置規模向數千臺現場單元擴充套件,人工操作員無法即時監控每個站點。Exowatt需要一個AI代理,能夠讀取每個站點的告警狀態,並自主可靠地採取或建議正確的下一步行動。
前沿模型無法解決這個問題,原因有三:
任務狹窄且專有。Exowatt EMS上的告警分類依賴於其特定硬體、資料和運營邏輯。通用前沿模型並不專門針對此任務。
必須在邊緣執行,無GPU且通常無網際網路。許多站點連線有限或間歇性中斷,因此依賴雲呼叫前沿模型的代理在連線斷開時會使操作員失去覆蓋。
成本在裝置規模下無法擴充套件。將每個運營決策都路由到前沿模型,在數千個站點上對於持續重複的決策來說並不經濟。
這正是Exowatt轉向模型定製的原因。Exowatt最初的微調工作流程依賴於選擇開放權重模型、構建容器並在任何實驗執行之前建立自定義訓練配方。這是模型實驗的主要障礙。此外,他們還必須決定模型微調的GPU硬體需求。隨著團隊加快實驗節奏,每次執行首先需要選擇特定的GPU例項型別,然後等待自行選擇的容量可用。當所選例項型別不可用時,這可能會延遲執行的開始或完全阻止執行。
他們需要一個足夠小的模型,可以在無GPU的邊緣控制器上執行,同時在該特定任務上足夠準確,以與前緣模型相比自主行動。微調彌補了這一差距:一個緊湊的、任務專用的模型,既可在雲端部署,也可在邊緣部署。
解決方案概述
Exowatt透過在Amazon SageMaker AI上採用雲原生、無伺服器的模型定製方法解決了這些挑戰。相同的訓練流水線為邊緣和雲兩個部署目標生成微調模型。
Exowatt在Qwen3-1.7B模型上實施了該方法用於第一個用例——邊緣告警分類,然後將相同方法應用於Qwen3-14B模型用於第二個用例——雲能源市場分析。公司計劃重用該解決方案,在整個裝置群中構建更小的任務專用模型。
圖1:Exowatt微調和部署流水線,涵蓋構建、雲服務和邊緣服務三個階段
以下七項AWS服務驅動AI流水線,無需管理任何例項、叢集或端點:
AWS服務 | 用途 Amazon Simple Storage Service (Amazon S3) | 資料、清單、模型產物和測試集 Amazon SageMaker AI無伺服器微調 | 每次微調執行,從Public Hub配方啟動 Amazon SageMaker AI無伺服器評估 | 每個候選模型2000個答案作為託管作業評分 SageMaker Model Registry | 每次完成的微調及其證據和指標 Amazon Bedrock Custom Model Import | 託管微調的Qwen3-14B用於雲EMS,從雲EMS服務私有呼叫,無空閒成本 Amazon Bedrock (Claude, Qwen3) | 釋義(訓練資料中每個答案三個改寫)和前沿模型基準測試
告警分類釋義使用Amazon Bedrock上的Qwen3-VL-235B。能源市場釋義使用Amazon Bedrock上的Claude Sonnet 4.6。
AWS Lambda + Amazon EventBridge | 無伺服器評估評分器和自定義模型的計劃保活呼叫
工作流程分為三個階段:
模型定製(雲):Exowatt使用無伺服器模型定製、低秩適應(LoRA)和監督微調(SFT)在SageMaker AI上微調開放權重基礎模型。由於無伺服器訓練按需分配容量,團隊每天可以執行多個實驗,而不是等待自行選擇的GPU。評估後,最佳模型註冊到SageMaker AI Model Registry。
邊緣部署:對於延遲敏感、連線受限的工作(如告警分類),微調的Qwen3-1.7B模型被凍結、量化為GGUF格式,並使用llama.cpp在邊緣的Kubernetes Pod中透過現場控制器執行。此路徑無需GPU,且無需網際網路連線即可執行。
雲部署(彈性):對於網際網路連線的裝置級分析,微調的Qwen3-14B能源市場模型透過Amazon Bedrock Custom Model Import提供服務,無空閒成本,僅在模型活躍時計費。
為什麼選擇Amazon SageMaker AI無伺服器模型定製
Amazon SageMaker AI無伺服器模型定製服務提供了廣泛的開放權重模型選擇,以及來自SageMaker Public Hub的現成微調配方,因此團隊避免了構建和最佳化自定義訓練容器的工作,這通常需要數週時間。對Exowatt而言,這將微調從稀缺的預定事件轉變為常規的按需操作。這使得快速實驗和測試迴圈變得可行,同時保持實驗成本低廉。
在預配置GPU上進行微調需要選擇特定例項型別、請求該容量、等待其可用、執行作業,並在持有例項期間持續付費。持有時間通常包括實驗之間的空閒時間,因為專用例項保持執行。對於執行許多實驗的小團隊來說,這減慢了創新速度並增加了成本。Amazon SageMaker AI無伺服器模型定製自動管理和編排執行微調作業所需的基礎設施,消除了容量管理的痛苦,並且僅按微調作業執行時間計費。
用例1:使用Qwen3-1.7B進行邊緣告警分類
Exowatt站點全天候發出告警。一個緊湊的現場模型讀取每個告警以及站點自身的狀態和遙測資料,返回一小組固定分類之一,並附帶引用證據(如系統離線、元件降額或感測器不匹配),或在證據不足時明確棄權。
模型選擇和訓練資料
團隊首先嚐試了Qwen3-8B配合提示和護欄,但效果停滯在目標以下(宏F1為0.735)。微調的Qwen3-1.7B改變了這一局面:在這個狹窄的單輪任務上,它以約五分之一的引數量超越了Qwen3-8B加提示的設定,同時保持足夠小,適合無GPU的邊緣推理。十三個微調的Qwen3-8B候選模型在12個資料集版本上從未擊敗提示的8B基線。更小的模型配合更多樣化的資料取得了成功。
訓練集小而精:2522個示例,由684個經過驗證的生成站點場景決策和1838個認證釋義組成,每個釋義保持決策不變,同時改寫文本。釋義由Amazon Bedrock上的Qwen3-235B生成,成本約3.72美元。每個釋義僅當確定性檢查確認決策、標籤、證據引用和每個數字均未改變時才保留(2218個候選中1838個透過)。一個故障家族完全排除在訓練之外,320個案例保留用於測試。
訓練和部署
訓練在SageMaker無伺服器微調上約32分鐘完成,成本約20-25美元。量化為8位(約1.71 GiB)後,模型在站點現有CPU伺服器的6 GiB llama.cpp Pod中離線執行。它也可以在t3.2xlarge例項型別上執行。
用例2:使用Qwen3-14B進行雲能源市場分析
可排程儲存將時機轉變為運營決策:每個站點必須持續決定為其負載保留多少儲存能量以及何時釋放,對於併網站點,市場條件會影響這一選擇。微調模型讀取六小時的即時市場資料包(約90行即時價格、日前預測和電網通知),並在約四秒內返回五種市場事件之一(如價格飆升或稀缺附加費)。每個宣告都繫結到特定資料行,以指導排程策略。
為什麼選擇Qwen3-14B
選擇Qwen3-14B是因為它受Amazon Bedrock Custom Model Import支援,作為SageMaker Public Hub模型提供現成的LoRA配方(無需管理自定義容器或例項型別),並且約28 GiB的大小足以經濟高效地服務。
訓練資料和過程
Exowatt在公共Electric Reliability Council of Texas (ERCOT)市場資料上微調模型,資料來自五年曆史(約1.63億行,橫跨12個表)。團隊對該資料進行規則標註,生成25000個示例(22000個用於訓練,1000個用於驗證,2000個保留用於測試)。然後,他們透過讓Amazon Bedrock上的Anthropic Claude Sonnet 4.6改寫每個示例的文本,同時保持標籤和數字欄位不變,將訓練集擴充套件到86281行。
訓練是單個LoRA週期(秩16,alpha 32),在託管無伺服器微調上約8.5小時完成,最多同時執行四個作業。團隊在從初始計劃到冠軍模型在雲EMS中服務的六天內執行了23個作業和約155小時的託管訓練。
決定性的改進來自釋義多樣性:每個答案新增三個改寫將宏F1從0.950提升到0.975。基礎模型僅得分0.415宏F1。它生成了有效的JSON,但還不瞭解市場。微調解決了這個問題。
部署
合併的檢查點在約14分鐘內匯入到Amazon Bedrock Custom Model Import。模型無空閒成本執行,僅在活躍時按每小時6.86美元計費。
基準測試結果
在邊緣告警分類任務上,微調的Qwen3-1.7B從無法生成有效答案的模型提升到320個測試案例上0.911的宏F1,領先於所有前沿基線。將相同的微調和評估迴圈應用於能源市場任務,使用2000個測試案例,Qwen3-14B達到0.975的宏F1,再次領先於前沿基線。