跳到主要内容
AI News HubLIVE
站内改写5 分钟阅读

Exowatt借助SageMaker无服务器模型定制在准确性上超越前沿模型

文章摘要

Exowatt利用Amazon SageMaker AI的无服务器模型定制构建了可重复的AI流水线,为边缘和云两个部署目标生成特定任务的微调模型,以高达49倍的成本优势实现了比前沿模型更高的准确性。

来源AWS Machine Learning Blog作者: Purna Sanyal
Exowatt借助SageMaker无服务器模型定制在准确性上超越前沿模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Exowatt公司致力于构建模块化、可调度的太阳能系统,为AI数据中心等能源密集型应用提供可靠电力。其旗舰产品Exowatt P3通过光学透镜捕获太阳能,将其以热能形式储存在长期热电池中,并通过热机按需调度电力。与并网光伏系统不同,P3直接在电表后端为数据中心供电,帮助数据中心无需等待多年的电网互联排队即可上线。Exowatt构建了一支AI代理团队,用于监控和分类实时告警,并支持太阳能系统的运营决策,这些决策往往在边缘端进行,网络连接有限甚至完全没有。随着其设备规模从测试台扩展到制造和数千台现场部署单元,运营这些系统的智能层也必须同步扩展。

本文展示了Exowatt如何利用Amazon SageMaker AI的无服务器模型定制构建可重复的AI流水线。该流水线为边缘和云两个部署目标生成特定任务的微调模型,以高达49倍的成本优势实现了比前沿模型更高的准确性。

这里描述的两个模型只是该流水线的首批输出,而非最终目标。更具持久价值的成果是流水线本身:一条从原始运营数据到认证训练集、微调模型和经过评估的部署产物的可重复路径。Exowatt现在可以在几天内而非几个月内运行这条路径。告警分类和能源市场分析只是众多狭窄但高价值任务中的两个,同样的方法可以应用于更多场景。

挑战:物理能源基础设施上的人工智能

Exowatt的能源管理系统(EMS)运行在不断增长的运营站点上。每个站点持续产生告警:硬件组件运行超出规格、连接中断、电压读数超出范围等类似事件。随着设备规模向数千台现场单元扩展,人工操作员无法实时监控每个站点。Exowatt需要一个AI代理,能够读取每个站点的告警状态,并自主可靠地采取或建议正确的下一步行动。

前沿模型无法解决这个问题,原因有三:

任务狭窄且专有。Exowatt EMS上的告警分类依赖于其特定硬件、数据和运营逻辑。通用前沿模型并不专门针对此任务。

必须在边缘运行,无GPU且通常无互联网。许多站点连接有限或间歇性中断,因此依赖云调用前沿模型的代理在连接断开时会使操作员失去覆盖。

成本在设备规模下无法扩展。将每个运营决策都路由到前沿模型,在数千个站点上对于持续重复的决策来说并不经济。

这正是Exowatt转向模型定制的原因。Exowatt最初的微调工作流程依赖于选择开放权重模型、构建容器并在任何实验运行之前创建自定义训练配方。这是模型实验的主要障碍。此外,他们还必须决定模型微调的GPU硬件需求。随着团队加快实验节奏,每次运行首先需要选择特定的GPU实例类型,然后等待自行选择的容量可用。当所选实例类型不可用时,这可能会延迟运行的开始或完全阻止运行。

他们需要一个足够小的模型,可以在无GPU的边缘控制器上运行,同时在该特定任务上足够准确,以与前缘模型相比自主行动。微调弥补了这一差距:一个紧凑的、任务专用的模型,既可在云端部署,也可在边缘部署。

解决方案概述

Exowatt通过在Amazon SageMaker AI上采用云原生、无服务器的模型定制方法解决了这些挑战。相同的训练流水线为边缘和云两个部署目标生成微调模型。

Exowatt在Qwen3-1.7B模型上实施了该方法用于第一个用例——边缘告警分类,然后将相同方法应用于Qwen3-14B模型用于第二个用例——云能源市场分析。公司计划重用该解决方案,在整个设备群中构建更小的任务专用模型。

图1:Exowatt微调和部署流水线,涵盖构建、云服务和边缘服务三个阶段

以下七项AWS服务驱动AI流水线,无需管理任何实例、集群或端点:

AWS服务 | 用途 Amazon Simple Storage Service (Amazon S3) | 数据、清单、模型产物和测试集 Amazon SageMaker AI无服务器微调 | 每次微调运行,从Public Hub配方启动 Amazon SageMaker AI无服务器评估 | 每个候选模型2000个答案作为托管作业评分 SageMaker Model Registry | 每次完成的微调及其证据和指标 Amazon Bedrock Custom Model Import | 托管微调的Qwen3-14B用于云EMS,从云EMS服务私有调用,无空闲成本 Amazon Bedrock (Claude, Qwen3) | 释义(训练数据中每个答案三个改写)和前沿模型基准测试

告警分类释义使用Amazon Bedrock上的Qwen3-VL-235B。能源市场释义使用Amazon Bedrock上的Claude Sonnet 4.6。

AWS Lambda + Amazon EventBridge | 无服务器评估评分器和自定义模型的计划保活调用

工作流程分为三个阶段:

模型定制(云):Exowatt使用无服务器模型定制、低秩适应(LoRA)和监督微调(SFT)在SageMaker AI上微调开放权重基础模型。由于无服务器训练按需分配容量,团队每天可以运行多个实验,而不是等待自行选择的GPU。评估后,最佳模型注册到SageMaker AI Model Registry。

边缘部署:对于延迟敏感、连接受限的工作(如告警分类),微调的Qwen3-1.7B模型被冻结、量化为GGUF格式,并使用llama.cpp在边缘的Kubernetes Pod中通过现场控制器运行。此路径无需GPU,且无需互联网连接即可运行。

云部署(弹性):对于互联网连接的设备级分析,微调的Qwen3-14B能源市场模型通过Amazon Bedrock Custom Model Import提供服务,无空闲成本,仅在模型活跃时计费。

为什么选择Amazon SageMaker AI无服务器模型定制

Amazon SageMaker AI无服务器模型定制服务提供了广泛的开放权重模型选择,以及来自SageMaker Public Hub的现成微调配方,因此团队避免了构建和优化自定义训练容器的工作,这通常需要数周时间。对Exowatt而言,这将微调从稀缺的预定事件转变为常规的按需操作。这使得快速实验和测试循环变得可行,同时保持实验成本低廉。

在预配置GPU上进行微调需要选择特定实例类型、请求该容量、等待其可用、运行作业,并在持有实例期间持续付费。持有时间通常包括实验之间的空闲时间,因为专用实例保持运行。对于运行许多实验的小团队来说,这减慢了创新速度并增加了成本。Amazon SageMaker AI无服务器模型定制自动管理和编排运行微调作业所需的基础设施,消除了容量管理的痛苦,并且仅按微调作业运行时间计费。

用例1:使用Qwen3-1.7B进行边缘告警分类

Exowatt站点全天候发出告警。一个紧凑的现场模型读取每个告警以及站点自身的状态和遥测数据,返回一小组固定分类之一,并附带引用证据(如系统离线、组件降额或传感器不匹配),或在证据不足时明确弃权。

模型选择和训练数据

团队首先尝试了Qwen3-8B配合提示和护栏,但效果停滞在目标以下(宏F1为0.735)。微调的Qwen3-1.7B改变了这一局面:在这个狭窄的单轮任务上,它以约五分之一的参数量超越了Qwen3-8B加提示的设置,同时保持足够小,适合无GPU的边缘推理。十三个微调的Qwen3-8B候选模型在12个数据集版本上从未击败提示的8B基线。更小的模型配合更多样化的数据取得了成功。

训练集小而精:2522个示例,由684个经过验证的生成站点场景决策和1838个认证释义组成,每个释义保持决策不变,同时改写文本。释义由Amazon Bedrock上的Qwen3-235B生成,成本约3.72美元。每个释义仅当确定性检查确认决策、标签、证据引用和每个数字均未改变时才保留(2218个候选中1838个通过)。一个故障家族完全排除在训练之外,320个案例保留用于测试。

训练和部署

训练在SageMaker无服务器微调上约32分钟完成,成本约20-25美元。量化为8位(约1.71 GiB)后,模型在站点现有CPU服务器的6 GiB llama.cpp Pod中离线运行。它也可以在t3.2xlarge实例类型上运行。

用例2:使用Qwen3-14B进行云能源市场分析

可调度存储将时机转变为运营决策:每个站点必须持续决定为其负载保留多少存储能量以及何时释放,对于并网站点,市场条件会影响这一选择。微调模型读取六小时的实时市场数据包(约90行实时价格、日前预测和电网通知),并在约四秒内返回五种市场事件之一(如价格飙升或稀缺附加费)。每个声明都绑定到特定数据行,以指导调度策略。

为什么选择Qwen3-14B

选择Qwen3-14B是因为它受Amazon Bedrock Custom Model Import支持,作为SageMaker Public Hub模型提供现成的LoRA配方(无需管理自定义容器或实例类型),并且约28 GiB的大小足以经济高效地服务。

训练数据和过程

Exowatt在公共Electric Reliability Council of Texas (ERCOT)市场数据上微调模型,数据来自五年历史(约1.63亿行,横跨12个表)。团队对该数据进行规则标注,生成25000个示例(22000个用于训练,1000个用于验证,2000个保留用于测试)。然后,他们通过让Amazon Bedrock上的Anthropic Claude Sonnet 4.6改写每个示例的文本,同时保持标签和数字字段不变,将训练集扩展到86281行。

训练是单个LoRA周期(秩16,alpha 32),在托管无服务器微调上约8.5小时完成,最多同时运行四个作业。团队在从初始计划到冠军模型在云EMS中服务的六天内运行了23个作业和约155小时的托管训练。

决定性的改进来自释义多样性:每个答案添加三个改写将宏F1从0.950提升到0.975。基础模型仅得分0.415宏F1。它生成了有效的JSON,但还不了解市场。微调解决了这个问题。

部署

合并的检查点在约14分钟内导入到Amazon Bedrock Custom Model Import。模型无空闲成本运行,仅在活跃时按每小时6.86美元计费。

基准测试结果

在边缘告警分类任务上,微调的Qwen3-1.7B从无法生成有效答案的模型提升到320个测试案例上0.911的宏F1,领先于所有前沿基线。将相同的微调和评估循环应用于能源市场任务,使用2000个测试案例,Qwen3-14B达到0.975的宏F1,再次领先于前沿基线。

展开要点与分析

文章情报

工程师进阶

要点

  • Exowatt使用SageMaker无服务器微调,以约20-25美元的成本在32分钟内完成Qwen3-1.7B的边缘告警分类模型训练,宏F1达到0.911,超越所有前沿基线。
  • 云能源市场分析采用Qwen3-14B,在约8.5小时内完成LoRA微调,宏F1达到0.975,而基础模型仅为0.415。
  • 通过Amazon Bedrock生成的释义数据(每个答案三个改写)将能源市场任务的宏F1从0.950提升到0.975。
  • 该流水线将微调从稀缺的预定事件转变为常规的按需操作,使团队能够在几天内而非几个月内完成从原始数据到部署的整个过程。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。