对于每天需要处理数百万封电子邮件的企业来说，手动提取其中的结构化数据不仅耗时费力，还容易出错。Parcel Perform 作为一家为全球电商企业提供 AI 配送体验平台的领先公司，就面临着这样的挑战：其需要从格式各异的电子邮件中准确提取订单号、物流单号等关键信息，这些邮件既有简单的通知，也有包含大量 JavaScript 元素的复杂 HTML 文档。
常见的难题包括模型幻觉（即生成源文本中不存在的信息）、相似数据类型的混淆（例如订单号和物流单号），以及处理 HTML 格式邮件时高昂的 token 成本。为了解决这些问题，Parcel Perform 与 AWS 生成式 AI 创新中心（GenAIIC）合作，利用 Amazon SageMaker AI 对 Amazon Nova 模型进行微调，教会模型识别特定的数据模式、区分相似字段，并更高效地处理信息。
该合作项目采用了监督微调（SFT）结合参数高效微调（PEFT）中的低秩适应（LoRA）技术。这种方法允许在有限训练数据下有效定制模型，同时保持计算效率。整个工作流程包括：准备训练数据（遵循 Amazon Bedrock 对话格式）、将数据上传至 Amazon S3、在 SageMaker AI 中创建微调作业、使用 Amazon Bedrock 按需推理部署微调后的模型，以及运行推理从新邮件中提取实体。
在实验中，团队准备了两个训练数据集：一个包含 1,300 个样本的小型数据集，另一个包含 4,900 个样本的大型数据集。微调参数包括使用 Nova Lite 或 Nova Micro 模型、设置最大长度为 8192 或 32768、全局批大小为 64、训练 2 个 epoch，并采用 LoRA 方案，alpha 值为 32 等。
评估结果显示，微调后的模型在准确率上相比基线提升了 5.6 到 16.6 个百分点。其中，Nova Micro 模型表现尤为突出，在 200 个样本的测试集上达到了 94.77% 的最高准确率。令人意外的是，尽管 Nova Micro 是较小的模型，但经过微调后其表现甚至超过了更大的 Nova Lite 模型，这证明了针对特定任务的优化可以弥补基础模型规模的差异。此外，将训练数据从 1,300 个样本增加到 4,900 个样本，进一步提升了最多 3.3% 的性能，表明适度增加训练数据量仍能带来有意义的回报。
在延迟方面，微调也带来了显著改善：Nova Lite 的推理延迟降低了 31%，Nova Micro 降低了 32%，每次推理大约只需 7.7 秒，这使得处理大量日常邮件更加高效。成本方面，由于 PEFT 让较轻量的模型在特定任务上表现更好，并支持按需付费的部署方式，整体成本降低了约 50%。
这些改进使得 Parcel Perform 能够将微调后的 Amazon Nova 模型投入生产环境，用于改进其电商物流运营。该案例表明，即使只有少量的标注数据（如 1,300 个样本覆盖 25 个实体），也能通过微调获得显著的准确率提升，同时减少幻觉，并准确区分订单号和物流单号等相似字段。