IBS Software的货运系统每天处理数千封英日双语的货运物流邮件，需要提取空运提单号、航班详情、重量、交付指令等关键信息。为了构建一个鲁棒的命名实体识别解决方案，团队面临手动干预导致速度慢、准确性与成本难以兼顾等挑战。最终，他们利用Amazon Bedrock的托管蒸馏功能，从Amazon Nova Pro教师模型蒸馏到更高效的Amazon Nova Lite学生模型，实现了95.085%的F1分数，同时将运营成本降低了14倍。
该项目由9名研究人员和工程师耗时约4个月完成。首月准备数据集，标注了500封双语邮件；第二月尝试开源框架（PyTorch、TextBrewer）但失败；第三月使用Amazon Bedrock成功蒸馏；第四月部署上线。最终配置中，教师模型为amazon.nova-pro-v1:0，学生模型为amazon.nova-lite-v1:0，最大序列长度2048，训练4个epoch共70步，使用token级KL散度损失函数，损失从0.05降至0.008。
数据集包含350封英文邮件和150封日文邮件，由领域专家手动标注了23种实体类型。评估结果显示，蒸馏后的Nova Lite整体F1分数为95.085%，其中英文96.535%，日文93.635%。日文性能略低，主要原因是复合汉字组合、无空格文本中的实体边界模糊以及训练数据较少。为解决此问题，团队增加了日文合成训练数据并应用了后处理规则。
生产部署采用无服务器架构：邮件以.eml文件形式存入Amazon S3，AWS Lambda提取内容，Amazon Bedrock端点进行推理，最终结构化的实体数据存入Amazon DynamoDB。整个管道可在2秒内完成处理，满足实时性要求。
总之，Amazon Bedrock的托管蒸馏功能消除了开源框架的复杂性，token级蒸馏在英日双语上均保持了高准确率，2048的序列长度足以覆盖典型货运邮件长度。团队建议有类似需求的组织从Bedrock按需模型开始原型设计，投资高质量双语标注数据，并探索模型蒸馏。需要注意的是，教师模型与学生模型必须属于同一模型系列。