IBS Software的貨運系統每天處理數千封英日雙語的貨運物流郵件，需要提取空運提單號、航班詳情、重量、交付指令等關鍵信息。為了構建一個魯棒的命名實體識別解決方案，團隊面臨手動干預導致速度慢、準確性與成本難以兼顧等挑戰。最終，他們利用Amazon Bedrock的託管蒸餾功能，從Amazon Nova Pro教師模型蒸餾到更高效的Amazon Nova Lite學生模型，實現了95.085%的F1分數，同時將運營成本降低了14倍。
該項目由9名研究人員和工程師耗時約4個月完成。首月準備數據集，標註了500封雙語郵件；第二月嘗試開源框架（PyTorch、TextBrewer）但失敗；第三月使用Amazon Bedrock成功蒸餾；第四月部署上線。最終配置中，教師模型為amazon.nova-pro-v1:0，學生模型為amazon.nova-lite-v1:0，最大序列長度2048，訓練4個epoch共70步，使用token級KL散度損失函數，損失從0.05降至0.008。
數據集包含350封英文郵件和150封日文郵件，由領域專家手動標註了23種實體類型。評估結果顯示，蒸餾後的Nova Lite整體F1分數為95.085%，其中英文96.535%，日文93.635%。日文性能略低，主要原因是複合漢字組合、無空格文本中的實體邊界模糊以及訓練數據較少。為解決此問題，團隊增加了日文合成訓練數據並應用了後處理規則。
生產部署採用無服務器架構：郵件以.eml文件形式存入Amazon S3，AWS Lambda提取內容，Amazon Bedrock端點進行推理，最終結構化的實體數據存入Amazon DynamoDB。整個管道可在2秒內完成處理，滿足實時性要求。
總之，Amazon Bedrock的託管蒸餾功能消除了開源框架的複雜性，token級蒸餾在英日雙語上均保持了高準確率，2048的序列長度足以覆蓋典型貨運郵件長度。團隊建議有類似需求的組織從Bedrock按需模型開始原型設計，投資高質量雙語標註數據，並探索模型蒸餾。需要注意的是，教師模型與學生模型必須屬於同一模型系列。