IBS Softwareの貨物システムは毎日数千通の英語と日本語が混在する貨物物流メールを処理し、航空貨物運送状番号、フライト詳細、重量、配送指示などの重要情報を抽出します。堅牢な固有表現認識ソリューションを構築するにあたり、手動介入による速度低下や精度とコストのトレードオフといった課題に直面しました。そこで、Amazon Bedrockの管理型蒸留機能を利用し、Amazon Nova Pro（教師モデル）からより効率的なNova Lite（生徒モデル）へ知識を蒸留。その結果、95.085%のF1スコアを達成し、運用コストを14倍削減しました。
プロジェクトは9名の研究者とエンジニアからなるチームが約4ヶ月かけて実施。初月に500通のバイリンガルメールを準備・アノテーション、2ヶ月目にPyTorchやTextBrewerなどのオープンソースフレームワークを試すも失敗、3ヶ月目にAmazon Bedrockでの蒸留に成功、4ヶ月目に本番デプロイと最適化を行いました。構成は教師モデルがamazon.nova-pro-v1:0、生徒モデルがamazon.nova-lite-v1:0、最大系列長2048、4エポック・70ステップのトレーニングで、損失関数にはトークンレベルのKLダイバージェンスを使用。損失は0.05から0.008に低減しました。
データセットは英語350通、日本語150通の実際の貨物物流メールで、ドメイン専門家が23のエンティティタイプを手動でアノテーション。評価の結果、蒸留後のNova Liteは全体F1スコア95.085%（英語96.535%、日本語93.635%）を記録。日本語のスコアがやや低い原因は、漢字の複合語、スペースのない日本語テキストでのエンティティ境界の曖昧さ、訓練データの少なさ（150通）にあります。これに対処するため、合成データの追加や後処理ルールを適用しました。
本番デプロイはサーバーレスアーキテクチャで、メールは.emlファイルとしてAmazon S3に到着、AWS Lambdaが本文を抽出し、Amazon Bedrockエンドポイントが推論、最終的な構造化データはAmazon DynamoDBに保存。パイプライン全体は2秒未満で処理を完了し、リアルタイム要件を満たしています。
まとめとして、Amazon Bedrockの管理型蒸留機能はオープンソースの複雑さを解消し、トークンレベルの蒸留により英日両言語で高精度を維持。2048トークンの系列長は典型的な貨物メールの長さに対応可能です。同様の課題に直面する組織には、Bedrockのオンデマンドモデルでの迅速なプロトタイピング、高品質なバイリンガル訓練データへの投資、モデル蒸留の検討を推奨します。ただし、教師モデルと生徒モデルは同じモデルファミリーである必要がある点に注意が必要です。