毎日数百万通のメールを処理する企業にとって、構造化データの抽出は大きな課題です。Parcel Performは、世界中のeコマース企業向けにAI配送体験プラットフォームを提供しており、注文番号や追跡番号などの重要情報を、単純な通知からJavaScriptを多用した複雑なHTMLドキュメントまで、多様なメール形式から正確に抽出する必要がありました。
一般的な課題には、モデルの幻覚（ソースに存在しない情報を生成すること）、類似したデータ型の混同（例：注文番号と追跡番号）、およびHTML形式のメールを処理する際の高いトークンコストが含まれます。これらの問題を解決するため、Parcel PerformはAWS Generative AI Innovation Center（GenAIIC）と協力し、Amazon SageMaker AIを使用してAmazon Novaモデルを微調整しました。これにより、モデルは特定のデータパターンを認識し、類似フィールドを区別し、情報をより効率的に処理できるようになります。
このコラボレーションでは、教師あり微調整（SFT）とパラメータ効率の良い微調整（PEFT）の低ランク適応（LoRA）を組み合わせた手法を採用しました。この方法により、限られたトレーニングデータでモデルを効果的にカスタマイズしながら、計算効率を維持できます。ワークフローは、Amazon Bedrockの会話形式に従ったトレーニングデータの準備、Amazon S3へのアップロード、SageMaker AIでの微調整ジョブの作成、Amazon Bedrockのオンデマンド推論を使用した微調整済みモデルのデプロイ、そして新しいメールからのエンティティ抽出のための推論実行で構成されます。
実験では、1,300サンプルの小規模データセットと4,900サンプルの大規模データセットの2つを用意しました。微調整パラメータには、Nova LiteまたはNova Microモデルの使用、最大長8192または32768、グローバルバッチサイズ64、2エポックのトレーニング、LoRAスキーム（alpha値32）などが含まれます。
評価の結果、微調整されたモデルはベースラインと比較して精度が5.6〜16.6ポイント向上しました。特にNova Microモデルは、200サンプルのテストセットで94.77%という最高の精度を達成しました。興味深いことに、Nova Microは小さいモデルであるにもかかわらず、微調整後は大きいNova Liteモデルを上回りました。これは、タスク固有の最適化が基礎モデルのサイズの違いを補えることを示しています。また、トレーニングデータを1,300から4,900サンプルに増やすことで、最大3.3%の性能向上が見られ、適度なデータ増加が意味のあるリターンをもたらすことがわかりました。
レイテンシの面でも、微調整により大幅な改善がありました。Nova Liteの推論レイテンシは31%削減され、Nova Microは32%削減されました。これにより、1回の推論あたり約7.7秒となり、毎日の大量メール処理が迅速化されます。コスト面では、PEFTにより軽量モデルが特定タスクで優れた性能を発揮し、従量課金制のデプロイが可能になるため、全体コストが約50%削減されました。
これらの改善により、Parcel Performは微調整されたAmazon Novaモデルを本番環境に導入し、eコマース物流業務を強化しています。この事例は、1,300サンプル（25エンティティをカバー）という少量のラベル付きデータでも、微調整によって幻覚を減らし、注文番号と追跡番号などの類似フィールドを正確に区別しながら、大幅な精度向上が得られることを示しています。