トークンを無駄にしない：LLMパイプラインにおけるJSONのよりスマートな代替

要点

• JSONはLLMプロンプトでフィールド名の繰り返しによりトークンを浪費しますが、TOONはフィールドを一度宣言し、行ごとに値を列挙することで削減します。
• TOONはチケットや製品カタログのような繰り返し構造化レコードの入力に最も効果的で、ネストや不規則なデータでは利点が減少します。
• ベストプラクティス：バックエンドではJSONを保持し、LLM入力時のみTOONに変換。出力は解析容易なJSONを使用。
• 実際のパイプラインでトークン節約、レイテンシ、回答品質をベンチマークし、TOONがユースケースに適しているか判断すべきです。