AIエージェントがLLMのトークン使用量を70%削減する推論戦略を発見

要点

• AutoTTSはAIエージェントを使用して推論コントローラを発見し、64並列チェーンと比較してトークン使用量を約70%削減。
• 発見された「信頼度モメンタムコントローラ」は、ブランチや停止を適応的に判断。
• UMD、UVA、WUSTL、UNC、Google、Metaのチームが開発。
• すぐに導入できるわけではないが、推論コストを削減する可能性がある。