當前，生產級大語言模型系統越來越多地要求輸出機器可讀的格式，如JSON對象、類型化軌跡、正則表達式約束的字段以及工具調用模式。然而，當部署在設備端或低成本場景時，參數小於30億的小型語言模型雖然具有隱私、低延遲和通用硬件的優勢，但在滿足格式約束的同時完成實際任務的能力有限。
通常的工程假設是，硬性輸出約束能夠提高可靠性而不會改變答案本身。但本文指出，這一假設對於小模型而言並不安全。研究者提出了“約束税”（constraint tax）這一測量協議，用於在固定模型、固定任務分佈和固定問題實例下，隔離結構化輸出約束導致的答案准確性和可執行準確性損失。
在超過15,000次使用Qwen2.5-0.5B、Qwen2.5-1.5B和SmolLM2-1.7B的商用GPU生成實驗中，僅對答案進行硬性模式解碼使模式有效性從61.5%提升至100%，但答案准確性從19.7%下降至11.0%，同時錯誤但符合模式的輸出從49.5%激增至88.9%。在最具代表性的行業類比——確定性日曆工具調用任務中，Qwen2.5-1.5B通過僅提示JSON實現了91.5%的可執行準確性，而在相同工具調用模式下僅達到48.0%，且兩種方式均實現了100%的模式有效性。這表明錯誤是語義性的，而非結構性的。
研究還發現，30億參數的邊界仍然存在直接的模式税，而延遲打包（delayed packaging）支持一種建設性設計模式：先自由推理，後約束打包。實際的結論很直接：生產系統應當分別報告模式有效性、答案准確性、可執行準確性和錯誤模式正確率。本文的發現對依賴小模型進行結構化輸出的生產系統具有重要指導意義，提醒工程師不要盲目假設硬約束無損於答案質量。未來工作可探索更智能的約束施加策略，以及在不同模型規模上的泛化性。