生産環境の大規模言語モデルシステムでは、JSONオブジェクト、型付きトレース、正規表現制約フィールド、ツール呼び出しスキーマなど、機械可読な出力がますます要求されている。しかし、パラメータ数30億未満の小型言語モデル（SLM）は、スキーマを満たしながらタスクを解く能力が限られている。通常のエンジニアリング上の仮定は、硬性出力制約が信頼性を向上させ、基になる回答を変えないというものである。Jaideep Ray氏が2026年5月20日にarXivに提出した論文「制約税：小型言語モデルにおける構造化出力の有効性と正確性のトレードオフ測定」は、この仮定が小型モデルには安全でないことを示している。
著者らは「制約税」測定プロトコルを導入し、モデル、タスク分布、問題インスタンスを固定した条件下で、構造化出力制約によって引き起こされる回答損失と実行可能精度損失を分離する。実験はQwen2.5-0.5B、Qwen2.5-1.5B、SmolLM2-1.7Bの3モデルで、商用GPU上で15,000回の生成を実施した。結果、硬性の回答のみスキーマデコーディングはスキーマ有効性を61.5%から100.0%に向上させたが、回答精度を19.7%から11.0%に低下させ、誤りだがスキーマ有効な出力の割合を49.5%から88.9%に増加させた。
最も産業応用に近い事例は、決定論的なカレンダーツール呼び出しタスクである。Qwen2.5-1.5BはプロンプトのみでJSONを生成する場合、91.5%の実行可能精度を達成するが、同じ硬性ツール呼び出しスキーマ下では48.0%にすぎない。両モードともスキーマ有効性は100.0%である。これはエラーが構造レベルではなく意味レベルで発生していることを示している。つまり、モデルは形式正しい出力を生成するが、内容が誤っているのである。
論文はさらに、30億パラメータ境界付近のモデルでも直接的な制約税を支払う必要があることを指摘し、遅延パッケージングが建設的な設計パターン「自由に推論し、後で制約する」を支持することを示す。つまり、まずモデルに制約なしで推論させ、最後に構造化制約を適用する。この発見は実際の生産システムに直接的な指針を与える。システムはスキーマ有効性だけでなく、スキーマ有効性、回答精度、実行可能精度、誤り有効スキーマ率を別々に報告すべきである。本論文は機械学習（cs.LG）とソフトウェア工学（cs.SE）に分類され、AIエンジニアリング実践における重要性を浮き彫りにしている。