MILES：自己改善型LLM推論のための学習可能な選択を備えたモジュール型命令メモリ

大規模言語モデル（LLM）はテスト時の追加計算によって推論能力を向上させることが増えているが、既存の研究の多くは各問題を独立して扱っている。問題が逐次的に到着する場合、それらを横断して再利用可能な経験を蓄積することで、さらに性能を高めることができる。本研究（著者：Ruilin Tongら、2026年7月8日にarXivに投稿、ID：2607.06974）では、MILES（Modular Instruction Memory with LEarnable Selection for Self-Improving LLM Reasoning）というフレームワークを提案する。これは、段階的にメモリを拡張し、現実的なテスト時制約の下で正解率最適化されたメモリ構成を適用する。

MILESは、非対称なサブゴール埋め込みとサブ命令のペアからなるモジュール型メモリユニットを維持し、各ユニットには学習可能な選択ヘッドが関連付けられる。このメモリ構造により、粗いレベルから細かいレベルへの検索メカニズムが可能になる。粗いレベルではメモリ拡張と、確信度の高いサンプルから選択ヘッドを訓練するための監督情報の収集を行う。細かいレベルでは、学習された選択ヘッドを適用して粗いレベルの候補を再ランク付けし、不確かなサンプルの推論を導く。

MILESは、従来のメモリベース手法（解決策テンプレート全体を保存し、新しい問題への汎化が弱い）やヒューリスティックなステップ選択（最終的な正解率に対して最適化されていない）とは異なり、正解率を直接最適化する学習戦略を採用している。また、大規模な訓練データや固定された行動空間を必要としないため、メモリが段階的に拡張され、限られた監督情報しか利用できないテスト時設定に適している。広範な実験により、MILESは一貫して既存手法と同等以上の性能を示し、優れた精度と効率のトレードオフを達成することが実証された。その有効性、ロバスト性、転移可能性が確認されており、計算と言語（cs.CL）および機械学習（cs.LG）の分野に貢献するものである。