arXivに公開された論文「Third Eye: Beyond Immediate Gains in Recursive Self-Improvement」は、再帰的自己改善の評価方法に根本的な疑問を投げかけている。著者のSujato Duttaらは、現時点で有用に見える自己更新が、モデルがさらに更新された後でも有用であり続けるかどうかが、既存の評価では見落とされがちな重要問題だと指摘する。そこで研究チームは「Third Eye」フレームワークを提案し、即時性能と、さらなるネイティブ更新後の最終結果を分離して測定することで、即時の利益が隠しうる長期的なコストを明らかにした。
実験は、パラメータ数3〜8Bの5つのバックボーンモデルを対象に、数学とコードの2領域で実施された。各実験は64回の新規実行で構成され、各実行で3つの候補更新を生成し、各候補に対して3回の継続更新を行う。評価の厳密性を確保するため、候補の選択と最終スコアリングには重複しないデータ項目を使用している。この分離設計により、同じサンプルへの過学習を避け、未見データに対する更新の真の汎化性能を反映できる。
Qwen3-4BとLlama-3.2-3Bの均衡比較では、注意すべき現象が明らかになった。即時選択された自己更新の効用はほぼゼロだが、1回の継続ネイティブ更新後には効用が1.78パーセントポイント低下し、同時95%信頼区間は[0.68, 2.88]であった。この低下は統計的に有意である。さらに重要なのは、候補平均の即時効用がすでに負である点だ。これは、表面上は中立的に見える第一歩の効果の一部が、選択プロセス自体によって生じていることを意味する。つまり、選ばれた候補だけを見ると自己更新の価値を過大評価する可能性があり、平均的には自己更新が最初から損害をもたらしている可能性がある。
この傾向は他のモデルでも確認された。継続更新はSmolLM3-3BとLlama-3.1-8Bでも効用を低下させたが、Qwen3-8Bでは結果が不確実で明確な結論は得られなかった。論文はさらに、ターゲット損失と分布外損失が保持変化を支配する主な要因であることを示す。しかし、一致したレシピや受容者-提供者対照実験を通じても、信頼できる緩和策も単一の作用メカニズムも特定できなかった。これは、自己更新の負の効果が単純に修正可能な一要因ではなく、複数要因の絡み合いから生じている可能性を示唆する。
これらの知見に基づき、論文は持続的自己更新を「適応遷移」として評価すべきだと主張する。即時性能をその全価値と見なすのではなく、独立したスコアリングセットを用い、更新なしのベースラインを対照として設定することで、更新がもたらす純利益をより正確に測定できる。この方法論的提案は、再帰的自己改善の研究に広く意義を持つ。短期指標は誤解を招く可能性があり、複数回の更新後の性能を追跡して初めて、自己改善が本当に持続可能かどうかを判断できるからだ。
本論文は機械学習(cs.LG)および人工知能(cs.AI)分野に分類され、2026年11月8日に提出された。arXiv番号は2611.12988で、PDF、実験的HTML、TeXソースを含む全文がarXivで公開されている。モデルの自己進化、継続学習、評価手法に関心を持つ研究コミュニティにとって、この研究は重要な警告を与えている。即時の性能向上に惑わされず、より長期的な評価視点を確立すべきである。