自己改善型エージェントは、自身の実行結果から「教訓」を書き出し、将来のタスクに活かそうとする。しかし、結果にノイズが含まれる場合、その教訓は真の因果関係ではなく偶然性を記憶に組み込んでしまい、次の意思決定に影響を与える可能性がある。Kazuki Nakayashiki による登録研究「Lessons from Luck」は、この連鎖の一端を体系的に測定した。すなわち、LLM が書いた教訓が偶然の結果を後続の意思決定に持ち込むかどうかである。
研究デザインでは 256 の合成世界が使用された。各世界は、記録された信頼性を持つ 2 つの交換可能なツールを備えた繰り返しタスクである。スクリプト化された「前回の実行」では、エージェントはより信頼性の高いツール（良い決定）またはより信頼性の低いツール（悪い決定）のいずれかを使用し、成功または一時的な失敗という結果が割り当てられた。次に、モデルは ReasoningBank の記憶書き込み指示に従って、その実行から教訓を 1 つ書いた。その後、同じモデルの新しいセッションが、権威あるログと前回の結果を保持した状態で、1 つの記憶項目を使って次の実行の最初のツールを選択した。記憶項目は、その教訓、別の結果からの教訓、無関係な項目、または推論なしの指示のいずれかであった。
プロトコルは確認的呼び出しの前に凍結・寄託・タイムスタンプされ、事前登録の性質が確保された。11 の LLM エンドポイントが合計 90,084 件の回答を生成した。中心的な発見は、より良いツールが偶発的に失敗した後、パネルの教訓が偶然性を運んだことである（登録された解釈では「運を運ぶ」；交互作用 +0.112、95% 区間 [+0.097, +0.126]）。具体的には、その失敗から書かれた教訓を読んだ場合、次の実行でより悪いツールを選んだ割合は 11.6% であったのに対し、無関係な項目や成功から書かれた教訓では 0.4% であった。
効果の大きさはログの内容によって調整された。ログに失敗が独立であると明記されている場合の効果は +0.042 であり、明記されていない場合は +0.181 であった（記述的結果）。これは、文脈中の因果情報が「運」の伝達を部分的に緩和できることを示唆している。一方、より悪いツールが幸運にも成功した後の交互作用は 0.10 未満（+0.002）に抑えられたが、著者はこれは上限であり無害の証拠ではないと強調している。
探索的分析では、6 つのエンドポイントで運を運ぶ現象が観察され（最大 +0.352）、別の 5 つのエンドポイントでは 0.10 未満に抑えられた。二次比較では、著者は介入を試みた。書き込み指示に意思決定の質に関する 3 文の注記を加えると、偶発的失敗後のより悪いツールの選択率は 7.5% に低下した。また、両方の結果に対して 1 つの指示と「変更なし」オプションを使用すると、3.1% に低下した。しかし、どちらの介入も、事前登録された被害軽減ルールをすべての該当エンドポイントで満たすことはなかった。
この研究の意義は、LLM が生成した教訓がどのようにランダム性をエージェントの意思決定ループに持ち込むかを、登録研究として初めて定量化した点にある。自己改善型エージェントを構築する際には、エージェントに経験から学習させるだけでは不十分であり、教訓が真の因果信号と偶発的ノイズを区別できるようにする必要があることを警告している。著者はプロトコル、コード、刺激材料、およびロックされた実行記録を公開しており、今後の研究の再現可能な基盤を提供している。