自改進代理通常會從自己運行的結果中總結"經驗教訓"，以便在未來的任務中做得更好。然而，當結果本身帶有噪聲時，這些經驗教訓可能把偶然性——而不是真正的因果規律——編碼進記憶，並影響代理的下一次決策。Kazuki Nakayashiki 的註冊研究《Lessons from Luck》系統性地測量了這條鏈條中的一個環節：LLM 撰寫的經驗教訓是否會將偶然結果攜帶到後續決策中。
研究設計使用了 256 個合成世界。每個世界都是一個重複出現的任務，配有兩個可互換的工具，並記錄了它們各自的可靠性。在腳本化的"上一次運行"中，代理要麼使用了更可靠的工具（好決策），要麼使用了較差的工具（壞決策），然後被賦予一個結果：成功或一次暫時性失敗。隨後，一個模型按照 ReasoningBank 的記憶寫入指令，根據這次運行寫出一條經驗教訓。接着，同一個模型的一個全新會話在持有權威日誌和上一次結果的情況下，憑藉一條記憶項目來選擇下一次運行的第一個工具。這個記憶項目可能是：那條經驗教訓、另一結果對應的經驗教訓、一個無關項目，或一條未經推理的指令。
該協議在確認性調用之前就已凍結、存檔並加蓋時間戳，確保了研究的預註冊性質。11 個 LLM 端點總共產生了 90,084 個答案。核心發現是：在更好的工具遭遇一次偶然失敗後，面板中的經驗教訓確實攜帶了偶然性（註冊解讀為"攜帶運氣"；交互效應 +0.112，95% 區間 [+0.097, +0.126]）。具體而言，當讀者看到的是由那次失敗寫成的經驗教訓時，他們在 11.6% 的下一次運行中選擇了更差的工具；而使用無關項目或由成功寫成的經驗教訓時，這一比例僅為 0.4%。
效應的大小受到日誌內容的調節。當日志明確説明失敗是獨立的時候，效應為 +0.042；當日志沒有説明這一點時，效應為 +0.181（描述性結果）。這表明，上下文中的因果信息可以部分緩解"運氣"的傳遞。另一方面，在較差的工具僥倖成功之後，交互效應被限制在 0.10 以下（+0.002），但作者強調這是一個上界，而不是無害的證據。
探索性分析顯示，在 6 個端點上觀察到了攜帶運氣的現象（最高達 +0.352），而另外 5 個端點則被限制在 0.10 以下。在次要比較中，作者嘗試了干預措施：在寫作指令中加入三句關於決策質量的説明，可將偶然失敗後選擇更差工具的比例降至 7.5%；而針對兩種結果使用一條指令並附帶"不改變"選項，可將比例降至 3.1%。然而，這兩種干預都沒有在每個此類端點上滿足預先註冊的減害規則。
這項研究的意義在於，它首次以註冊研究的方式量化了 LLM 生成的經驗教訓如何將隨機性帶入代理的決策循環。它提醒我們，在構建自改進代理時，僅僅讓代理從經驗中學習是不夠的；還需要確保經驗教訓能夠區分真正的因果信號與偶然噪聲。作者公開了協議、代碼、刺激材料以及鎖定的運行記錄，為後續研究提供了可復現的基礎。