何時批評能改善AI輔助理論物理？SCALAR：用於智慧推理的結構化批評-行動迴圈

隨著大型語言模型（LLM）在研究級物理推理任務中展現出越來越大的潛力，智慧體AI也日益普及，一個實際的問題隨之浮現：研究人員與AI智慧體之間的互動如何影響結果？為了探究這一問題，研究者提出了SCALAR（結構化批評-行動迴圈，即Structured Critic--Actor Loop for AI Reasoning），這是一個應用於量子場論和絃論問題的行動-批評-裁判管道。在該框架中，行動者（Actor）提出解決方案，批評者（Critic）提供迭代反饋，獨立的裁判（Judge）則根據參考解決方案評估過程記錄。研究者系統地變化了行動者角色、批評反饋策略以及行動者模型系列和規模。研究發現，多輪對話在各種設定下均優於單次嘗試，但改進的機制以及不同提示選擇的價值很大程度上依賴於行動者與批評者的配對方式。在同一個模型系列內增加規模（例如從DeepSeek-R1的80億引數變體升級到700億引數版本）可以改善某些簡單問題的表現，但並未消除觀察到的最大瓶頸。批評反饋策略在不對稱的行動-批評設定中最為有效（例如，由更強的Sonnet批評者指導輕量級Haiku行動者），此時建設性反饋能提升平均得分。而在同系列的行動-批評設定中，策略效果較弱：寬鬆的反饋有時更受歡迎，而嚴格或對抗性的反饋則無益。總體而言，SCALAR為評估哪些互動結構有助於或阻礙AI驅動的科學發現提供了一個受控的測試平臺。該研究由Vasilis Niarchos等四位作者完成，論文共17頁，包含9張圖表，涉及人工智慧、人機互動、高能物理現象學與理論等多個學科。論文於2026年5月7日提交至arXiv，報告編號包括CCTP-2026-7、ITCP-2026-7、CERN-TH-2026-097和QMUL-PH-26-15。研究團隊在實驗中使用了多種模型配置，包括DeepSeek-R1的不同規模版本以及Claude系列模型（如Haiku和Sonnet）。他們發現，雖然多輪對話整體上提高了效能，但具體的提升幅度取決於行動者和批評者的組合，以及批評者提供的反饋型別。例如，當批評者提供建設性的具體意見時，在不對稱配對中平均得分顯著提升；而在同一模型家族內，寬鬆的反饋有時比嚴格的反饋更有效。這一發現對於設計更有效的AI輔助科研互動具有重要指導意義。