AI科學家何時該停止？可驗證實驗引導與自主發現中的拒絕機制
本文提出CARTOGRAPH框架，為AI科學家提供可驗證的實驗引導與拒絕能力。該框架透過未解析子空間實驗引導、顯式模糊閉合和基於殘差的庫不足檢測，在多個測試中優於原始投影方法。在回顧性審計中，成功標記了A-Lab系統中所有後續被認定為不確定的主張。
在人工智慧驅動的科學發現中，一個關鍵問題始終存在：AI科學家何時應該停止實驗並接受一個假設？過度自信可能導致錯誤結論，而過於保守則可能錯失重要發現。為了解決這一困境，研究人員提出了CARTOGRAPH框架，旨在為自主發現系統提供可驗證的實驗引導和拒絕能力。
CARTOGRAPH的核心是一個驗證層，它將三個關鍵步驟結合在一起：未解析子空間實驗引導（選擇）、顯式模糊閉合（解析）和基於殘差的庫不足檢測（拒絕）。在區域性線性高斯橋假設下，原始未解析投影被視為各向同性未解析Fisher資訊跡，而CARTOGRAPH-A則提供了精確的未解析A最優規則。值得注意的是，封閉形式的EIG和Box-Hill指標作為區域性比較器出現，而非全域性等價物。
為了評估CARTOGRAPH的效能，研究人員在五個不同的測試床上進行了實驗。結果顯示，在維度d=8的重複結構化級聯測試中，CARTOGRAPH-A以129勝0平15負的壓倒性優勢擊敗了原始投影方法（p<10^-21）。這一結果證實了框架在複雜搜尋空間中的有效性。
更具區分性的是，CARTOGRAPH展示了一種獨特的自糾錯能力。在實驗中，框架初步識別了三個庫外的藥代動力學機制，但隨著殘差暴露結構失配，它主動撤銷了這些識別。與此同時，一個受擾動的庫內對照始終被正確識別。這種動態調整能力對於避免虛假髮現至關重要。
在低維藥代動力學和過濾後的EPA設定中，理論預測的接近平局與觀察結果一致，進一步驗證了框架的魯棒性。
最令人印象深刻的是，CARTOGRAPH在回顧性審計中展現了實際價值。研究人員對已發表的A-Lab自主材料系統中40個肯定主張進行了審計，其中拒絕機制成功標記了所有4個後續被認定為不確定的主張，同時透過了36個確認主張中的32個。這表明CARTOGRAPH不僅能識別潛在錯誤，還能避免過度拒絕正確的發現。
CARTOGRAPH的程式碼已在GitHub上公開，為AI科學社群提供了一個強大的工具。隨著自主發現系統在科學領域的應用日益廣泛，確保其可靠性和可驗證性將變得至關重要。CARTOGRAPH透過提供明確的停止規則和拒絕機制，向這一目標邁出了重要一步。