一項由託辛·阿德烏米、馬庫斯·利維奇、福泰尼·西米斯特拉·利維奇、拉瑪·阿爾哈萊德、哈馬姆·莫凱德和埃斯拉·蘇梅爾-阿爾帕克聯合進行的最新幹預研究，深入探討了在生成式人工智慧（GenAI）背景下，學生如何透過寫作反駁論點來培養批判性思維。該研究特別關注使用GenAI可能帶來的作弊和認知解除安裝風險，旨在探索AI在教育評估中的潛力與侷限性。
研究團隊從某大學課程中選取了36名學生，要求他們從四個精心挑選的熱門辯論論點（例如氣候變化、社交媒體監管等）中選擇一個，撰寫一篇反駁文章。這些論點均來自當前社會廣泛討論的話題，以確保學生有足夠的背景知識。每篇文章需包含學生對AI生成內容的反駁，以考察其邏輯推理能力。在35份有效樣本（一份因違規被剔除）的基礎上，研究採用了六項成熟標準（聚焦、邏輯、內容、風格、正確性和參考文獻）進行評分。每篇文章由三位人類評估者獨立打分：兩位同學互評和一位經驗豐富的教師，均採用5點李克特量表。同時，六種前沿大語言模型（包括GPT-4、Claude等）作為AI評估者，使用相同的評分標準進行評判。
研究採用混合方法設計，包括定性的開放式反饋和定量的統計分析。結果揭示了兩項重要發現：第一，學生自主撰寫的反駁論點展現出清晰的邏輯結構，這被認為是批判性思維的核心要素之一；第二，基於明確評分標準，GenAI能夠成功且大規模地評估學生寫作，其評估結果與人類評估總體一致。具體而言，除一個模型外，所有AI模型與人類評估者之間的Gwet's AC2一致性係數均為0.33，表明中等程度的一致性。這一數值雖不算極高，但在教育評估領域已屬可接受範圍，尤其是在跨評估者信度方面。
值得注意的是，研究中有一個模型表現出偏差，其評分與人類評估存在顯著差異，這提醒我們在使用AI進行教育評估時必須謹慎選擇模型，並持續監控其表現。研究還發現，學生寫作中的邏輯要素不僅體現在論點組織上，還反映在引用證據和回應對立觀點等方面。此外，開放反饋顯示，學生對使用AI評估持開放態度，但擔心隱私和公平性問題。
這項研究的貢獻在於為AI在教育評估中的實際應用提供了實證支援。它表明，在適當指導下，AI可以成為人類教師的有效輔助工具，尤其是在大規模課程中減輕評分負擔。然而，研究也強調，AI評估不能完全替代人類判斷，特別是在需要理解複雜語境和情感因素的寫作任務中。未來研究應進一步探索如何最佳化AI評估的準確性，並解決倫理問題。