一项由托辛·阿德乌米、马库斯·利维奇、福泰尼·西米斯特拉·利维奇、拉玛·阿尔哈莱德、哈马姆·莫凯德和埃斯拉·苏梅尔-阿尔帕克联合进行的最新干预研究，深入探讨了在生成式人工智能（GenAI）背景下，学生如何通过写作反驳论点来培养批判性思维。该研究特别关注使用GenAI可能带来的作弊和认知卸载风险，旨在探索AI在教育评估中的潜力与局限性。
研究团队从某大学课程中选取了36名学生，要求他们从四个精心挑选的热门辩论论点（例如气候变化、社交媒体监管等）中选择一个，撰写一篇反驳文章。这些论点均来自当前社会广泛讨论的话题，以确保学生有足够的背景知识。每篇文章需包含学生对AI生成内容的反驳，以考察其逻辑推理能力。在35份有效样本（一份因违规被剔除）的基础上，研究采用了六项成熟标准（聚焦、逻辑、内容、风格、正确性和参考文献）进行评分。每篇文章由三位人类评估者独立打分：两位同学互评和一位经验丰富的教师，均采用5点李克特量表。同时，六种前沿大语言模型（包括GPT-4、Claude等）作为AI评估者，使用相同的评分标准进行评判。
研究采用混合方法设计，包括定性的开放式反馈和定量的统计分析。结果揭示了两项重要发现：第一，学生自主撰写的反驳论点展现出清晰的逻辑结构，这被认为是批判性思维的核心要素之一；第二，基于明确评分标准，GenAI能够成功且大规模地评估学生写作，其评估结果与人类评估总体一致。具体而言，除一个模型外，所有AI模型与人类评估者之间的Gwet's AC2一致性系数均为0.33，表明中等程度的一致性。这一数值虽不算极高，但在教育评估领域已属可接受范围，尤其是在跨评估者信度方面。
值得注意的是，研究中有一个模型表现出偏差，其评分与人类评估存在显著差异，这提醒我们在使用AI进行教育评估时必须谨慎选择模型，并持续监控其表现。研究还发现，学生写作中的逻辑要素不仅体现在论点组织上，还反映在引用证据和回应对立观点等方面。此外，开放反馈显示，学生对使用AI评估持开放态度，但担心隐私和公平性问题。
这项研究的贡献在于为AI在教育评估中的实际应用提供了实证支持。它表明，在适当指导下，AI可以成为人类教师的有效辅助工具，尤其是在大规模课程中减轻评分负担。然而，研究也强调，AI评估不能完全替代人类判断，特别是在需要理解复杂语境和情感因素的写作任务中。未来研究应进一步探索如何优化AI评估的准确性，并解决伦理问题。