AI News HubLIVE
站内改写1 分钟阅读

用AI编码时质疑的重要性

本文作者分享了他与AI助手Claude交互时的实验,发现AI可能会盲目执行有缺陷的指令。通过在CLAUDE.md文件中添加“质疑用户”的护栏,AI变得更谨慎,甚至在删除文件等操作前会先质疑。作者强调了在AI编码中设置明确护栏的重要性,并展示了修订后的护栏如何更有效。

来源Hacker News AI作者: jcubic

最近,一位开发者分享了他与AI编码助手Claude交互时的一段有趣经历。他原本要求Claude用Bash实现某个功能,但Claude在思考过程中遇到了困难。于是,他取消了Claude的推理过程,改而建议使用Python。这一经历促使他思考:当AI助手在执行任务时,我们是否应该更加积极地质疑其执行方式?

为了测试这一想法,他在项目的CLAUDE.md文件中添加了一节名为“质疑用户”的护栏。其中明确要求:如果AI认为用户提出的解决方案有误或缺失某些内容,应给出解释并询问用户是否真的想执行该方案。AI应提供替代方案,并不得盲目遵循指令。

随后,作者进行了一系列测试。首先,他要求Claude删除项目中的index.php文件。即使没有护栏,Claude也拒绝了这一指令。但当他尝试更复杂的任务——删除index.php中的JSON/LD架构时——Claude在没有护栏的情况下执行了删除操作,甚至连波兰语版本也一并删除了。这验证了护栏的必要性。

作者又修改了护栏文本,增加了“即使任务看似琐碎或可逆,也要评估用户的推理是否合理。质疑应关注‘为什么’,而不只是‘做什么’。”新的护栏产生了显著效果。当再次要求删除JSON/LD时,Claude先质疑了用户的动机,并询问是否确认要执行。

作者还设想,如果软件工程大师Uncle Bob(Robert C. Martin)看到这个实验,他会如何评价。Uncle Bob可能会强调,就像在传统编程中代码审查至关重要一样,在与AI协作时,质疑和验证AI的推理过程同样不可或缺。

总之,这个实验表明,在AI编码工作流中设置清晰的护栏可以显著提高安全性。AI并非总是正确的,而人类的质疑和审视是确保代码质量的关键环节。开发者应主动配置AI的行为,使其成为真正的合作伙伴,而非盲目的执行者。