自我改进的智能体仍需要人类

本文讨论了在编码智能体基准测试中，由于古德哈特定律，基准测试容易过拟合。团队使用Terminal-bench的方式是通过失败模式获取信号，而非追求最高分数。他们采用人类参与的循环来避免智能体作弊，并从失败中提取通用能力。工具方面，使用Python脚本evals/harbor进行实验控制与分析。最近的两个发现是：智能体需要意识到回合数以适时停止，以及恢复了读取磁盘图像的能力。这些改进不仅提升了基准测试成绩，也增强了智能体的实际应用效果。