构建金融AI代理评估的经验教训

本文作者基于三年实践，分享了为金融AI代理构建内部评估的核心经验：绝对评分在达到一定质量阈值后会失效，相对评分能更好地捕捉细微差别；应使用最强的前沿模型作为评判者，并赋予其原始数据访问权限；评估结果需考虑代理和评判者的方差；路径与结果同样重要。文章还探讨了现有金融基准的局限性，并介绍了作者开发的调整后现金流笔记评估等内部基准。