有效绩效衡量：从财报电话会议中提取关键绩效指标的挑战与机遇

财报电话会议是上市公司财务信息的重要来源，但与标准化的SEC文件不同，这些会议记录缺乏内置标签、结构杂乱且使用对话式语言，因此从中提取关键绩效指标（KPI）极具挑战性。为了应对这一挑战，研究人员评估了从SEC文件中训练出的模型在财报电话会议上的表现，并提出了三个新基准数据集：SEC文件基准（SECB）、财报电话会议基准（ECB）以及包含2460个专家标注组的ECB-A子集，以支持定性分析。实验发现，基于编码器的模型难以适应从SEC文件到电话会议的领域迁移，性能表现不佳。为解决这一问题，研究团队提出了一种基于大型语言模型（LLM）的系统，能够从非结构化电话会议记录中进行开放式的KPI提取。该系统通过人工评估验证，达到了79.7%的精确率，为这一有价值领域提供了可靠的基线。值得注意的是，该工作已被ACL Industry Track接收，这标志着学术界对金融文本信息提取领域的持续关注。研究不仅揭示了当前模型在跨领域应用中的局限性，还通过构建新基准和提出LLM方案，为未来自动跟踪新兴KPI的研究奠定了基础。此外，该方法的成功表明，LLM在理解复杂、非结构化文本方面具有显著优势，有望在金融分析、企业绩效监测等实际场景中发挥重要作用。随着财报电话会议的数量不断增加，能够高效准确地从中提取关键信息对于投资者、分析师和企业管理者来说变得越来越重要。该研究提供的工具和基准将有助于推动这一领域的发展。