跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

AI 的误区与失败带来的启示

文章摘要

微软研究院合伙人研究经理、普渡大学教授 Jennifer Neville 分享了她曲折的 AI 之路,探讨评估如何推动 AI 性能边界,以及模型在传统基准之外暴露的‘意外失败’。

来源Microsoft Research Blog作者: Chad Atalla, Jennifer Neville
AI 的误区与失败带来的启示
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Jennifer Neville 是微软研究院的合伙人研究经理,同时担任普渡大学计算机科学与统计学 Samuel D. Conte 讲席教授。她的研究聚焦于机器学习和 AI 在交互领域及结构化数据中的应用,尤其关注训练数据如何影响系统行为,以及这些行为是否与用户的真实期望一致。她已发表超过 130 篇论文,被引用超过 1 万次,并获得过 NSF CAREER 奖、IEEE ‘10 to Watch’ 等荣誉。

她的职业轨迹颇为曲折。Neville 最初并不想进入计算机科学,因为她的父亲从事这一行。上大学后,她先主修数学,再转物理,但都觉得不太合拍。她曾一度辍学,重返校园后改修认知科学,又觉得这个领域太‘软’,数学分量不够。后来工作了一段时间,再回学校时,她决定主修计算机科学,因为她想处理数据,也正是在这时偶然发现了 AI——她甚至没意识到 AI 属于计算机科学。

她进入研究领域也带有偶然性。由于荣誉项目要求必须完成一个研究课题,她选择了对相互连接的网页数据进行数据挖掘,并被引荐给一位刚涉足‘统计关系学习’这一新兴领域的教授。项目完成后她在研讨会上发表了论文,从此对研究‘上瘾’。真正吸引她的是研究过程本身:有时感觉原地踏步、倍感沮丧,但导师会鼓励她继续,最终学到新东西时的那种兴奋感,以及理解别人尚未理解的前沿问题,让她一直留在研究中。

2021 年,Neville 从学术界加入微软,同时仍在普渡大学任教和指导学生。她的第一次学术休假去了伯克利 Simons 研究所,偏重理论;第二次休假则来到微软研究院,转向应用研究。当她看到算法理论在真实系统、真实用户和真实数据中如何落地后,便难以回头,于是留在微软。她认为,学术界和产业界研究的问题本质相似,但产业界能大规模应用算法,直接接触真实用户和数据,目标更偏向产品和公司利益;学术界则更抽象、覆盖多个领域,资金多来自 DARPA、NSF 等机构。

目前,她领导的团队名为‘AI 交互与学习’。团队致力于推动 AI 系统在真实工作环境中的行为边界:研究当前系统的性能极限、用户在实际工作流中的体验,以及如何改进模型以完成复杂任务。他们从评估入手,因为传统机器学习评估使用的基准相对简单,无法反映真实使用场景。他们设计实践性评估,涵盖多轮对话、协作环境和长周期任务。一旦发现性能差距,就能指导算法、模型和估计方法的改进方向。

Neville 还提到,当模型在传统基准之外接受测试时,会出现‘意外失败’。当结果出乎意料时,仔细检查数据变得至关重要。她结合数十年 AI 进展,谈论了如何预测下一步发展。整场对话提出了一个更大的问题:当路径——无论是人类还是人工——没有按预期展开时,我们究竟能学到什么。

展开要点与分析

文章情报

投资人进阶

要点

  • Neville 的职业道路从数学、物理到认知科学,最终意外进入计算机科学和 AI 领域。
  • 她的团队专注于评估,以理解 AI 在真实、多轮、协作和长周期任务中的表现边界。
  • 她对比学术界与产业界研究,指出产业界能大规模应用算法并接触真实用户和数据。
  • 研究意外失败和数据有助于预测 AI 的未来发展。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。