机器学习研究中有多少是关于AI安全的?涉及哪些内容?谁在做?
LessWrong上的一篇文章分析了ICML 2026的论文,发现仅有一小部分机器学习研究专注于AI安全。在999篇论文中,954篇可检索,其中只有约10篇明确涉及安全议题,涵盖对齐、鲁棒性和可解释性等领域。研究主要由学术机构和工业实验室开展。
机器学习研究在人工智能领域发展迅速,但其中有多少专用于AI安全?LessWrong上的一篇文章对ICML 2026的论文进行了系统分析,试图回答这一问题。
研究团队从总共999篇论文中检索到954篇,发现仅有约10篇明确聚焦于AI安全。这些论文主要涉及三个方向:AI对齐(确保AI系统目标与人类一致)、鲁棒性(抵抗对抗攻击)和可解释性(理解模型决策)。其他论文虽涉及安全边缘议题,但并非核心。
主要贡献者来自学术机构如斯坦福大学、MIT,以及工业实验室如DeepMind和OpenAI。尽管数量少,但研究质量较高,部分成果被引次数领先。作者呼吁ML社区增加对安全研究的投入,以应对未来高级AI系统的潜在风险。