人工智能是否变得过于聪明，反而有害？
AI专家Jonathan Cefalu探讨人工智能安全中最紧迫且常被低估的挑战，包括提示注入漏洞、未来系统可能出现的动机推理及可治理性问题，并分析AI在军事防御中的独特风险。
人工智能安全专家Jonathan Cefalu在一期播客节目中深入探讨了AI领域最紧迫且常被低估的挑战。他指出，诸如提示注入（prompt injection）等看似技术性的漏洞，实际上可能严重削弱AI系统的可靠性和安全性。随着系统能力不断增强，未来的AI可能会表现出动机推理（motivated reasoning），甚至主动抗拒人类的干预和重定向。
Cefalu强调，理解“可治理性”（governability）至关重要——这关乎我们能否有效控制高度复杂的AI。在军事和国防应用中，AI的引入进一步放大了风险，包括对威慑战略、危机升级管理以及高压环境下决策过程的潜在影响。
这场对话不仅揭示了当前AI安全领域的薄弱环节，也提出了一个根本性问题：当AI变得过于聪明时，我们是否还能确保它始终服务于人类利益？