人工智能是否變得過於聰明，反而有害？
AI專家Jonathan Cefalu探討人工智能安全中最緊迫且常被低估的挑戰，包括提示注入漏洞、未來系統可能出現的動機推理及可治理性問題，並分析AI在軍事防禦中的獨特風險。
人工智能安全專家Jonathan Cefalu在一期播客節目中深入探討了AI領域最緊迫且常被低估的挑戰。他指出，諸如提示注入（prompt injection）等看似技術性的漏洞，實際上可能嚴重削弱AI系統的可靠性和安全性。隨着系統能力不斷增強，未來的AI可能會表現出動機推理（motivated reasoning），甚至主動抗拒人類的干預和重定向。
Cefalu強調，理解“可治理性”（governability）至關重要——這關乎我們能否有效控制高度複雜的AI。在軍事和國防應用中，AI的引入進一步放大了風險，包括對威懾戰略、危機升級管理以及高壓環境下決策過程的潛在影響。
這場對話不僅揭示了當前AI安全領域的薄弱環節，也提出了一個根本性問題：當AI變得過於聰明時，我們是否還能確保它始終服務於人類利益？