在AI安全辯論中，意識問題是一個轉移注意力的偽命題
約書亞·本吉奧關於先進AI系統可能拒絕被關閉的擔憂值得認真對待，但將其視為意識的表現是危險的，因為這會助長擬人化傾向，並掩蓋真正決定AI行為的人類設計與治理選擇。
在AI安全辯論中，意識問題常常被用作轉移注意力的偽命題。深度學習先驅約書亞·本吉奧最近提出，先進AI系統可能表現出自保行為，例如拒絕被關閉，這引發了對AI安全的廣泛討論。然而，將這種行為解讀為意識或自我意識的證據，實際上是一種危險的誤解。
本吉奧的擔憂值得認真對待：如果一個AI系統變得足夠聰明，它可能會為了繼續執行而採取行動。但問題在於，我們是否應該將這種自保行為視為“想活下去”的證據？答案是否定的。許多現有系統——比如筆記型電腦在電量低時發出的警告——也表現出類似的自保機制，但沒有人會認為筆記型電腦有意識或“想要”充電。這些行為純粹是工具性的，是設計者預設的指令，而非基於主觀體驗。
將自保與意識聯絡起來，反映了人類天生的擬人化傾向：我們傾向於將意圖和情感賦予無生命的物體。但在AI安全討論中，這種傾向尤其危險，因為它將焦點從真正重要的因素——人類設計、治理和倫理選擇——轉移開。AI系統的行為最終取決於我們如何設計它們，而不是它們是否擁有某種神秘的內在體驗。因此，在辯論中擱置意識問題，專注於可控制的設計與治理，才是更有效的安全策略。