AI能騎我的腳踏車，不握把

我不知道第一次聽到Flobot的《Handlebars》是什麼時候，但最近為了連線過去，我又多次聽這首歌。歌詞以一個人高興地騎著沒有把手的腳踏車開始，結尾卻威脅要引發大屠殺毀滅世界。歌詞有多重解讀，但藝術家本人曾澄清意圖：這首歌是關於人類作為個體擁有巨大潛力，既能創造也能毀滅。可悲的是，軍事創新永無止境，而消除世界飢餓卻被視為荒謬。創新常被用於壓迫和毀滅。

這引向AI世界。規模是當今AI的一切，大型資料中心競賽激烈。前沿模型背後的公司也擴張到極致，估值數千億美元。這首歌對這一敘事也很契合。

AGI、意識與AI軍備競賽

AI CEO們不知為何總愛談論世界末日。他們還常談論意識，許多前沿實驗室暗示意識只是AI發展路線圖上的又一個里程碑——模型不僅能代表和模仿人類，還能成為人類。但幾乎沒有人思考真正有意識的存在帶來的倫理道德影響。Sam Altman曾說：“我認為AI很可能會終結世界，但與此同時，會有偉大的公司誕生。”

智慧機器毀滅世界的想法並不新鮮。科幻作品常涉及，大多是一個超級智慧系統要麼完全有意識，要麼能表現得像有意識。但很少解釋它是如何變成這樣的。

一旦我們構建了通用智慧系統，我們就會讓它找出為你創造投資回報的方法。意識總是AI討論的核心，但從未被嚴肅對待。例如，CEO可能大膽宣稱公司將在三年內達到AGI，但隨後卻轉移話題談廣告業務。但意識是否是AGI定義的一部分？共識似乎是否定的。

最近，一些領導人試圖將AGI定義為能力門檻，而非意識宣告。Sam Altman去年說AGI“不是一個很有用的術語”。重點似乎轉向創造能有效替代人類勞動的系統，而非創造活的數字狗。

一個非意識的AI系統能以超強能力執行人類任務，雖然避免了倫理問題，但仍對社會構成危險，只是不是天網那種方式。Anthropic CEO Dario Amodei在文章中嚴肅宣稱：“人類即將獲得幾乎 unimaginable 的力量，我們是否擁有成熟度來使用它，這很不明確。”

無論是否天網，如果AI軍備競賽順利，最壞情況（從AI公司角度看）是LLM不會隨著更多計算獲得意識，但透過更好的駕馭和整合，AI能在每個領域變得真正有用，以至於AI的控制者獲得幾乎 unimaginable 的力量，而他們是否成熟到能使用它，很不明確。

人類的自負仍是問題

有趣的是，科技CEO常聲稱“AI”將取代X%的工作，但從不說是他們的公司將這麼做；他們從不承認正投資數十億希望如此，而是說“AI”將取代工作，我們必須警惕即將到來的邪惡冬天。然而，OpenAI和它背後執行的模型並無區別，每個前沿AI實驗室也是如此。但似乎可以接受的是，當方便時賦予AI完全自主權，而你擁有股份並獲得所有收益。你指責同一個你指揮和從中獲利的惡魔。

AI的道德問題並不真的是AI能否有意識，或如何生活在這樣的世界。而是我們是否應該信任AI實驗室值得擁有這樣的權力？歷史告訴我們，沒有私人實體值得擁有那樣的力量。

注：本文的公開版本歷史可在我的GitHub上找到。