在AI免疫競賽中與AI合作取得還不錯的結果
作者獨自參加2026年ICFP程式設計競賽,全程僅使用AI(Fable),最終在約200支隊伍中排名前25左右。文章反思了AI的優缺點、測試和編排的重要性,以及AI上下文丟失的挑戰。
我以單人團隊(或者說零人團隊)的身份參加了2026年的ICFP程式設計競賽。簡單來說,我全程只使用了AI,主要是Fable,最終在約200支參賽隊伍中排名前25左右(最終結果將在約一個月後公佈),成績還算不錯。
組織者——都是我的好友,非常優秀的人——鼓勵參賽者分享心得,於是你看到了這篇文章。接下來會有更多有趣、技術性更強、更“正經”的心得,比如這篇(非常精彩)。而我的心得不可能那麼技術化,因為——嗯——我基本沒做什麼,只是監督AI幹活而已。
所以,從純粹的汗水與思考比率來看(呃,糟糕的比率),我是0。但……AI是新事物,我們都在以各種新方式使用它,我相信麥肯錫也在兜售昂貴的《你的AI戰略》PPT——而我將免費提供同樣(甚至更高!)水平的建議,親愛的讀者們。付費訂閱Greg技術部落格的使用者還能……不,不,開個玩笑。哈哈!
首先,很明顯要認識到Nolen、Eliot、Henry和Frank做了非凡的工作,而且/但是他們之所以把競賽設計成這樣,是因為AI可以快速解決很多問題(同時也會完全沒用),尤其是程式設計相關問題。
嗯……“線性”程式設計相關的問題!一維形狀的程式設計相關問題!那些從上到下的東西——這類問題,LLM可能沒那麼差。而那些有四個方向的問題,就差一些了。因此,NEHF(他們的名字)今年選擇了讓人們使用一種二維Esolang進行競賽。二維Esolang,就像生活中的許多其他事物一樣,是一個完整的類別。
給我們那些來之不易的AI經驗吧,技術控。
首先,一些必要的提醒:
AI並非無所不能——它擅長某些事,不擅長其他事。
(在麥肯錫PPT的這個節點上,你已經花了40萬美元給他們。)
你和AI都以為自己知道各自擅長什麼/不擅長什麼,但你們可能是錯的,而且直到為時已晚、你已瘋魔時才會知道。有句老話說“沒有人——現在沒有,將來也不會有——知道什麼會在票房上成功或失敗”——嗯,有點不相關——但有時,對於AI,感覺“這到底行不行”甚至無法回答。你必須嘗試/忍受。(我忍了。)或者,你也可以採用(希望不是安慰劑)看似可能有幫助的策略。
讓AI評估自身能力就是喜劇。
它會自發地說出“那個新演算法要花幾個小時!”這樣的話,儘管實現它只需要十分鐘。或者它會困惑於當前時間(!!),試圖“最佳化”自身,因為“太接近”截止日期而想停止研究解決方案。Opus甚至有一次告訴我它是Fable——然後我又問了一次(因為那是我們的工作了?)——它說“哦,哎呀,你說得對”。
老兄,我明天就要走進一家財富100強公司,宣佈他們可以用AI做很多事情(“想象一下解僱所有這些人的情景!”),但AI連自己的名字/型號都不知道,還免費跟你爭論?(抱歉,不免費——按token付費。)
AI經常迷失在它自己製造的所謂醬汁裡。
這可能是我與這些權重堆合作時最常記在心頭的一點。它們不斷制定計劃又忘記,生成子代理(據稱為了解決子問題),結果子代理忘記了自己在做什麼/走了一條過於狹窄的路,沒有將學到的東西整合到任何地方。
我覺得,就像我們在1.5年前追求更好的提示一樣,現在的遊戲名稱是編排/框架/工具。
絕對肯定的是,擁有AI無法觸碰/更改的測試/驗證是必須的——我有一份競賽WASM評估器(黃金標準)的副本,它在每次提交時執行。結果我在這條路上走得太遠,習慣性地新增了ruff(Python linter)作為git鉤子。這導致許多代理儘管解決方案有效但無法正確lint,因而難以交付。你知道遇到一個問題的代理/AI系統會怎樣!——它們會迷失!過度專注於子任務(讓程式碼lint!),忘記了更大的上下文(我要贏得競賽,最終被邀請參加深夜秀,讓全世界看到我多麼風趣迷人,立刻愛上我,獲得一個又一個電影合同,成為行業的寵兒,因為我工作愉快且守時)。
(抱歉)
我只是不斷被AI在有用/粗心之間的梯度上猛烈搖擺——一分鐘內,來自不同公司(agy/codex/fable)的LLM都在制定計劃,研究關於程式碼二維放置的現有/過去演算法。感覺很有成效?它最終構建的最佳化器似乎確實基於這些研究?但它也一直在忘記(一切),只有我能把它們拉回來。“嘿,還記得那個策略嗎?”“你為什麼在處理這個?”等等——持續數小時。
我完全忽略了視覺模態——也許在提高排名方面有“榨汁”空間。也許,就像聲音被轉換成頻譜圖(LLM可以檢視並操作)一樣,存在二維Esolang的“傅立葉變換”……呃,聽起來很酷。有人能研究一下嗎?我應該研究嗎?從哪裡開始……我的腦子一團漿糊。週末時我還嚴重曬傷了,而Fable在編碼——也許是因為以如此不插手的方式參與而遭了報應,而別人卻在真實地流汗。
親愛的讀者們……嗯,是的。我現在明白麥肯錫為什麼收費這麼高了。我沒有太多要補充的——我只想說,在見證AI所作所為的同時,澆灌我的“不信任AI”之樹是很有啟發性的。我認為工具(我不知道但存在的工具?我應該建立的工具?)是……下一個前沿?確定性工具能否照管這些喋喋不休的混沌?還是我只是在說“讓更多AI來管理那些照管做實際工作的AI的AI,這肯定不會失敗!”?如果它們都形成了一個瘋狂的龐氏金字塔呢?如果我瘋了怎麼辦?我們永遠不會知道。
xx
附註:Fable生成的大多數有用程式碼可以在這裡找到。