你對AI的投入決定了結果

Harper Carroll的AI教育之路始於斯坦福的電腦科學背景，在Meta做機器學習工程師，並於2023年底在一家小型GPU計算初創公司短暫工作。在那裡，她發現幾乎沒有人知道如何微調開源模型。為了幫助推廣該初創公司的平臺，她開始寫作和教學。她的第一篇指南在Mistral 7B釋出後立即釋出，當時她只有約50名關注者，卻獲得了5萬次瀏覽量。2024年3月，一段解釋AI與機器學習區別的影片獲得了500萬次觀看，每20名觀眾中就有1人關注了她。如今，她在多個平臺擁有超過50萬關注者，是一名全職AI教育者。

用數學理解世界

Harper的AI學習之旅始於對數學的熱愛。她進入斯坦福學習電腦科學，因為演算法看起來就像奇妙的數學謎題。最終她意識到，AI是“用數學理解我們周圍的世界”。基於文本的大語言模型只是其中一個分支。整個領域是“世界的數學”。這似乎是一種所有人都需要內化的深刻直覺。

AI作為一種媒介

去年流傳的一項研究發現，使用AI寫文章的人與未使用AI的人相比，大腦活動減少。許多人的反應是警惕。他們表示：“我們正在外包認知，大腦會萎縮。”Harper的巧妙回應是，這些使用者一定只給了AI一個句子的提示，然後接受了任何返回的結果。正如她所說，這相當於告訴Alexa訂購本週最暢銷的書，當然測量到的大腦活動更少。對比之下，在亞馬遜上瀏覽和搜尋書籍與開車去實體書店購書之間的差異，肯定存在不同，但這並不是外包認知，而是節省時間，而這些時間很可能會被用於其他高要求的認知任務。

我的框架是，AI是一種媒介，就像語言或攝影一樣。任何人都可以拍照或寫書。每個作家可用的詞彙是一樣的；不同的是他們如何運用這些詞彙，就像有些攝影師能拍出別人拍不出的照片一樣。軟體也是如此。在艾倫·索金的電影《社交網路》中，扎克伯格的角色對溫克爾沃斯兄弟說：“如果你們是Facebook的發明者，你們就會發明Facebook。”想法和執行不是一回事。一個人給AI一個提示，輸出很糟糕。另一個人圍繞AI構建了一個流程，輸出很棒。你對媒介的投入決定了結果。Harper同意這一點。

微調就像AI的迷幻劑

我一直在思考如何在O'Reilly將AI用於寫作和編輯。我們想要的是能提高生產力但不會產出那種沒人付出努力時基礎模型聽起來千篇一律的文案的技能和工作流程。像本文這樣的總結帖是AI輔助寫作的一個很好的用例。作為源材料，我們有一個對話記錄的轉錄稿（或者對於我們的線上會議，是演講者的簡報）。我們想要一個結構化的摘要，捕捉要點並建議可能的社交媒體剪輯片段。然後我（或其他使用這個AI輔助工作流程的人）可以重寫、重新排列、闡述或刪除初稿。這可能不如從頭寫起的草稿好，但坦率地說，這比完全不做摘要要好得多。我只是沒有時間全部獨立完成。

當我寫一篇文章時，我會透過錄制自己談論正在思考並試圖傳達的想法來生成類似的“轉錄稿”。然後我請Claude將其整理成更有結構的內容。我一直在透過重寫其輸出、展示差異、然後要求它構建一個技能來捕捉所學內容，從而改進Claude生成可用散文的能力。隨著時間的推移，它越來越接近我感到滿意的內容，現在我正在將其泛化為一個系統，該系統可以學習任何作者的風格，尊重目標內容型別的各種慣例（書籍、文章和部落格文章、社交媒體以及諸如封底文案和課程描述等營銷材料之間可能非常不同），並應用我最喜歡的寫作書籍中的編輯建議，包括《風格的要素》和威廉·津瑟的《寫作法寶》。

Harper從不同角度解決了同樣的問題。她構建了一個包含大約1000條她的Instagram標題、影片轉錄稿和X帖子資料集，然後將其作為上下文提供給Claude，並要求以其風格寫作。不幸的是，即使提示中有1000個她真實聲音的例子，輸出被檢測工具判定為100% AI生成。然後她在相同資料上微調了一個開源的Llama模型。微調後的輸出被判定為100%人類寫作。她在西南偏南大會上做了一個令人信服的演示，展示了這有多容易，只花了大約20分鐘。

在Harper說提示工程不像微調那樣能改變輸出分佈後，我給她講了一個關於法國作家馬塞爾·普魯斯特的故事，這是我最初在與史蒂夫·威爾遜的對話中使用的，我從阿蘭·德波頓的《普魯斯特如何改變你的人生》中瞭解到。一位朋友來拜訪臥病在床的普魯斯特，禮貌地開始告訴他乘火車去巴黎的經歷。“慢一點，”普魯斯特回答。這個迴圈重複了幾次，直到朋友開始講述諸如一位老人在車站臺階上喂鴿子這樣的小細節。Harper理解了，並用她獨特的方式更慢地分解了原因：為什麼上下文提示失敗而微調成功。

基本上，AI模型是巨大的數學方程，引數在訓練時是變數，在推理時變成常數。你在訓練模型時做的是透過調整這些在訓練時為變數的常數，學習如何將輸入對映到期望輸出。一旦模型部署，輸出令牌的機率分佈就固定了。你可以將1000個例子放入提示並要求模型進行模式匹配，但你是在用凍結的權重要求它這樣做。表面行為稍微彎曲，但底層分佈不會改變。微調讓你實際修改權重以及模型想要寫作的方式。她建議的訓練資料集構建方法是：取你自己的寫作，讓AI用其典型特徵重寫，然後以AI版本為輸入、你的原始版本為目標輸出進行訓練。你是在教模型撤銷這些“標記”。

人們是否仍應學習程式設計？

我們還討論了那個不可避免的問題：人們是否仍應學習程式設計？我們一致認為應該，但不必像過去那樣學習程式語言的詳細語法，然後透過反覆試錯艱難地獲得期望行為。Harper的觀點（我也同意）是，“氛圍程式設計”降低了門檻。那些從未能負擔得起僱傭別人來構建產品的人現在可以自己做了。但同時也提高了天花板，因為真正理解系統的人可以用相同的工具構建更復雜的東西，這又回到了AI作為一種媒介的觀點。

也許更重要的是關於你應該學習多少程式設計的問題，有經驗的開發者會看到純粹的氛圍程式設計者忽略的失敗模式。Harper舉了一個例子，來自觀看一位朋友使用代理工具的經歷，該工具在某個時候開始將資料儲存在Word文件中並用作臨時的資料庫，可能是因為會話從Word文件開始。這極其緩慢且效率極低。工程師會立即發現問題。氛圍程式設計者可能執行該系統數月後才注意到異常。所以，是的，你應該學習足夠的程式設計知識以理解發生了什麼。教授下一代程式設計的藝術將是透過有用的專案來突出軟體架構和工程的基礎概念。

直覺作為差異化因素

矽谷很大程度上依賴於邏輯以及好的決策來自更好的資料、更嚴格的分析和更清晰的模型這一理念。在這種環境中，直覺可能被貶低為“軟性和模糊”的東西，Harper指出。而這對於AI來說是錯誤的心態。AI在邏輯軸擅長的事情上變得越來越好，但直覺仍然是一個挑戰，因為它常常與資料所說的相反。好的直覺“違背輸入”，用Harper的話來說。一個經過訓練以識別資料中模式的模型，幾乎按定義很難做出違背這些模式的決策。就像技能驅動的判斷力賦予AI輔助工程師超能力一樣，直覺可能在很長時間內都是獨特的人類技能。提升其重要性可能會給行業帶來更多對我們自身以及我們在世界中地位的謙遜態度。

該領域搞錯了什麼

最後我問Harper，AI領域在與公眾溝通時最常搞錯什麼。她說，面向公眾的討論太多以恐懼為主導：失業、快速接近的AGI、以及需要全民基本收入來緩衝衝擊的艱難過渡。她並不是說這些未來不可能，但她認為這是對這項技術的錯誤介紹。很多公司正在使用AI來問如何以更低成本做同樣的事情。更好的問題是如何提高雄心。AI不僅擴充套件個人能力，它擴充套件了組織可以嘗試的事情。但要實現這一點，每個人都必須真正學習AI。我們不能有AI富人和AI窮人。這意味著更便宜的模型、認真的開源投資，以及不成為主要平臺附庸的公司。

Harper一直在向從工程師到從未寫過一行程式碼的各類受眾強調這一點。“現在沒有什麼好害怕的，”她說，“AI是一種不可思議的生產力工具。”在她看來，那些會有麻煩的人是那些完全拒絕使用它的人。在O'Reilly，我們一直在組織層面構建類似敘事。恐懼優先的敘事導致迴避，而回避正是讓人落後的原因。因此，我們正在構建一個企業AI轉型實踐，從人們現有的工作開始，並找出如何“混合”AI使其更具影響力。我們正在學習如何同時教導人類和智慧體，使他們協作更高效。

7月9日，我將與Trail of Bits聯合創始人兼CEO Dan Guido討論他的公司用於實現AI原生化的劇本，他今年在[un]prompted大會上首次概述了這個劇本。他將進行相同演講的版本，然後花約40分鐘回答觀眾關於什麼有效、什麼無效以及什麼仍未解決的問題。希望你加入我們，瞭解自[un]prompted以來發生了什麼變化以及劇本下一步將走向何方。在此註冊；免費向所有人開放。