Mira Murati的Thinking Machines Lab提出基於可定製模型權重的以人為中心AI技術方案

Thinking Machines Lab近日釋出了一份名為《值得構建的未來以人為本》的報告，詳細闡述瞭如何構建能夠延伸人類意志和判斷的AI系統。該實驗室由Mira Murati領導，其核心理念是當前大多數AI模型在少數地方訓練後被凍結，這種設計排斥了模型所服務的使用者。相反，研究人員主張AI應當是分散式的、可定製的，並且由其使用者塑造。

報告明確提出了四個技術方向。第一，訓練具備多模態互動和可定製性的強模型。第二，構建工具讓人們能夠自行微調和訓練模型權重。第三，開發能夠拓寬人機通訊渠道的介面。第四，發表研究成果以便更多工程師理解模型的構建過程。這些方向共同將知識和對齊推向使用者。

在這些方向背後，報告對知識本身提出了一個主張：大量技能是隱性、本地化的，並透過反饋不斷更新。例如，廚師改進菜譜時無法將該技能寫入資料庫。報告引用了Michael Polanyi和Friedrich Hayek的觀點來支援這一論斷。中央計劃之所以失敗，正是因為這類知識是私密且短暫的，而非稀缺的。因此，實驗室認為AI必須是分散式的，以利用分散式知識。AI應幫助組織培養知識，而非提取和取代知識。報告指出，棋類和數學是例外，因為這兩個領域具有靜態、可表達的目標且沒有隱藏知識，因此自我對弈和自主求解在這些領域表現出色。但在此類封閉領域之外，僅憑智慧是不夠的。

報告將兩個已知的限制重新定義為工程目標。第一是通訊渠道：一個小文本框和漫長的等待。實驗室的互動模型正針對這一問題設計，這些模型持續輸入音訊、影片和文本，採用約200毫秒的微回合。第二是評估本身：像METR那樣的基準測試衡量的是模型單獨工作的時間長度，但報告認為這忽略了人與機器共同完成的任務。

在介面之外，報告轉向了價值觀的歸屬。一個單一的對齊權威會變成單點捕獲。提示可以改變表面行為，但深層的模型習慣保持不變。因此，實驗室主張價值觀應編碼在模型權重中，而非提示中。這就是Tinker API對工程師變得具體的地方。Tinker使用LoRA微調開放權重的模型，如Llama和Qwen。它暴露底層原語，並允許匯出可移植的介面卡權重。示例程式碼展示了簡單的監督學習迴圈，使用Tinker API進行前向、反向傳播和最佳化步驟，最後儲存微調後的權重。

報告將其立場與當前的預設方法進行了對比。在集中凍結AI中，模型在少數實驗室訓練後凍結；而在Thinking Machines的分散式方法中，模型在工作發生的地方適應。誰塑造價值觀：前者的模型所有者，後者的組織及其使用者。適應方式：前者的提示和腳手架，後者的微調權重。介面：前者的文本框和輪流等待，後者的即時多模態互動模型。對齊場所：前者的單一中心規範，後者的多個多樣化、擁有的模型。

這些思想對映到具體的工程工作中。例如，醫院可以針對自身協議微調模型，並將資料和介面卡權重保留在內部。律師事務所可以根據內部風格調整模型，並在內部指導變化時重新訓練。支援團隊可以使用即時互動在任務中途糾正模型。在每種情況下，組織都保持所有權，而不是租用一個固定的模型。

總之，報告將人類參與視為一項技術挑戰，而非能力的限制。隱性、本地化知識是AI本身必須分散式的明確理由。互動模型透過連續、微回合的多模態輸入拓寬了人機通道。Tinker讓團隊將自己擁有的價值觀編碼到可移植的LoRA權重中。實驗室將對齊定義為許多多樣化、擁有的模型，而非一箇中心規範。