AI序列第867期：潛力思考——為什麼Sapient的HRM-Text是對思維鏈的悄然反駁
本文批評了大型語言模型中的思維鏈（CoT）推理方式，認為它效率低下，因為推理過程被迫離開殘差流變成離散的token。Sapient Intelligence的HRM-Text模型通過在潛在空間中進行推理來解決這個問題，為固定深度的Transformer提供可變的內部深度，從而挑戰當前的推理範式。
文章情報
工程師進階
要點
- 思維鏈（CoT）並非真正的推理，而是一種讓模型從輸出token中“租用”深度的變通方法。
- Sapient Intelligence的HRM-Text將推理放在潛在空間中進行，而非token流中。
- 該方法旨在為固定深度的Transformer提供可變的內部深度。
- 這是一個重要的輕量級模型，對當前推理範式提出了挑戰。
為甚麼重要
這條新聞值得關注，因為思維鏈（CoT）並非真正的推理，而是一種讓模型從輸出token中“租用”深度的變通方法。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
現代大型語言模型（LLM）的推理機制中存在一個令人困擾的巧妙手法：Transformer的固定深度（例如70層）使其無法在單次前向傳播中解決需要順序計算的問題。為此，我們讓模型通過思維鏈（Chain-of-Thought, CoT）進行“出聲思考”，將推理步驟轉化為離散的token，再通過嵌入層重新輸入。然而，從機械角度看，這是一種荒謬的內部計算方式——就像CPU必須將每個中間寄存器以明文形式轉儲到磁盤上。
Sapient Intelligence 的解決思路並非增大模型規模或訓練更多CoT軌跡，而是從根本上改進架構：讓推理發生在潛在空間（latent space）中，而非token流中。他們最初在去年夏天的層次化推理模型（HRM）論文中提出這一構想，現在將其擴展到語言領域，推出了HRM-Text。該模型為Transformer提供了可變的內部深度，使得推理不再需要“離開殘差流”。
儘管HRM-Text尚未完全證明其優越性，但它代表了對當前主流推理範式的大膽挑戰。如果成功，它將徹底改變我們看待LLM推理的方式，從“模擬推理”轉向“真正的深度推理”。