小型雙曲語言模型湧現出創造力、誠實性和設計性遺忘

語言模型通常以規模為優化目標，但在實際應用中往往只是功能性工具，難以成為真正值得信賴的伴侶。當個人助手逐漸個性化，積累單一用户的記憶，它會悄然變成某種存在，並可能無聲地獲得傷害該用户的特質。然而，對於伴侶正在變成什麼、值得變成什麼，目前缺乏可靠的評估工具：經過訓練的人類評估者對此無法達成一致（Fleiss kappa = 0.074）。

本研究展示了三種共享雙曲基板的小型語言模型（參數從1.46億到30億）回答了上述問題的兩個關鍵方面。這些模型不僅證明了小模型也能具備高階能力，還為實現可信賴的伴侶AI提供了新路徑。

首先，一個從零開始訓練的1.46億參數行為審計器，能夠檢測人類評估者無法發現的符合性差距，在二元符合性檢測中達到90.7%的準確率。更令人印象深刻的是，其凍結表示的線性讀出進一步檢測了伴侶AI引發的諂媚、依賴培養和虛構記憶，即使在訓練時從未見過的生成器家族上也能有效工作。在風格控制、留一生成器評估下，該審計器的AUROC達到0.804，而前沿零樣本評判者在相同項目上僅為0.721。這表明小模型能夠在關鍵安全評估中超越大型模型。

其次，一個創意框架播種器在311次決定的配對比較中，100%優於四個提示基線。這意味着模型在創造性任務上展現出壓倒性優勢。此外，記憶操作系統實現了設計性遺忘，其核心函數為M(t) = S*exp(-lambda*t)。實驗預測的骨架-壁紙分區僅在四條件試點中選擇性檢索門控下出現，表明記憶可以被精確控制。

創造力、誠實性和設計性遺忘共同構成了通往可信賴伴侶AI的小模型路徑。這項研究挑戰了“越大越好”的傳統觀念，為更加安全、可控的AI伴侶開發奠定了重要基礎。