Enki——為AI智慧體設計的記憶引擎:儲存量減半,回答質量不減
Enki是一款面向AI智慧體的記憶引擎,與mem0相比,在儲存量減少約一半的情況下,實現了相近的問答準確率。在25個例項的評估中,Enki總分14/25對12/25,在多會話推理方面表現突出(4/5對2/5)。CPU檢索延遲平均7.6毫秒。
近日,英國初創公司Enki Labs釋出了一款名為Enki的記憶引擎,專為大型語言模型(LLM)代理設計。該引擎目前為閉源軟體,但開發團隊在GitHub上公開了初步的基準測試結果,展示了其在儲存效率方面的顯著優勢。根據公佈的資料,Enki在LongMemEval基準測試的子集(25個例項)中與業界知名的mem0進行了直接對比。雙方使用相同的對話歷史和檢索模型(Claude Haiku),並且檢索深度均設為K=10,唯一的不同在於底層的記憶層實現。
測試結果顯示,Enki的總得分為14/25,而mem0為12/25。尤其值得一提的是,在多會話推理任務中,Enki取得了4/5的優異成績,遠高於mem0的2/5。這一結果凸顯了Enki在跨會話資訊整合與推理方面的獨特能力。在其他類別如知識更新、單會話使用者、單會話助手和單會話偏好方面,兩者表現持平,均為3/5、3/5、2/5和2/5。
除了推理準確率,Enki在儲存效率上同樣令人印象深刻。平均而言,Enki僅需儲存138條事實即可完成給定會話的記憶任務,而mem0需要283條,儲存量減少了約51%。這意味著在處理長期執行的代理應用時,Enki可以顯著降低記憶體和儲存開銷,提升系統的可擴充套件性。
在檢索延遲方面,Enki在純CPU環境下的表現同樣出色。基於約139條事實的儲存庫和240次取樣,平均檢索延遲為7.6毫秒,中位數為6.1毫秒,第95百分位為11.9毫秒,第99百分位為13.0毫秒。這些資料表明Enki能夠滿足即時互動的需求。
需要注意的是,Enki Labs團隊強調目前的評估基於一個較小且經過人工驗證的樣本集,整體差距(14 vs 12)並不大,但儲存量減半的結果是穩健且可復現的。完整的評估方法論和逐問題答案可以透過申請獲取。該儲存庫以MIT許可證釋出,但僅包含評估結果,核心引擎並未開源。
Enki的出現為AI代理的記憶層提供了新的選擇,尤其適合需要平衡儲存效率與推理準確率的應用場景。隨著進一步的評估和可能的開源,它有望成為推動代理系統發展的重要元件。