AI News HubLIVE
站內改寫1 分鐘閱讀

展示 HN:用於可靠人工智慧的圖形上下文引擎

Kritama 的 Fractal Context Engine 讓開發者能夠構建可靠的 AI 助手,具備動態上下文切換、可觀察智慧、小模型成本優勢以及透過 HCL 和 Markdown 實現的可程式設計策略。

來源Hacker News AI作者: zacksiri

Kritama 推出了 Fractal Context Engine(分形上下文引擎),這是一款旨在幫助開發者構建可靠 AI 助手的平臺。該引擎的核心創新在於動態上下文切換技術,能夠根據任務需求自動注入或移除相關上下文,使模型始終專注於當前問題,避免無關資訊的干擾。同時,它還提供了可觀察智慧功能,讓開發者可以檢視每次推理執行的詳細狀態,從而系統性地定位和修復問題。

在成本方面,Fractal Context Engine 採用小模型策略,大幅降低呼叫成本並提升響應速度。根據官方資料,每百萬輸出令牌的成本僅為 1.5 美元,吞吐量達到每秒 200 令牌,每次 LLM 呼叫的延遲在 1 到 2 秒之間。這使得開發者可以以更低的價格獲得高效能的 AI 助手。

此外,該平臺還支援可程式設計智慧層,透過 HCL(一種類似 Terraform 的配置語言)和 Markdown 檔案來定義助手的行為策略、業務邏輯和推理規則。例如,在演示中,開發者透過 HCL 模組定義了一個名為 'Memovee' 的電影專家助手,並使用 Markdown 檔案描述其角色人設和互動準則。這體現了在程式碼中管理智慧的新正規化。

動態上下文切換的核心在於,當使用者從詢問電影推薦轉向討論演員時,引擎會自動調整注入的上下文,無需開發者手動管理。可觀察智慧則提供了類似除錯面板的介面,顯示每個節點的啟用狀態,例如 N-01、N-03 等節點,幫助開發者理解模型的行為。這些特性共同構建了一個高度可控和可維護的 AI 系統。

Kritama 目前處於預覽階段,感興趣的使用者可以預約演示通話或加入預覽計劃,親身體驗該平臺的完整功能。這一技術有望在模型選擇、推理成本、產品能力以及評估基準等方面產生深遠影響。