AI News HubLIVE
站內改寫1 分鐘閱讀

展示 HN:用於可靠人工智能的圖形上下文引擎

Kritama 的 Fractal Context Engine 讓開發者能夠構建可靠的 AI 助手,具備動態上下文切換、可觀察智能、小模型成本優勢以及通過 HCL 和 Markdown 實現的可編程策略。

來源Hacker News AI作者: zacksiri

Kritama 推出了 Fractal Context Engine(分形上下文引擎),這是一款旨在幫助開發者構建可靠 AI 助手的平台。該引擎的核心創新在於動態上下文切換技術,能夠根據任務需求自動注入或移除相關上下文,使模型始終專注於當前問題,避免無關信息的干擾。同時,它還提供了可觀察智能功能,讓開發者可以查看每次推理運行的詳細狀態,從而系統性地定位和修復問題。

在成本方面,Fractal Context Engine 採用小模型策略,大幅降低調用成本並提升響應速度。根據官方數據,每百萬輸出令牌的成本僅為 1.5 美元,吞吐量達到每秒 200 令牌,每次 LLM 調用的延遲在 1 到 2 秒之間。這使得開發者可以以更低的價格獲得高性能的 AI 助手。

此外,該平台還支持可編程智能層,通過 HCL(一種類似 Terraform 的配置語言)和 Markdown 文件來定義助手的行為策略、業務邏輯和推理規則。例如,在演示中,開發者通過 HCL 模塊定義了一個名為 'Memovee' 的電影專家助手,並使用 Markdown 文件描述其角色人設和交互準則。這體現了在代碼中管理智能的新範式。

動態上下文切換的核心在於,當用户從詢問電影推薦轉向討論演員時,引擎會自動調整注入的上下文,無需開發者手動管理。可觀察智能則提供了類似調試面板的界面,顯示每個節點的激活狀態,例如 N-01、N-03 等節點,幫助開發者理解模型的行為。這些特性共同構建了一個高度可控和可維護的 AI 系統。

Kritama 目前處於預覽階段,感興趣的用户可以預約演示通話或加入預覽計劃,親身體驗該平台的完整功能。這一技術有望在模型選擇、推理成本、產品能力以及評估基準等方面產生深遠影響。