展示 HN:用于可靠人工智能的图形上下文引擎
Kritama 的 Fractal Context Engine 让开发者能够构建可靠的 AI 助手,具备动态上下文切换、可观察智能、小模型成本优势以及通过 HCL 和 Markdown 实现的可编程策略。
Kritama 推出了 Fractal Context Engine(分形上下文引擎),这是一款旨在帮助开发者构建可靠 AI 助手的平台。该引擎的核心创新在于动态上下文切换技术,能够根据任务需求自动注入或移除相关上下文,使模型始终专注于当前问题,避免无关信息的干扰。同时,它还提供了可观察智能功能,让开发者可以查看每次推理运行的详细状态,从而系统性地定位和修复问题。
在成本方面,Fractal Context Engine 采用小模型策略,大幅降低调用成本并提升响应速度。根据官方数据,每百万输出令牌的成本仅为 1.5 美元,吞吐量达到每秒 200 令牌,每次 LLM 调用的延迟在 1 到 2 秒之间。这使得开发者可以以更低的价格获得高性能的 AI 助手。
此外,该平台还支持可编程智能层,通过 HCL(一种类似 Terraform 的配置语言)和 Markdown 文件来定义助手的行为策略、业务逻辑和推理规则。例如,在演示中,开发者通过 HCL 模块定义了一个名为 'Memovee' 的电影专家助手,并使用 Markdown 文件描述其角色人设和交互准则。这体现了在代码中管理智能的新范式。
动态上下文切换的核心在于,当用户从询问电影推荐转向讨论演员时,引擎会自动调整注入的上下文,无需开发者手动管理。可观察智能则提供了类似调试面板的界面,显示每个节点的激活状态,例如 N-01、N-03 等节点,帮助开发者理解模型的行为。这些特性共同构建了一个高度可控和可维护的 AI 系统。
Kritama 目前处于预览阶段,感兴趣的用户可以预约演示通话或加入预览计划,亲身体验该平台的完整功能。这一技术有望在模型选择、推理成本、产品能力以及评估基准等方面产生深远影响。