AGI编译器「Auto」

近日，RightNow AI 团队发布了名为“Auto”的 AGI 编译器，旨在将LLM智能体的行为记录并编译为经过验证、能力受限的WebAssembly（wasm）二进制文件，从而实现低成本、高可靠性的推理。该项目已在GitHub上开源，并附有arXiv论文（编号2607.04542）。

Auto的核心思想是将前沿模型视为解释器，并构建紧随解释器之后的编译器。它通过记录智能体的操作轨迹，证明哪些部分是确定性的（即可符号化的），提取这些部分，将剩余部分蒸馏为小型专家模型，然后对整个系统进行行为契约验证，最终输出一个“认知二进制文件”（.cbin），其中包含代码、小型模型和实测清单。

Auto的运行时分为两级：一级（tier-1）是编译后的快速路径，适用于已确认的确定性行为；零级（tier-0）则调用前沿模型作为解释器，处理被守护标记为新颖的输入。当守护触发时，系统回退到零级，记录新轨迹，并重新编译，形成一个“棘轮”机制：确保相同的思考不会重复计算。

在实测中，Auto展现了显著效果。在560个已记录的效果性跨度中，488个被判定为确定性（占比87.1%），其中三个任务家族达到100%，剩余主要为自由文本生成行为。在包含300个新颖项的流中，经过三次分布偏移，边际成本从约59微美元降至稳态2微美元，端到端成本降低6.4倍。编译路径的延迟从前沿模型的736毫秒降至进程内Node.js调用的18.2微秒，速度提升巨大。

然而，研究人员也指出了诚实局限性：基准测试语料是设计过的（现实但合成），自由文本生成行为仍无法编译（需留在零级），且宽松的守护可能导致48.9%的编译答案错误。未来的改进方向包括语义嵌入守护和Sigstore签名。

Auto的架构包含多个crate：auto-trace用于记录和存储轨迹，auto-passes执行符号提取和蒸馏，auto-backend负责生成.cbin并验证，auto-runtime执行wasm并管理守护等。项目支持Python和TypeScript的SDK，并提供了完整的命令行工具链。

总体而言，Auto为LLM推理优化提供了一种新颖的编译方法，通过将可重复的行为固化为高效、可验证的二进制文件，大幅降低推理成本，同时保持对不确定行为的灵活回退能力。