AGIコンパイラ「Auto」
AutoはLLMエージェントの動作を記録し、決定論的部分を証明して検証済みのWebAssemblyバイナリにコンパイルし、階層型ランタイムで新規性のある入力にはフロンティアモデルにフォールバックして再コンパイルするAGIコンパイラです。
RightNow AIが開発した「Auto」は、LLMエージェントの動作を記録し、そのうち決定論的な部分を証明・抽出して、検証済みの能力制限付きWebAssembly(wasm)バイナリにコンパイルするAGIコンパイラです。同プロジェクトはGitHubで公開され、arXiv論文(2607.04542)も発表されています。
Autoの基本的な考え方は、「フロンティアモデルをインタプリタと見なし、その後に常に続くコンパイラを構築する」というものです。実際の動作としては、エージェントのトレースを記録し、その中から記号的(決定論的)な振る舞いを特定して抽出し、残りを小さなスペシャリストモデルに蒸留、さらに行動契約に対する検証を経て、コード、小モデル、測定マニフェストを含む「認知バイナリ」(.cbin)を出力します。
ランタイムは2層構造です。tier-1はコンパイル済みの高速パスで、tier-0はフロンティアモデルをインタプリタとして使用します。ガードと呼ばれる機構が新規入力を検出すると、tier-0にフォールバック(デオプト)してトレースを記録し、再コンパイルを行います。これにより「同じ思考を二度計算しない」ラチェット機構が実現されます。
ベンチマークでは、560のエフェクトフルスパン中488が決定論的(87.1%)、300項目の新規ストリームで定常コストが純粋フロンティア比6.4倍低減、コンパイル済みパスのレイテンシは736ms(フロンティア)から18.2μs(プロセス内Node)まで削減されました。
ただし、著者らは正直な限界も認めています。ベンチマークコーパスは現実的ではあるが合成データであり、自由テキスト生成はまだコンパイル不可能(tier-0に残留)、ガードの調整が重要で、緩いガードでは48.9%の誤ったtier-1回答が発生するなど、今後の改善点が残されています。
AutoはRustで実装され、複数のクレート(auto-trace、auto-passes、auto-backend、auto-runtimeなど)から構成され、PythonおよびTypeScriptのSDKも提供されています。CLIツールにより、記録、レポート、検証、コンパイル、実行、インスペクトなどの操作が可能です。
Autoは、反復可能なエージェント動作を効率的で検証可能なバイナリに固めることで、LLM推論のコストを劇的に削減しつつ、不確実な動作に対しては柔軟にフォールバックする、新しい推論最適化アプローチを提供します。