Poetiqのメタシステムがモデルに依存しないハーネスを自動構築、ファインチューニングなしでLiveCodeBench Pro上の全LLMを改善

Poetiqは本日、メタシステム（Meta-System）がLiveCodeBench Pro（LCB Pro）という競争的なプログラミングベンチマークにおいて、ファインチューニングやモデル内部へのアクセスを一切行わずに、自動的に推論ハーネスを構築・最適化し、新たな最先端性能を達成したと発表した。

LCB Proは、AIのコーディング能力をテストするために設計されたベンチマークで、主要なプログラミングコンテストから問題を抽出し、公開されている正解コードを隠す。代わりに、包括的なテストフレームワークでソリューションを検証する。正しい出力だけでなく、メモリと実行時間の制約も満たす必要があり、継続的に更新されるため、データ汚染や過学習を防ぐ。このベンチマークはC++の問題に焦点を当て、創造的なコーディングと複雑な問題解決を重視する。

Poetiqの研究チームは、大規模言語モデルのタスクを3つのカテゴリに分類している：推論チャレンジ（ARC-AGI）、検索チャレンジ（Humanity's Last Exam）、コーディングチャレンジ。今回のLCB Proの選択は意図的であり、コーディングはAIの最も普及した商業アプリケーションであり、推論と検索、そして専門的な手続きロジックの生成を融合する。研究には3つの具体的な目標があった：インテリジェントなハーネスがファインチューニングや特別なアクセスなしに有効性を高められること、メタシステムがそのハーネスを自動的に作成する際に再帰的自己改善能力を持つこと、そして最終的なハーネスがモデルに依存せず、修正なしで任意のモデルに適用できることを実証すること。

ここで「ハーネス」とは、言語モデルの周りに構築されるインフラストラクチャで、特定のタスクを処理するためのものである。プロンプトの方法、出力の構造化、複数の呼び出しにわたる回答の組み立て、ソリューションの評価を制御する。従来、これらのハーネスはエンジニアが手作業で構築していたが、Poetiqのメタシステムは再帰的自己改善を通じて自動的に構築する。内部では、質問戦略の改善、連鎖質問の洗練、回答を組み立てる新しい方法の考案を継続的に行い、以前のタスクやデータセットからの学習を新しいタスクに組み込む。

メタシステムはLCB Proのタスクを与えられ、Gemini 3.1 Proのみをベースモデルとしてハーネスをゼロから構築した。精度、実行時間、メモリ制約の3次元すべてを考慮し、以前のARC-AGIやHLEでの作業から得た洞察を活用した。ハーネスがGemini 3.1 Pro向けに最適化された後、追加の最適化なしで他の複数のモデル（オープンウェイトとプロプライエタリの両方）に直接適用された。結果、テストされたすべてのモデルで改善が見られた。

具体的な数値を見ると、GPT 5.5 HighはLCB Pro（25Q2）で89.6%から93.9%に向上。Gemini 3.1 Proは78.6%から90.9%へと急上昇し、Google自身のGemini 3 Deep Think（88.8%）を上回った。難しい問題では、Gemini 3.1 Proが7.7%から58.3%に、GPT 5.5 Highが50.0%から75.0%に改善した。小型モデルではGemini 3.0 Flashが10ポイント向上して82.3%となり、Claude Opus 4.7、Gemini 3.1 Pro、GPT 5.2 Highといったより大型で高価なモデルを凌駕した。Kimi K2.6は最大の向上幅を示し、50.0%から79.9%へと約30ポイント改善。Nemotron 3 Super 120Bは12.8%向上した。

これらの結果は、Poetiqのメタシステムが、機械学習モデル自体に手を加えることなく、タスク専用でモデルに依存しない推論ハーネスを自動生成し、再帰的自己改善によって性能を継続的に向上させる可能性を示している。