ベンチマークは死んだ（少なくとも我々にとっては）

Poetiq は、その再帰的自己改善（RSI）ループが新たな段階に達したと発表した。与えられたベンチマークに対して、コード、プロンプト、ツール、検索戦略からなる完全なハーネスを自動的に構築し、人間の介入を一切必要としない。これにより、Poetiq は6つの異なる複雑なベンチマークで最先端（SOTA）の結果を達成し、一部ではより先進的なモデルを使用する競合を凌駕した。

Poetiq のアプローチは、大規模言語モデル（LLM）をより大きな推論システムの一構成要素として扱い、システム全体をRSIループで継続的に最適化するというものだ。推論メカニズムをモデル重みから切り離すことで、設計はモデル非依存となり、メタシステムはプロプライエタリモデルもオープンソースモデルもツールとして活用できる。

実績の一部を以下に示す：

• ArXivMath（競技数学）：GPT-5.5 で 89.2% を達成、Claude Fable 5 の 87.5% を上回る。
• SciCode（科学コーディング）：Gemini 3.1 Pro で 61.5% を達成、Claude Fable 5 の 60.2% を超える。
• Haladir（長期的計画）：完全な200環境セットで Gemini 3.1 Pro が 0.688 を記録、従来最高の 0.326 の2倍以上。挑戦的なサブセットでは 0.470 で Claude Fable 5 の1.7倍。
• MCP-Atlas（エージェントツール使用）：Muse Spark 1.1 と Gemini 3.5 Flash の組み合わせで 89.8% を達成、従来最高の 88.1% を突破。
• MRCR v2（長文脈検索）：Gemini 3.1 Flash-Lite で 99.26% を達成、GPT-5.4 の 97.3% を上回る。このモデル自体はリーダーボードに載っていない。
• Toolathlon（実ツール使用）：Gemini 3.5 Flash で 59.26% を達成、未改変のオリジナルベンチマークでトップ。Anthropic が改変版で報告した高スコアを、公平な条件で凌駕した。

Poetiq は、これらすべての結果が自動生成されたハーネスによるもので、チームによる手動調整は一切行われていないと強調する。同社の目標は、特定の問題を解くハーネスを作ることではなく、あらゆる問題に対してハーネス、データ、手順を自動生成できるメタシステムを構築することにある。

しかし、Poetiq は静的ベンチマークの有用性が急速に低下していると指摘する。システムがベンチマークを自動的にマスターしてしまうと、その診断価値はほとんどなくなる。そこで同社は「生きたベンチマーク」を提案する。これは複数のモデルの能力を動的に組み合わせ、トレーニングで攻略できないように設計された評価手法である。

今後、Poetiq はRSIループを継続的に稼働させ、企業パートナーとの実問題解決を通じてシステムを進化させていく。同社は、真の知能はモデル重みだけに宿るのではなく、自己最適化するアーキテクチャにあると信じている。Poetiq にとって、ベンチマークはもはや終着点ではなく、日常的な通過点となった。