AIラボは「ペリカンマキシング」しているのか？

Dylan Castillo氏が、AIラボが特定の非公式ベンチマークに過剰適合しているのではないかという疑問に答えるため、徹底的な調査を行った。Simon Willison氏が以前「ペリカンが自転車に乗っている」画像を生成するようにモデルに指示するベンチマークを提案したところ、一部のモデルが異常に良い結果を出したことから、ラボが意図的に訓練データにペリカンと自転車の組み合わせを追加したのではないかという憶測が生まれていた。

Castillo氏は、8種類の動物（ペリカン、フラミンゴ、サギなど）と6種類の乗り物（自転車、一輪車、スケートボード、スクーター、飛行機、ボート）を組み合わせた48のプロンプトを作成。これを7つのモデル（GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2、DeepSeek V4 Pro）で各3回ずつ生成し、合計1008枚の画像を分析した。評価にはGPT-5.6 LunaとGemini 3.1 Flash-Liteも補助として使用された。結果を探索するためのフィルター付きグリッドビューも提供されている。

分析の結果、ペリカンは他の動物と比べて特に優れて描かれているわけではなく、自転車も他の乗り物と同程度だった。さらに、ペリカンと自転車の組み合わせだけが特別に良いという証拠もなく、各モデルのパフォーマンスは、個々の動物と乗り物の能力から予測される範囲内に収まっていた。具体的な証拠として、ペリカンの自転車画像が他の動物の自転車画像より優れているわけではない、ラボごとのペリカン描画能力に有意差はない、自転車描画能力にも差はない、難易度を調整してもペリカン＋自転車の組み合わせが際立つことはない、そしてペリカン＋自転車のシーンが記憶されたテンプレートのように見えない、という5点が挙げられている。

Castillo氏は「ペリカンは他の動物より上手に描かれていない。自転車も他の乗り物より上手に描かれていない。そして、どのラボも、ペリカンと自転車の個別の能力から予測される以上に組み合わせを上手に描けていない。GLM-5.2が最も近いが、その効果は小さく有意ではないため、あまり重視すべきではない」と結論づけている。この研究は、AIモデルが人気のある非公式ベンチマークに合わせて訓練されているという懸念に対して、実証的な反証を提供するものであり、モデルの評価方法や「データ汚染」問題に対する重要な示唆を与えている。