Physics-R1：監査済みオリンピック物理コーパスと視覚物理推論のレシピ
本研究は、マルチモーダル物理評価パイプラインをエンドツーエンドで監査し、トレイン・評価汚染、翻訳ドリフト、多肢選択問題（MCQ）飽和という3つの構築バイアスを明らかにしました。研究チームは4つの新しいデータセットと、Qwen3-VL-8B-Thinkingをベースとした参照モデルPhysics-R1を公開し、複数のベンチマークで顕著な改善を示しました。
近年、マルチモーダル大規模言語モデルは視覚物理推論の分野で著しい進歩を遂げていますが、評価パイプラインに潜むバイアスが真の性能を歪めている可能性があります。本研究は、物理推論のマルチモーダル評価をエンドツーエンドで監査し、これまで見逃されてきた3つの構築上の欠陥——トレイン・評価汚染、翻訳ドリフト、多肢選択問題（MCQ）飽和——を初めて体系的に明らかにしました。
研究チームはまず、UGPhysics-Train、SciInstruct、MMK12などの公開トレーニングプールに対して一段階の5-gram Jaccard監査を実施しましたが、6つの公開物理評価セットすべてで重複はゼロでした。しかし、Jaccard、mxbai-embed-largeコサイン類似度、Haiku-4.5 LLM判定からなる三段階監査を適用したところ、SciInstructだけで134のニアデュプリケートと4,846のパラフレーズ候補が浮上し、従来の単一段階手法ではデータ汚染を効果的に検出できないことが明らかになりました。
翻訳ドリフトの問題は、59組のエストニア語-英語バイリンガルオリンピック問題を用いて定量化されました。Sonnet 4.5モデルでテストしたところ、英語版の正解率は30.5%であったのに対し、エストニア語版は13.6%と、17パーセントポイントもの性能差が認められました（統計的有意）。これは言語変換が顕著な性能低下を引き起こすことを示しています。
さらに、同一モデルで多肢選択問題（PhyX上のMCQ精度79.7%）とオープンエンドのオリンピック問題（PhysOlym-A上の33.4%）の間に46ポイントもの差があることが判明し、MCQ形式が真の推論能力を過大評価する可能性が示されました。
これらの問題に対処するため、研究チームは4つの重要なリソースを公開しました：PhysCorp-A（三段階監査済みの6,432レコードからなるマルチモーダルコーパス）、PhysR1Corp（2,268レコードのクローズドフォーム強化学習プール）、PhysOlym-A（500問の新規オリンピック評価セット、難易度ラベルとエストニア語-英語バイリンガルサブセット付き）、そしてPhysics-R1モデルです。このモデルはQwen3-VL-8B-ThinkingをベースにGSPO+DAPOトレーニング戦略を採用し、3つのシードで平均して、PhysOlym-Aでは8Bベースモデルから18.3ポイント改善（8.0%→26.3%）、Sonnet 4.5に約7ポイント差まで迫り、PhysReasonでは15.7ポイント改善（23.9%→39.6%）でQwen3-VL-32BやGemini 2.5 Proを凌駕し、OlympiadBench-Physicsで46.2%、PhyX MCQで77.8%を達成しました。この研究は、視覚物理推論のためのより信頼性の高い評価基準と効率的なモデル手法を提供します。