Show HN：AIベンチマークの仕組みを学ぶ

要点

• ベンチマークはタスクバンク、テストランナー、モデル出力、採点者からなるパイプラインでスコアを生成する。
• スコアはデータ汚染（リーク）、飽和（天井効果）、またはゲーミング（近道を見つけるエージェント）により現実と乖離する。
• 信頼できるベンチマークには、タスクの分離、プロセス検証、環境制御が必要である。
• モデルリリースを読む際には、各ベンチマークが成熟度曲線のどこにあるかを考慮すべきだ。