大規模言語モデル（LLM）やコーディングエージェントは、ユーザーインターフェース（UI）開発に広く活用されています。しかし、開発者はこれらのモデルが視覚的・インタラクションデザインにおいてどの程度の能力を持つかを確実に評価することが困難です。現在の評価手法は主に二つあります。一つは人間の専門家による評価で、重要なフローをテストすることで正確にユーザビリティを評価できますが、時間とコストがかかります。もう一つは自動判定による評価で、拡張性は高いものの、精度が低くプロセスが不透明です。
これらの問題を解決するために、我々はFlowEvalという基準ベースの評価フレームワークを提案します。FlowEvalは、実際のウェブサイトから抽出したナビゲーショントレースと、生成されたUIでの対応するトレースを比較することで、そのUIが現実的なインタラクションフローをサポートするかどうかを判定します。この方法により、人間の専門家のような正確さと自動評価の拡張性を両立します。
FlowEvalのプロセスは以下の通りです。まず、実際のウェブサイトから典型的なユーザーナビゲーショントレースを基準として抽出します。次に、LLMやコーディングエージェントが生成したUIから同様のトレースを取得し、それらを比較します。ナビゲーションパス、要素のインタラクション、タスク完了度などの指標を分析することで、FlowEvalは定量的な評価スコアを出力します。
実験結果によれば、FlowEvalは高品質な生成UIと低品質なものを効果的に区別でき、その評価結果は人間の専門家との高い一致を示しました。これにより、AI駆動のUI開発において信頼性が高く効率的な評価ツールが提供され、インターフェース設計の反復を加速し、人間による評価への依存を軽減することが期待されます。