FlowEval：基於參考的生成式使用者介面評估
大型語言模型和編碼代理常用於使用者介面開發，但準確評估其視覺與互動設計能力仍具挑戰。現有方法或依賴人工專家（準確但緩慢昂貴），或採用自動化評判（可擴充套件但不夠準確且不透明）。為此，我們提出 FlowEval，一種基於參考的評估框架，透過比較真實網站與生成介面的導航軌跡，衡量生成的 UI 是否支援真實互動流程。
在使用者介面（UI）開發中，大型語言模型（LLM）和編碼代理的應用越來越廣泛。然而，開發者發現難以可靠地評估這些模型在視覺與互動設計方面的能力。現有的評估方式主要有兩種：一是依賴人類專家，他們能夠透過測試關鍵流程來準確評估可用性，但這種方法速度慢且成本高；二是採用自動化評判，雖然可擴充套件性強，但準確性較低且過程不透明。
為了解決這一問題，我們提出了 FlowEval，一種基於參考的評估框架。FlowEval 的核心思想是衡量生成的使用者介面是否支援真實的互動流程。具體而言，它透過比較來自真實網站的導航軌跡與生成介面的導航軌跡來進行評估。這種方法既保留了人工評估的準確性，又具備了自動化評估的可擴充套件性。
FlowEval 的工作流程如下：首先，從真實網站中提取典型的使用者導航軌跡作為參考。然後，將這些軌跡與由 LLM 或編碼代理生成的 UI 中的對應軌跡進行對比。透過對導航路徑、元素互動和任務完成度等方面的分析，FlowEval 能夠輸出一個量化的評估分數。
實驗結果表明，FlowEval 能夠有效區分高質量與低質量的生成 UI，並且其評估結果與人類專家的一致性較高。這為 AI 驅動的 UI 開發提供了一種可靠且高效的評估工具，有望加速介面設計迭代並降低對人工評估的依賴。