エージェントシステムは通常、明確で完全な選好を持つ「専門家ユーザー」を前提としている。タスクが不十分にしか指定されていない場合、こうしたシステムはユーザーに選好を尋ねる確認質問をデフォルトとする。しかし、arXivに新たに投稿された論文は、この前提が非現実的であると指摘する。Irena Saracayらによる論文「Beyond expert users: agents should help users construct preferences, not just elicit them」は、多くのユーザーが完全に特定された選好を持つための領域知識を欠いており、ある機能についての選好を尋ねられても、エージェントが例や説明を通じてその選好を形成するのに必要な領域知識を学ぶのを助けなければ答えられない場合があると論じている。
この考えを形式化するため、研究者らは情報経済学のSearch-Experience-Credenceフレームワークを援用し、エージェントの対話行動に基づいてユーザーがどのように選好を構築するかを表すCoPrefモデルを導入した。このモデルは、例の提示、オプション間の違いの説明、探索の誘導といったエージェントの対話行動が、ユーザーの選好形成プロセスに直接影響することを強調する。このモデルに基づき、研究チームはエージェント推薦システムの文脈で具体的な研究を進め、対話型ベンチマークCoShopを提案した。CoShopでは、エージェントはCoPrefモデルに従うユーザーと複数ターンの対話を行い、それに基づいて推薦を行う。エージェントの性能は、タスクを適切に指定するために必要な知識をユーザーが得られるよう支援できるかどうかに依存する。
研究チームは5つの最先端モデルをCoShopで評価し、5ターンの対話後でも精度56%を超えるエージェントはなかった。注目すべきは、失敗の主な原因が適切なアイテムを見つけられないことではなく、対話がユーザーの「自分が何を望んでいるか」という理解をほとんど広げられていない点にある。言い換えれば、現在のエージェントは検索とマッチングに長けているが、対話を通じてユーザーの選好を明確化し、豊かにし、構築することを支援するのは苦手である。この発見は、エージェントの対話設計に重要な課題を突きつける。将来のシステムは、ユーザーが既に持つ選好を Passive に「引き出す」だけでなく、説明と例示を通じてより明確な選好を形成する教育者的役割を積極的に担うことで、タスク完了の精度とユーザー体験を向上させるべきである。