LLM関数呼び出しの不確実性定量化
LLMの関数呼び出しにおける不確実性定量化手法を初めて評価し、マルチサンプル手法がシングルサンプル手法に優越しないことを発見。抽象構文木クラスタリングと意味的トークン選択に基づく改善を提案。
人工知能の分野では、大規模言語モデル（LLM）が現実世界のタスクを自律的に実行するためにますます活用されており、関数呼び出し（Function-Calling）はLLMにツール使用能力を付与する一般的なパラダイムです。しかし、誤った関数呼び出しは、特に送金やデータ削除などの不可逆的な操作において深刻な結果をもたらす可能性があります。そのため、関数呼び出しを実行する前にLLMの信頼度を定量化することが極めて重要です。オックスフォード大学とAppleの研究者チーム（Zihuiwen Ye、Lukas Aichberger、Michael Kirchhof、Sinead Williamson、Luca Zappella、Yarin Gal、Arno Blaas、Adam Goliński）は、LLM関数呼び出しにおける不確実性定量化（UQ）手法の初めての評価を発表しました。Ye氏とAichberger氏は共同第一著者、Blaas氏とGoliński氏は共同上級著者です。
研究では、自然言語のQ&Aタスクで優れたパフォーマンスを示すマルチサンプルUQ手法（例：セマンティックエントロピー）が、関数呼び出しの設定では単純なシングルサンプル手法に勝らないことがわかりました。しかし、研究者は関数呼び出し出力の特性を活用して既存のUQ手法を改善できることを発見しました。具体的には、マルチサンプル手法は抽象構文木解析に基づくクラスタリングから恩恵を受け、シングルサンプル手法は対数確率スコアを計算する際に意味的に重要なトークンのみを選択することで改善できます。実験により、これらの最適化により関数呼び出しタスクにおけるUQ手法の有効性が向上することが示されました。
また、この論文はUQ評価に関する他の研究にも言及しています。ACL 2025で発表された論文は、UQ評価における長さバイアスの相互作用を調査し、UQ手法と正解指標が同じ要因に影響されると評価が歪むことを示しました。NeurIPS 2024のワークショップで発表された別の研究は、マルチサンプル手法に必要な計算資源を削減する効率的なUQ手法に焦点を当てています。これらの取り組みは、特に金融取引やデータ管理などの高リスクアプリケーションにおいて、誤った関数呼び出しによる損失を低減するために、正確な不確実性定量化を通じてLLMの安全な展開を支援します。