MiniLM埋め込みによるアウトオブスコープ意図検出のためのマルチクラスター境界学習法
本研究では、MiniLM埋め込みを用いたマルチクラスター境界学習法を提案し、アウトオブスコープ（OOS）意図を検出します。従来のマルチクラス分類の精度低下やLLM埋め込みの大規模パラメータ問題を克服し、3つの公開データセットで最先端の性能を達成しました。
意図検出は、人間と機械のインタラクションシステムにおいて、ユーザーの発話をシステムが理解可能な意図に変換する重要なタスクです。しかし、トレーニングデータに含まれていないアウトオブスコープ（OOS）意図の検出には依然として課題が存在します。従来の手法では、OOS意図検出をマルチクラス分類問題として扱うため、既知の意図クラス数が増加するにつれて精度が低下する傾向があります。また、大規模言語モデル（LLM）を用いた埋め込み手法は高い表現力を持つ一方で、パラメータ数が膨大であるため、訓練や実運用が困難です。
これらの問題を解決するため、本研究ではMiniLM（all-MiniLM-L6-v2）埋め込みを用いたマルチクラスター境界学習法を提案します。本手法は、ワンクラス分類の枠組みで動作します。まず、既知の各意図に対してトレーニング発話から複数の埋め込みを生成し、それらが自然に形成するクラスターを特定します。次に、各クラスターの境界を学習します。推論時には、入力発話を埋め込み、その埋め込みがすべての既知クラスターの境界外にある場合にOOSと判定します。このアプローチにより、マルチクラス分類の欠点を回避しつつ、軽量なMiniLMモデルを用いて効率的な検出を実現します。
実験では、CLINC150、StackOverflow、Banking77の3つの公開データセットを使用しました。これらのデータセットは異なるドメインと難易度をカバーしており、包括的な評価を可能にします。結果として、提案手法はOOS意図検出において最先端の性能を達成し、従来の分類器やLLMベースの手法を凌駕しました。アブレーション研究では、MiniLM埋め込みが他のモデルよりも本ワークフローに適しており、明確に分離されたクラスターを生成することで正確な境界学習を支援することが示されました。
本研究は、OOS意図検出において効果的かつ計算効率の良い実用的なソリューションを提供します。コードは補足資料として公開されており、再現性と今後の研究の発展に貢献することが期待されます。