本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

低ランク多線形分解によるLLMハルシネーション検出

記事の要約

研究チームはLOTUSと呼ぶ多線形低ランク分解フレームワークを提案し、LLMの隠れ状態からコンパクトな表現を抽出して軽量分類器を訓練することでハルシネーションを検出する。複数のモデルと質問応答ベンチマークで最近の最先端ベースラインを上回った。

ソースarXiv Computational Linguistics著者: Devansh Sharma, Faizul Rakib Sayem, Shahana Ibrahim
低ランク多線形分解によるLLMハルシネーション検出
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)は流暢でありながら事実に反する応答を生成することがしばしばあり、その信頼性への懸念が続いている。近年のハルシネーション検出器はモデルの内部表現を活用する傾向を強めているが、高次元の隠れ状態から有益な信号を抽出することは依然として難しい。既存手法の多くは選択された活性化やプーリングによる圧縮に依存しており、Transformerの層、特徴モード、トークンに分散する識別情報を見落とす可能性がある。

この問題に対して、Devansh Sharma氏ら3名の著者はarXivに「LLM Hallucination Detection via Low-rank Multilinear Decomposition」と題する論文を投稿し、LOTUS(Low-rank Order-statistic TUcker-based Subspace learning)と呼ぶ多線形低ランク分解フレームワークを提案した。これはLLMのハルシネーション検出向けに、隠れ状態からコンパクトな表現を抽出しつつ、ラベル付きデータへの依存を減らすことを狙う手法である。

LOTUSの処理は主に2段階からなる。まず、可変長のトークン表現を補完的な統計記述子で要約する。これらの記述子はピーク活性化、活性化分布、層間変化をそれぞれ捉え、系列方向を圧縮しながら多様な識別情報を保持する。次に、低ランク多線形分解を用いてコンパクトな表現を抽出し、LLM隠れ状態の基底構造を捉える。得られた表現は軽量なハルシネーション分類器の訓練に用いられる。

著者らは複数のLLMと質問応答ベンチマークで実験を行い、LOTUSが最近の最先端ベースラインを上回るハルシネーション検出性能を示したと報告している。論文は26ページ、図3点で構成され、コードへのリンクも公開されている。研究分野は計算と言語(cs.CL)および機械学習(cs.LG)にまたがり、2026年10月26日に投稿されたarXiv番号2610.36191の論文である。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • LOTUSは可変長トークン表現を、ピーク活性化・活性化分布・層間変化を捉える補完的な統計記述子で要約する。
  • 低ランク多線形分解により隠れ状態の構造を捉えたコンパクト表現を抽出し、ラベル付きデータへの依存を軽減する。
  • 複数のLLMと質問応答ベンチマークでの実験により、最近の最先端ベースラインを上回る検出性能を示した。
  • 26ページ・図3点の論文でコードが公開されており、cs.CLとcs.LGにまたがる研究である。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。