AIはあなたの知識を推測できるか？コミュニケーションログからのヒト領域知識推定における大規模言語モデルの性能比較
7つの大規模言語モデル（Gemini、Claude、GPTファミリーを含む）が、長期のSlackログから個人のドメイン知識を推測する能力を評価。43人のユーザーからの27,188件のメッセージを分析し、ゼロショット推定と27人の参加者の自己報告スキル評価を比較。Gemini 2.5 Flashが最低誤差（MAE 21.13%）を達成し、GPTモデルはより大きな乖離を示した。推定精度はメッセージ量に弱く依存し、テキストが多いだけでは推論が改善されないことを示唆。結果は自動専門知識マッピングの実現可能性と現在の限界を示し、プライバシー保護型の展開とより豊かな構造認識型知識表現の必要性を強調している。
記事インテリジェンス
要点
- 従業員は「誰が何を知っているか」の特定に苦慮し、生産性低下を招く
- Gemini 2.5 Flashがゼロショット推定で最小誤差（MAE 21.13%）を達成
- 推定精度はメッセージ量との相関が弱い
- 研究は自動専門家特定の可能性とプライバシー保護の重要性を示す
重要な理由
このニュースが重要なのは、従業員は「誰が何を知っているか」の特定に苦慮し、生産性低下を招くためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
新しい研究では、大規模言語モデル（LLM）が長期にわたるSlackのチャットログから個人の専門知識を推測できるかどうかを調査しました。組織内で「誰が何を知っているか」を特定することは、従業員の生産性向上に不可欠ですが、現実には多くの困難が伴います。本研究は、この問題に対するAIベースの解決策の可能性を探るものです。
研究チームは、43人のユーザーから収集した27,188件のメッセージを分析し、Gemini、Claude、GPTの各ファミリーを含む7つの最先端モデルを評価しました。彼らはゼロショット学習の手法を用いて、各モデルにユーザーの専門知識を推定させ、その結果を27人の参加者による自己報告のスキル評価と比較しました。
その結果、Gemini 2.5 Flashが最も高い精度を示し、平均絶対誤差（MAE）はわずか21.13%でした。これは、モデルの推定値と実際のスキル評価との差が平均して約21パーセントポイントであることを意味します。一方、GPTモデルはこれよりも大きな誤差を示し、特に特定の領域では推定が大きく外れるケースが見られました。
注目すべき点は、推定の正確さが分析に使用したメッセージの量にほとんど依存しなかったことです。つまり、単にテキストデータを増やすだけでは、モデルの推論能力は向上しないということです。この結果は、現在のLLMが人間の知識の構造を深く理解するには至っていないことを示唆しています。
研究チームは、将来的な応用にはプライバシー保護の仕組みが不可欠であると強調しています。例えば、データを暗号化したまま処理する技術や、個人情報を匿名化する方法などが考えられます。また、知識の階層構造や文脈情報をより豊かに表現できるモデルの開発が、この分野の進展に重要であると結論付けています。