組織内で「誰が何を知っているか」を正確に把握することは容易ではなく、この情報の非対称性は業務の重複や意思決定の遅延を引き起こし、組織全体の生産性を損なう要因となっている。こうした課題を解決するため、研究者たちは日常の通信記録から個人の専門分野に関する知識を自動的に推測できるかどうかを探り始めている。arXivに最近掲載された論文「Can AI Guess What You Know? Performance Comparison of Large Language Models for Human Domain Knowledge Estimation From Communication Logs」は、この問いに対して系統的な実証研究を行った。
本研究はKo Watanabe氏らによって2026年5月21日に投稿された。研究チームは43名のユーザーによる27,188件のSlackメッセージをデータ基盤として収集し、そのうち27名の参加者から自己申告によるスキル評価を取得して、モデルの推定精度を評価する基準とした。研究では、Gemini、Claude、GPTといった主要なシリーズを含む7つの異なる大規模言語モデルを選定し、ゼロショット推定を実施して、個人のドメイン知識を推測する能力の差異を比較した。
実験の結果、モデル間の性能には顕著な差があることが明らかになった。Gemini 2.5 Flashは平均絶対誤差（MAE）21.13%と最低の誤差を記録し、参加者の自己評価スコアとの平均的な偏差が比較的小さいことを示した。一方、GPTシリーズのモデルは有意に大きな誤差を示し、通信ログから専門知識を推測する能力においてまだ改善の余地があることが示唆された。この結果は、モデルのアーキテクチャや訓練方法が知識推定タスクに重要な影響を与える可能性を示している。
注目すべき発見として、推定精度とメッセージ数の間には弱い相関しか見られなかった。つまり、ユーザーがSlackでより多くのメッセージを送信したとしても、モデルがその知識レベルをより正確に推測できるとは限らない。この現象は「データが多いほど良い」という直感に反し、テキスト量を単純に増やすだけでは推論品質の向上が保証されないことを示している。研究者らは、通信ログに構造化された知識表現が欠けていること、あるいはモデルがメッセージ間の意味的関連や文脈情報を十分に活用できていないことが原因である可能性を指摘している。
これらの知見に基づき、論文は自動専門性マッピングが現段階で実現可能性と明らかな限界の両方を併せ持つことを示している。一方で、大規模言語モデルは非構造化された通信記録から個人の知識プロファイルをある程度の精度で捉えることが可能になっている。他方で、誤差水準は依然として高く、実運用には距離がある。著者らは特に、実際の導入においてはプライバシー保護を重視し、従業員の通信データの安全でコンプライアンスに沿った利用を確保する必要があると強調している。同時に、今後の研究では、より豊かで構造を意識した知識表現の方法を探求し、推定の精度と信頼性を向上させる必要がある。
本研究は計算と言語（cs.CL）および人間とコンピュータの相互作用（cs.HC）の学際領域に属し、組織の知識管理に新たな技術的視点を提供する。リモートワークやデジタルコラボレーションが普及するにつれ、組織内の専門知識を効率的に特定し活用する重要性はますます高まっている。この研究は、現在の大規模言語モデルがこのタスクで持つ能力の境界を明らかにするだけでなく、今後の改善の方向性を示している。具体的には、より精細な文脈モデリング手法の開発、プライバシー保護を考慮した連合学習フレームワークの設計、マルチモーダル情報を統合した知識グラフの構築などが挙げられる。