ソーシャル教育ロボット、例えばロボット学習コンパニオン(Robot Study Companion、RSC)は、計算能力が厳しく制限されているにもかかわらず、応答性が高くプライバシーを保護するインタラクションに依存しています。しかし、教育アプリケーションにおけるエッジコンピューティング向け言語モデルの体系的なベンチマークにはギャップがありました。このたび、Dorian Lamouille、Matevž B. Zorec、Farnaz Baksh、Karl Kruusamäeによる新しい研究がこのギャップを埋め、25のオープンソース言語モデルをエッジハードウェア上でのローカル展開について包括的に評価しました。本論文は、2026年6月にウィーンで開催される第22回IEEE国際先進ロボティクスとその社会的影響会議(IEEE International Conference on Advanced Robotics and its Social Impact)に採択されています。
研究チームは、各モデルを推論効率(トークン/秒、エネルギー消費)、一般的知識(6カテゴリのMMLUサブセット)、教育効果(LLMが評価する教育品質)の3次元で評価しました。主要プラットフォームとしてRaspberry Pi 4を使用し、Raspberry Pi 5とノートPC GPUでも追加比較を行いました。自動評価は5人の独立した人間評価者による検証で確認されました。
結果は顕著なトレードオフを明らかにしました。スループットとエネルギー効率はモデル間で1桁以上異なり、MMLU精度はランダムに近い値から57.2%まで及びました。教育効果はスループットやMMLU精度のいずれとも単調に相関しませんでした。評価されたモデルの中で、Granite4 Tiny Hybrid (7B)は優れた全体的バランスを示し、2.5トークン/秒、0.90トークン/ジュール、54.6%のMMLU精度を達成しました。高いMMLU精度は高い教育スコアに必ずしも必要ではないことも明らかになりました。4つの代表モデルに対する人間による検証では、自動順位付けが維持されました(Pearson r = 0.967、n = 4)。
これらの発見に基づき、著者らはRSC向けに3層のローカル推論アーキテクチャを提案しました。このアーキテクチャは、リソース制約のあるハードウェア上で応答性と精度のバランスを実現することを目的としています。例えば、第1層は単純で頻度の高いインタラクションを処理し、第2層は中程度の複雑さのタスクを、第3層は深い推論を必要とする要求を処理します。この階層設計により、システムは低レイテンシを維持しながら、必要に応じてより強力なモデルを呼び出すことができ、限られた計算リソースで最適なパフォーマンスを発揮できます。