本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

エッジデバイスを使用したソーシャルロボット向けローカル言語モデルのベンチマーキング

記事の要約

この研究は、25のオープンソース言語モデルをエッジハードウェア上でローカル展開するための体系的なベンチマークを行い、推論効率、一般的知識、教育効果の3次元を評価しました。結果は、スループットとエネルギー効率がモデル間で1桁以上異なり、MMLU精度はランダムに近い値から57.2%まで及び、教育効果はどちらの指標とも単調に相関しないことを示しています。Granite4 Tiny Hybrid (7B)は強い全体的バランスを達成し、リソース制約のあるハードウェア上で応答性と精度をバランスする3層ローカル推論アーキテクチャが提案されています。

ソースarXiv Robotics著者: Dorian Lamouille, Matev\v{z} B. Zorec, Farnaz Baksh, Karl Kruusam\"ae
エッジデバイスを使用したソーシャルロボット向けローカル言語モデルのベンチマーキング
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ソーシャル教育ロボット、例えばロボット学習コンパニオン(Robot Study Companion、RSC)は、計算能力が厳しく制限されているにもかかわらず、応答性が高くプライバシーを保護するインタラクションに依存しています。しかし、教育アプリケーションにおけるエッジコンピューティング向け言語モデルの体系的なベンチマークにはギャップがありました。このたび、Dorian Lamouille、Matevž B. Zorec、Farnaz Baksh、Karl Kruusamäeによる新しい研究がこのギャップを埋め、25のオープンソース言語モデルをエッジハードウェア上でのローカル展開について包括的に評価しました。本論文は、2026年6月にウィーンで開催される第22回IEEE国際先進ロボティクスとその社会的影響会議(IEEE International Conference on Advanced Robotics and its Social Impact)に採択されています。

研究チームは、各モデルを推論効率(トークン/秒、エネルギー消費)、一般的知識(6カテゴリのMMLUサブセット)、教育効果(LLMが評価する教育品質)の3次元で評価しました。主要プラットフォームとしてRaspberry Pi 4を使用し、Raspberry Pi 5とノートPC GPUでも追加比較を行いました。自動評価は5人の独立した人間評価者による検証で確認されました。

結果は顕著なトレードオフを明らかにしました。スループットとエネルギー効率はモデル間で1桁以上異なり、MMLU精度はランダムに近い値から57.2%まで及びました。教育効果はスループットやMMLU精度のいずれとも単調に相関しませんでした。評価されたモデルの中で、Granite4 Tiny Hybrid (7B)は優れた全体的バランスを示し、2.5トークン/秒、0.90トークン/ジュール、54.6%のMMLU精度を達成しました。高いMMLU精度は高い教育スコアに必ずしも必要ではないことも明らかになりました。4つの代表モデルに対する人間による検証では、自動順位付けが維持されました(Pearson r = 0.967、n = 4)。

これらの発見に基づき、著者らはRSC向けに3層のローカル推論アーキテクチャを提案しました。このアーキテクチャは、リソース制約のあるハードウェア上で応答性と精度のバランスを実現することを目的としています。例えば、第1層は単純で頻度の高いインタラクションを処理し、第2層は中程度の複雑さのタスクを、第3層は深い推論を必要とする要求を処理します。この階層設計により、システムは低レイテンシを維持しながら、必要に応じてより強力なモデルを呼び出すことができ、限られた計算リソースで最適なパフォーマンスを発揮できます。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 25のオープンソースLLMをエッジデバイスでベンチマーク
  • 推論効率、一般的知識、教育効果で評価
  • Granite4 Tiny Hybrid (7B)が最良のバランスを示す
  • RSC向け3層ローカル推論アーキテクチャを提案

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。