社交教育機器人，如機器人學習伴侶（Robot Study Companion，簡稱RSC），需要在計算能力極為有限的條件下實現快速且保護隱私的互動。然而，針對教育應用中邊緣計算語言模型的系統基準測試一直存在空白。近日，一項新研究填補了這一空白，對25種開源語言模型在邊緣硬體上的本地部署進行了全面評估。該研究由Dorian Lamouille、Matevž B. Zorec、Farnaz Baksh和Karl Kruusamäe共同完成，論文已被2026年6月在維也納舉行的第22屆IEEE國際先進機器人及其社會影響會議（IEEE International Conference on Advanced Robotics and its Social Impact）接收。
研究團隊從三個維度對每個模型進行了評估：推理效率（每秒處理的token數和能耗）、通用知識（六類MMLU子集的準確率）和教學效果（由語言模型評定的教學質量）。主要平臺採用Raspberry Pi 4，並輔以Raspberry Pi 5和筆記型電腦GPU進行額外對比。所有自動評估結果均透過五名獨立人類評分員進行了驗證。
實驗結果顯示，不同模型之間存在著顯著的權衡關係。吞吐量和能效的差異超過一個數量級，MMLU準確率從接近隨機水平到57.2%不等，而教學效果與這兩個指標均沒有單調相關性。在所有評估模型中，Granite4 Tiny Hybrid (7B) 展現了最佳的整體平衡：每秒處理2.5個token，每焦耳能耗處理0.90個token，MMLU準確率達到54.6%。值得注意的是，高MMLU準確率並非獲得高教學評分的必要條件。對四個代表性模型進行的人類驗證結果與自動排序高度一致（Pearson相關係數r=0.967，n=4）。
基於這些發現，作者為RSC提出了一種三層本地推理架構，旨在資源受限的硬體上平衡響應速度和準確性。這一架構有望推動社交機器人在教育等領域的實際部署。例如，第一層可以處理簡單、高頻的互動，第二層處理中等複雜度的任務，第三層則處理需要深度推理的請求。透過這種分層設計，系統可以在保持低延遲的同時，在必要時呼叫更強大的模型，從而在有限的計算資源下實現最優效能。