社交教育机器人，如机器人学习伴侣（Robot Study Companion，简称RSC），需要在计算能力极为有限的条件下实现快速且保护隐私的交互。然而，针对教育应用中边缘计算语言模型的系统基准测试一直存在空白。近日，一项新研究填补了这一空白，对25种开源语言模型在边缘硬件上的本地部署进行了全面评估。该研究由Dorian Lamouille、Matevž B. Zorec、Farnaz Baksh和Karl Kruusamäe共同完成，论文已被2026年6月在维也纳举行的第22届IEEE国际先进机器人及其社会影响会议（IEEE International Conference on Advanced Robotics and its Social Impact）接收。
研究团队从三个维度对每个模型进行了评估：推理效率（每秒处理的token数和能耗）、通用知识（六类MMLU子集的准确率）和教学效果（由语言模型评定的教学质量）。主要平台采用Raspberry Pi 4，并辅以Raspberry Pi 5和笔记本电脑GPU进行额外对比。所有自动评估结果均通过五名独立人类评分员进行了验证。
实验结果显示，不同模型之间存在着显著的权衡关系。吞吐量和能效的差异超过一个数量级，MMLU准确率从接近随机水平到57.2%不等，而教学效果与这两个指标均没有单调相关性。在所有评估模型中，Granite4 Tiny Hybrid (7B) 展现了最佳的整体平衡：每秒处理2.5个token，每焦耳能耗处理0.90个token，MMLU准确率达到54.6%。值得注意的是，高MMLU准确率并非获得高教学评分的必要条件。对四个代表性模型进行的人类验证结果与自动排序高度一致（Pearson相关系数r=0.967，n=4）。
基于这些发现，作者为RSC提出了一种三层本地推理架构，旨在资源受限的硬件上平衡响应速度和准确性。这一架构有望推动社交机器人在教育等领域的实际部署。例如，第一层可以处理简单、高频的交互，第二层处理中等复杂度的任务，第三层则处理需要深度推理的请求。通过这种分层设计，系统可以在保持低延迟的同时，在必要时调用更强大的模型，从而在有限的计算资源下实现最优性能。