arXiv 于 2026 年 6 月 29 日发布了一篇新论文,题为《Indi-RomCoM: Code-Mixed Benchmark for Evaluating LLMs on Romanized Indic-English Instructions》,作者为 Avisha Das 及其他三位合著者。该论文属于计算与语言(cs.CL)以及人工智能(cs.AI)交叉领域,提交编号为 arXiv:2606.30790v1,全文约 6,494 KB,提供 PDF、实验性 HTML 和 TeX 源码等多种获取方式。
论文关注的核心现象是“罗马化代码混合”(Romanized Code Mixing,简称 RCM)。在多语言社区中,双语使用者经常把本地语言与英语混合,并用拉丁字母书写,这种交流方式已成为主流。然而,尽管大语言模型在单语和原生文字基准上表现强劲,它们遵循 RCM 内容指令并进行推理的能力仍未被充分探索。
为填补这一空白,作者提出了 Indi-RomCoM 基准,用于系统评估印度语言与英语混合的罗马化指令。该基准覆盖七个指令遵循任务、四种广泛使用的印度语言,以及三个受控的代码混合强度级别。研究团队对一系列大语言模型进行了广泛评估,包括专有模型、开放权重模型和专门针对印度语言的模型,并分别在零样本和少样本设置下测试。
评估结果显示,大语言模型在 RCM 指令上持续表现不佳,而且随着代码混合密度增加,性能进一步下降。值得注意的是,推理任务的性能下降幅度小于检测任务(例如毒性检测),原因在于模型生成的解释为任务提供了必要的上下文。作者认为,Indi-RomCoM 有助于社区开发更具包容性的多语言系统。
该论文的提交历史显示,v1 版本于 2026 年 6 月 29 日星期一 18:19:24 UTC 提交。论文还提供了引用信息,DOI 为 https://doi.org/10.48550/arXiv.2606.30790,由 DataCite 颁发(注册待定)。此外,arXiv 页面提供了丰富的参考文献和引文工具,以及代码、数据、媒体关联链接,方便研究人员进一步探索。