跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

Indi-RomCoM:评估LLM对罗马化印度英语混合指令的代码混合基准

文章摘要

研究者推出Indi-RomCoM基准,系统评估大语言模型在罗马化印度语言与英语混合指令上的表现。该基准涵盖7个指令遵循任务、4种印度语言和3种混合强度。评估显示LLM在RCM指令上一致表现不佳,且混合密度越高性能越差;推理任务比检测任务(如毒性检测)退化更少,因为生成的解释提供了必要上下文。

来源arXiv Computational Linguistics作者: Avisha Das, Mihir Parmar, Mohana Ramnath, Pulkit Verma
Indi-RomCoM:评估LLM对罗马化印度英语混合指令的代码混合基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 6 月 29 日发布了一篇新论文,题为《Indi-RomCoM: Code-Mixed Benchmark for Evaluating LLMs on Romanized Indic-English Instructions》,作者为 Avisha Das 及其他三位合著者。该论文属于计算与语言(cs.CL)以及人工智能(cs.AI)交叉领域,提交编号为 arXiv:2606.30790v1,全文约 6,494 KB,提供 PDF、实验性 HTML 和 TeX 源码等多种获取方式。

论文关注的核心现象是“罗马化代码混合”(Romanized Code Mixing,简称 RCM)。在多语言社区中,双语使用者经常把本地语言与英语混合,并用拉丁字母书写,这种交流方式已成为主流。然而,尽管大语言模型在单语和原生文字基准上表现强劲,它们遵循 RCM 内容指令并进行推理的能力仍未被充分探索。

为填补这一空白,作者提出了 Indi-RomCoM 基准,用于系统评估印度语言与英语混合的罗马化指令。该基准覆盖七个指令遵循任务、四种广泛使用的印度语言,以及三个受控的代码混合强度级别。研究团队对一系列大语言模型进行了广泛评估,包括专有模型、开放权重模型和专门针对印度语言的模型,并分别在零样本和少样本设置下测试。

评估结果显示,大语言模型在 RCM 指令上持续表现不佳,而且随着代码混合密度增加,性能进一步下降。值得注意的是,推理任务的性能下降幅度小于检测任务(例如毒性检测),原因在于模型生成的解释为任务提供了必要的上下文。作者认为,Indi-RomCoM 有助于社区开发更具包容性的多语言系统。

该论文的提交历史显示,v1 版本于 2026 年 6 月 29 日星期一 18:19:24 UTC 提交。论文还提供了引用信息,DOI 为 https://doi.org/10.48550/arXiv.2606.30790,由 DataCite 颁发(注册待定)。此外,arXiv 页面提供了丰富的参考文献和引文工具,以及代码、数据、媒体关联链接,方便研究人员进一步探索。

展开要点与分析

文章情报

投资人进阶

要点

  • Indi-RomCoM是首个针对罗马化印度英语代码混合指令的系统性基准,覆盖7个任务、4种语言和3种混合强度。
  • 对专有、开源权重和印度语言专用模型的评估表明,LLM在RCM指令上一致表现不佳,且性能随混合密度增加而下降。
  • 推理任务比检测任务(如毒性检测)退化更少,因为生成的解释提供了必要上下文。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。