2026年6月29日、arXivは「Indi-RomCoM: Code-Mixed Benchmark for Evaluating LLMs on Romanized Indic-English Instructions」と題する新論文を公開した。著者はAvisha Das氏を含む4名で、計算と言語（cs.CL）および人工知能（cs.AI）の分野に属する。論文番号はarXiv:2606.30790v1で、全文は約6,494KB、PDFや実験的HTML、TeXソースなどで閲覧可能だ。
本論文が着目するのは「ローマ字化コード混合（Romanized Code Mixing、RCM）」と呼ばれる現象である。多言語コミュニティでは、バイリンガル話者が現地語と英語を流暢に混ぜ合わせ、ラテン文字で表記するコミュニケーションが主流となっている。しかし、大規模言語モデル（LLM）は単一言語や現地文字のベンチマークでは高い性能を示すものの、RCMコンテンツに対する指示追従や推論能力はほとんど調査されていない。
このギャップを埋めるため、著者らはインド系言語と英語のローマ字コード混合指示を体系的に評価するベンチマーク「Indi-RomCoM」を提案した。このベンチマークは7つの指示追従タスク、4つの広く話されているインド系言語、3つの制御されたコード混合強度レベルをカバーしている。研究チームは、プロプライエタリモデル、オープンウェイトモデル、インド系言語に特化したモデルを含む一連のLLMを、ゼロショットおよび少数ショット設定で広範に評価した。
評価の結果、LLMはRCM指示で一貫して性能が低下し、コード混合密度が高くなるにつれて性能がさらに悪化することが明らかになった。さらに、推論タスクは検出タスク（例：毒性検出）よりも性能低下が小さい。これは、生成された説明がタスクに必要な文脈を提供するためである。著者らは、Indi-RomCoMが包括的な多言語システムの開発に貢献すると考えている。
論文の投稿履歴によると、v1は2026年6月29日（月）18:19:24 UTCに提出された。引用情報としてDOI（https://doi.org/10.48550/arXiv.2606.30790）がDataCite経由で付与されており（登録保留中）、arXivページでは参考文献や引用ツール、コード・データ・メディア関連のリンクも提供されている。