プロンプト内のURLだけでLLMの出力をその内容に誘導できるか？

この記事では、LLMのプロンプトにURLを含めることがモデルの出力に影響を与えるかどうかを調査しています。実験の結果、URLがトレーニングデータに含まれている場合にのみ、出力に影響を与えることがわかりました。JavaScriptに依存するサイトの多くはトレーニングデータに含まれていません。説明的なURLは通常のテキストとして影響を与え、有名な不透明な識別子（arXiv IDなど）は記憶されている場合にデコードできます。この研究は、トレーニングデータの不透明性とSPAデザインがモデルの知識に与える影響を浮き彫りにしています。