仅凭提示中的URL就能引导LLM的输出朝向其内容吗？

本文探讨了在LLM提示中包含URL是否会影响模型输出。实验表明，URL仅在URL及其内容出现在模型训练数据中时才产生效果。许多依赖JavaScript加载内容的网站未被纳入训练数据。描述性URL可作为普通文本影响输出，而著名的不透明标识符（如arXiv ID）若被记忆则可解码。该研究揭示了模型训练数据的模糊性以及SPA对训练数据可及性的影响。