僅憑提示中的URL就能引導LLM的輸出朝向其內容嗎？

本文探討了在LLM提示中包含URL是否會影響模型輸出。實驗表明，URL僅在URL及其內容出現在模型訓練資料中時才產生效果。許多依賴JavaScript載入內容的網站未被納入訓練資料。描述性URL可作為普通文本影響輸出，而著名的不透明識別符號（如arXiv ID）若被記憶則可解碼。該研究揭示了模型訓練資料的模糊性以及SPA對訓練資料可及性的影響。