文本嵌入並非安全：Vec2Text 可完美還原原始文本
本文介紹了 vec2text 方法，一種能夠從文本嵌入向量中完美還原原始文本的技術，揭示了當前 RAG 系統和向量數據庫在數據安全方面的重大隱患。
隨着生成式AI的快速發展，許多公司開始將AI集成到其業務中，其中一個常見做法是構建能夠回答數據庫中文檔相關問題的AI系統。這類系統大多基於檢索增強生成（RAG）技術。RAG系統通過將大量文檔存儲在數據庫中，由AI檢索與輸入最相關的文檔，並據此生成響應。為了確定文檔的相關性，RAG使用“嵌入”——由嵌入模型生成的文檔向量表示。這些嵌入旨在表示某種相似性，因此相關文檔在嵌入空間中會具有較高的向量相似性。RAG的普及催生了向量數據庫的興起，這是一種專門用於存儲和搜索大量嵌入的新型數據庫。眾多創業公司獲得了數億美元的融資，聲稱能夠通過簡化嵌入搜索來促進RAG。然而，嵌入向量本身難以解讀：它們只是一串看似隨機的數字，除了滿足語義相似性要求外，沒有任何約束。這就引發了一個安全問題：如果有人入侵數據庫獲取了這些嵌入向量，是否能夠將其還原為原始文本？事實上，這個問題正是我們在論文《Text Embeddings Reveal As Much as Text》（EMNLP 2023）中所要解決的。我們開發了vec2text方法，該方法能夠從文本嵌入中恢復原始文本。其核心思想是：利用一個校正器模型，以目標嵌入和當前假設文本的嵌入作為輸入，通過迭代優化逐步逼近原始文本。我們首先嚐試了傳統的機器學習方法，訓練一個變換器模型直接從嵌入生成文本，但BLEU得分只有30左右，精確匹配幾乎為零。然而，我們發現生成的文本的嵌入與真實嵌入的餘弦相似度高達0.97，這啓發了一種迭代優化方法。我們訓練了一個校正器，能夠根據當前假設文本及其嵌入生成更接近真實文本的新假設。經過50步迭代和若干技巧，vec2text能夠以92%的精確匹配率還原32 token的序列，BLEU得分達到97，幾乎實現了完美還原。這一發現對當前基於嵌入的數據存儲方式提出了嚴峻挑戰。在向量數據庫中，存儲的是嵌入向量而非原始文本，但如果這些嵌入能被輕易反解，那麼客户隱私和數據安全將面臨巨大風險。未來，我們需要開發能夠抵抗這種反解攻擊的嵌入模型，同時保持嵌入的可用性。此外，vec2text的方法不限於文本，理論上可推廣到其他模態，如圖像嵌入的反向還原。作者Jack Morris是康奈爾理工學院的博士生，其研究聚焦於機器學習、自然語言處理與安全的交叉領域。代碼已開源在GitHub上，供進一步研究。