3D FaceShell：3D面部頭像中的屬性轉移作為VLM防禦機制

隨着3D面部頭像在遠程呈現、動畫和個性化媒體等領域的廣泛應用，其隱私保護問題日益突出。這些頭像作為可重複使用的數字資產，帶來了便利，但也帶來了新的風險：視覺語言模型（VLM）能夠無需微調，直接從渲染圖像中推斷出敏感的面部屬性，如性別、年齡、種族等。這種能力構成了新的隱私威脅，因為一旦3D頭像被共享，任何渲染圖都可能被分析以提取高級面部特徵。

傳統的防禦方法大多在2D圖像空間操作，例如添加對抗性擾動或進行圖像模糊，但這些方法無法解決3D面部表示的語義操縱問題，且往往破壞視覺質量。為了解決這一問題，研究團隊提出了3D FaceShell框架，旨在引導VLM對3D模型渲染的面部圖像的解釋，同時保持幾何保真度和麪部身份。該框架的核心思想是在原始3D表示上添加一個可學習的高斯殼，產生細微的、空間分佈均勻的擾動。這些擾動通過多視圖嵌入對齊進行優化，確保在視覺上不易察覺，同時能夠在視圖一致的情況下重定向VLM的屬性推斷。

研究者在重建的名人頭像和多個黑盒VLM（如CLIP、Flamingo等）上進行了廣泛實驗。結果表明，3D FaceShell顯著提高了屬性注入率（即VLM錯誤地推斷出預設屬性的比例）和屬性失配率（即VLM推斷出的屬性與真實屬性不一致的比例），同時保持了高感知相似度和身份一致性。量化指標顯示，擾動後的頭像與原始頭像在人類視覺評估中幾乎沒有差異，但VLM對敏感屬性的推斷準確率大幅下降。

這項工作表明，在不損害人類可識別外觀的前提下，操縱VLM對3D面部的語義解釋是可行的。3D FaceShell為3D數字資產的隱私保護提供了全新思路，尤其適用於需要長期使用頭像的場景，如虛擬會議、社交平台和遊戲。未來，該技術可進一步擴展到其他3D表示形式，甚至用於防禦更廣泛的視覺推理攻擊。