AI News HubLIVE
站內改寫2 分鐘閱讀

示例程式設計中的固定集魯棒性:示例破壞與語義分割槽恢復

本文研究程式設計示例系統的對抗性魯棒性,提出一種新攻擊模式:對手觀察合成器並選擇最有害的示例進行破壞。作者形式化了有限版本空間下的最壞情況破壞,實現了精確搜尋和啟發式搜尋,並引入版本空間分割槽聚合(VPA)防禦。實驗表明,低裕度任務存在隨機噪聲評估忽略的對抗魯棒性維度,而VPA僅在清潔語義保持分割槽投票裕度時有效,這在現實任務中常失敗。

來源arXiv Machine Learning作者: Yuan Si, Jialu Zhang

程式設計示例(Programming by Example, PBE)系統透過少量輸入輸出示例推斷程式,在自動化程式設計中具有重要應用。然而,現有魯棒PBE工作通常將錯誤示例建模為隨機噪聲,並最小化期望或經驗損失。一篇新研究論文《Fixed-Set Robustness in Programming by Example: Example Corruption and Semantic Partition Recovery》探討了不同的失敗模式:一個對手觀察合成器並故意選擇最能破壞返回程式的示例進行破壞。

作者將有限PBE版本空間下的最壞情況示例破壞形式化為固定集對抗魯棒性問題,並針對字串轉換領域特定語言實現了精確(有界池內)和啟發式破壞搜尋。為了防禦這種攻擊,他們引入了版本空間分割槽聚合(Version-Space Partition Aggregation, VPA),該方法將示例分成不相交的組,分別合成程式,然後透過語義簽名投票產生最終結果。

論文的核心主張是有意限定且部分消極的:低裕度PBE任務具有對抗魯棒性維度,而隨機打字錯誤和噪聲PBE評估無法捕捉;同時,語義分割槽聚合僅在清潔示例保持分割槽投票裕度時才有幫助,而這在現實任務中常常失敗。研究團隊在多個資料集上驗證了這一點,包括人工策劃和生成的DSL任務、已接受的公共SyGuS PBE_SLIA切片、SYNTRA Playgol v2以及噪聲PBE目標基線。

具體實驗結果顯示:一個精心策劃的編輯翻轉了所有8個尖峰任務,而200次試驗的打字錯誤、DSL池和距離匹配隨機對照分別成功率為10.3%、11.0%和16.7%;生成的裕度1行在預算1下被翻轉,但VPA恢復了它們;在公共SyGuS上,投票裕度接近1,因此自適應攻擊者將VPA準確率降至零;已接受的公共SyGuS切片在精確有界池預算邊界上移動;Playgol顯示在141個已接受行上,與打字錯誤和同池隨機對照相比,有正的配對自助差距。此外,在20個受控裕度1任務上的小型精確輸出提示實驗顯示了相同的清潔到攻擊模式。

這項工作揭示了PBE系統在面對針對性示例破壞時的脆弱性,併為未來設計更魯棒的PBE系統提供了重要見解。