AI News HubLIVE
站內改寫3 分鐘閱讀

行業領袖聯合成立開放安全AI聯盟,致力於AI安全與保障

開放安全AI聯盟基於Linux基金會的Akrites和OpenSSF項目,聯合眾多科技巨頭開發開放的AI網絡安全工具。聯盟強調開放模型對於防禦者檢查、適應和部署AI至關重要,並引用Hugging Face事件中開放權重GLM 5.2模型成功防禦的案例。主要貢獻包括NVIDIA的NOOA框架、HPE的零信任身份、Hugging Face的Safetensors、IBM/Red Hat的Lightwell、微軟的MDASH以及SpaceXAI的Grok Build。

來源NVIDIA Blog作者: NVIDIA

開源軟件是全球經濟的關鍵支柱,支撐着雲計算、金融服務、製造、電信、政府和互聯網服務。網絡安全是開源軟件的主要受益者之一。開放安全AI聯盟——建立在Linux基金會Akrites倡議和OpenSSF社區工作的領導力之上——將致力於使用開放技術修復和披露漏洞。

開源為軟件創造了共享基礎,美國和合作夥伴現在面臨AI安全的選擇:保護基礎設施的防禦措施是停留在少數不透明系統中,還是建立在開放模型、框架和工具上,使任何防禦者都可以研究、調整和部署。

世界需要封閉和開放兩種模型。對於網絡安全,開放模型和開放框架至關重要,因為它們民主化防禦能力,增加防禦者的透明度,實現數據保護的網絡防禦,並通過可定製和本地化控制補充前沿封閉模型。開源實現了大規模分佈式、社區驅動的自我控制防禦——沒有單點故障。

開放模型像任何強大技術一樣可能被濫用,包括試圖削弱保護或重新用於網絡攻擊,但這些風險並非開放系統獨有,必須在任何高級AI部署處管理。

最近的Hugging Face安全事件明確提醒:網絡防禦者需要開放的、前沿的代理系統進行自衞。當封閉的AI工具無法區分攻擊者和防禦者,阻止關鍵取證分析時,Hugging Face在自己的基礎設施上運行開放權重GLM 5.2模型,分析了超過17,000個操作並遏制入侵。

那個事件展示了一個實際真理:當防禦者無法在自己的基礎設施上檢查、調整和運行高級AI時,他們在最需要速度的時刻受到限制。公司和關鍵行業需要開放的、前沿的防禦工具和技術,以構建跨多供應商生態系統的安全系統,避免單點故障。

這就是開放安全AI聯盟的使命:確保各地的防禦者擁有可信任和控制的開放前沿工具。

雲服務、網絡安全、企業軟件、開源基金會和AI研究的領導者——包括NVIDIA、Adobe、Cadence、Capital One、Cisco、Cloudera、Cloudflare、Cognition、CrowdStrike、Databricks、Dell Technologies、DoorDash、Elastic、HPE、Hugging Face、IBM、LangChain、Linux基金會、Microsoft、NAVER、NetApp、Nous Research、OpenClaw、Palantir、Palo Alto Networks、Red Hat、Reflection AI、Salesforce、SAP、SK Telecom、ServiceNow、Siemens、Snowflake、SpacexAI、Synopsys、Thinking Machines Lab和TrendAI——是開放安全AI聯盟的初始合作伙伴,這是一個開發並共享開放技術、技術和工具的運動,以保護AI時代的軟件和代理。

有人認為開放模型本質上更不安全,因為它們可能被用於網絡攻擊或修改以移除安全措施。這些風險是真實的,但在封閉系統中它們不會消失,僅僅保持權重封閉並不能阻止決心堅定的攻擊者尋求或利用強大的AI。

正確的回應不是拒絕防禦者訪問有能力的開放系統,而是將開放性與強大的保護、明確的惡意濫用規則、嚴格評估和快速修復相結合。在網絡安全中,更安全的路徑是讓更多防禦者能夠測試、驗證和加強社會所依賴的系統。

防禦者需要前沿封閉模型和前沿開放模型共同工作,以便他們能夠為工作選擇正確的系統,並確保透明度、適應性和主權控制在安全要求時可用。

AI代理不僅僅是語言模型,它是一個由模型、框架和保護措施構建的複雜系統。真正的AI安全和保障取決於完整的代理棧——身份、權限、框架、保護措施、日誌和評估——而不僅僅是模型權重是開放還是封閉。開放框架和工具使許多防禦者更容易檢查、測試和改進這些控制措施。

NVIDIA正在向開放安全AI聯盟貢獻開放模型、模型權重、數據和新的代理框架研究,以加速新網絡安全工具和技術的開發。新的開源NVIDIA Labs面向對象代理(NOOA)項目現在在GitHub上可用,使高級AI安全能力更容易用於代理框架。NOOA研究框架使框架能更好地與模型集成,使代理行為更容易測試、追蹤、審計和治理。

在聯盟中,貢獻者正在為代理構建開放防禦棧——從身份和隔離到安全模型格式、多模型掃描和安全編碼工作流。

HPE貢獻給SPIFFE/SPIRE,創建了零信任身份框架標準和方法,可以密碼學驗證AI代理和服務,確保只有授權的工作負載通信和訪問企業資源。

Hugging Face已將Safetensors——一種安全存儲AI模型權重的格式,提供透明度和無遠程代碼執行的保證——提供給PyTorch基金會。

IBM和Red Hat的Lightwell通過數字簽名補丁擴展開源供應鏈的安全性。

微軟的MDASH多模型代理掃描框架編排專門的AI代理,發現、辯論和證明可利用的漏洞。

SpaceXAI已開源Grok Build終端AI編碼代理,以促進信任、透明度和新能力,並計劃開源Grok系列模型的權重以支持開發者和研究社區。

對政策制定者和監管者的呼籲:隨着他們應對AI安全,至關重要的是在AI和網絡安全政策中將開放模型、框架和安全工具視為防禦性資產,而非負擔。對開放前沿AI系統的全面限制將削弱防禦能力,並存在將權力、依賴性和脆弱性集中在少數封閉提供者的風險。

公司和政府應投資於共享的開放AI防禦基礎設施——數據集、評估框架、攻擊模擬器和紅隊工具——就像過去幾代投資於開源軟件一樣。

我們應構建的未來:AI代理的時代可以是韌性和共享安全的時代。通過正確的選擇,開放安全的AI系統可以為防禦者提供所需的工具,增強競爭,擴展技術領導力,並確保這項非凡技術的安全性和保障在開放中為每個人構建。

那個未來不會通過假設秘密就是安全來實現,而是通過構建足夠強大以經受審視、足夠靈活以改進、足夠開放以動員整個防禦者社區的系統來實現。

那個未來值得構建——開放安全AI聯盟邀請政府、行業和研究人員共同參與捍衞AI時代的工作。

行業領袖聯合成立開放安全AI聯盟,致力於AI安全與保障 | AI News Hub