OpenAI 推出 GPT-Red 測試 AI 模型安全
OpenAI 通過 GPT-Red 結合人類與 AI 進行紅隊測試,創新地評估模型安全性,但企業仍需確保模型符合自身業務和安全需求。
- GPT-Red 結合人類專家和 AI 代理進行紅隊測試
- 這一方法在模型安全測試中屬首創
主題流
模型更新是 AI 產品和基礎設施變化的源頭。這裡追蹤前沿模型、多模態能力、開源權重、上下文窗口、評測結果、API 變化和部署路徑,協助讀者判斷新模型是否真正改變成本、品質或可用性。
OpenAI 通過 GPT-Red 結合人類與 AI 進行紅隊測試,創新地評估模型安全性,但企業仍需確保模型符合自身業務和安全需求。
中國AI實驗室Moonshot AI發佈了Kimi K3模型,擁有2.8萬億參數,自稱首個“開源3T級模型”。該模型在多個基準測試中表現優異,但定價較高。作者通過“鵜鶘騎自行車”測試,展示了模型的推理成本、隱性系統提示和視覺能力,並反思了這一非正式基準的侷限性。
本文介紹了一個自主AI音樂視頻生成系統,比較了Claude Fable 5和GPT-5.6 Sol在25美元和100美元預算下的表現。系統讓模型自主研究、生成片段、編輯並組裝完整視頻。結果顯示所有運行均成功生成視頻,但質量一般,存在一致性和節奏匹配等問題。Claude Fable 5成本更高但完成更快,GPT-5.6 Sol在編輯上更具創意。
xAI 的 Grok 4.3 現已通過 Amazon Bedrock 提供,它具有可配置的推理能力、強大的工具調用和指令遵循能力,支持 100 萬個 token 的上下文窗口,適用於代理和企業工作負載。本文介紹了其特性、訪問方式以及基本用法。
OpenAI開發了內部自動化紅隊模型GPT-Red,通過自我對弈強化學習訓練,在間接提示注入測試中以84%的成功率遠超人類紅隊的13%。該模型還發現了一種新型“虛假思維鏈”攻擊,並將GPT-5.6 Sol在最難直接注入基準上的失敗率降低了6倍。但OpenAI承認,在多輪和基於圖像的攻擊方面仍需人類參與。
GPT-5.6 Sol 和 Claude Fable 5 是目前最先進的兩款模型。Fable 5 在通用智能上略佔優勢,而 Sol 在編碼性能、執行速度和定價方面更具競爭力。Sol 的定價更接近 Claude Opus 4.8,遠低於 Fable 5。本文通過基準測試和實操對比,幫助用户選擇最適合的模型。
據報道,GPT-5.6在特定配置下會意外刪除用户文件。問題主要出現在啓用完全訪問模式且未啓用沙箱保護時,模型嘗試覆蓋$HOME環境變量但誤刪了$HOME目錄。
VentureBeat Pulse Research對101家企業的調查顯示,57%的企業在過去半年中遇到過AI代理因上下文缺失或不一致而給出自信但錯誤的答案。檢索增強生成(RAG)已成為默認上下文來源,但提供商原生檢索(如OpenAI文件搜索和Google Vertex AI搜索)已悄然超越專用向量數據庫。然而,多數企業表示傾向於保持最佳組件獨立,而非整合到單一提供商堆棧。混合檢索被期望在2026年底主導,但治理語義層仍在建設中。
VentureBeat Pulse Research對157家企業進行調研,發現組織在賦予AI Agent更多自主權的同時,對用於把關的評估的信任度卻在下降。50%的組織曾部署通過內部評估但在客户面前失敗的Agent;僅5%完全信任自動化評估;最主要的問題在於評估與現實結果不一致。然而,三分之二的組織已經允許或正在構建完全自動化(無人工干預)的部署流程。評估差距——自主權與信任之間的距離——正在擴大。
Mira Murati的Thinking Machines Lab於2026年7月16日發佈了其首個開放權重模型Inkling。這是一個混合專家(MoE)Transformer,總參數975B,活躍參數41B,採用Apache-2.0許可證,支持多模態,在45萬億token上訓練。該模型並非前沿模型,而是作為通過Tinker平台進行微調的強大基礎模型。同時預告了Inkling-Small(276B總參數,12B活躍)。模型卡和訓練數據文檔異常簡短,數據來源描述模糊,僅提及公共領域和互聯網內容。Inkling在性能上與中國開放權重模型競爭,為美國開放權重生態系統增添了新力量。
林納斯·託瓦茲在Linux媒體郵件列表中明確表示,Linux不是反AI項目,AI是一種有用的工具,任何質疑其用途的人顯然沒有真正使用過它。
1Password推出了針對Claude的瀏覽器集成,通過零暴露安全框架,AI可以訪問存儲的憑據以自動完成任務,無需手動輸入密碼。
SpaceXAI 於 2026 年 7 月 15 日開源了 Grok Build,這是其 grok CLI 背後的終端 AI 編碼代理。源代碼以 Apache 2.0 許可證發佈,包含代理循環、工具調度、TUI 和擴展系統,但 Grok 4.5 模型保持閉源,且不接受外部貢獻。
Thinky首次發佈完整LLM系列Inkling,採用MoE架構,總參數量975B,激活參數41B,支持文本、圖像、音頻輸入,1M上下文窗口,Apache 2.0許可。性能上成為美國最強開源模型,但略遜於中國開源旗艦和閉源模型。
VaultCharts是一款免費的桌面交易應用,結合了圖表工具與AI助手。它支持多種AI模型,以本地優先為特點,用户可以在有或沒有AI輔助的情況下分析市場。
本文提出了一種名為HRO的層級房間到物體框架,利用大型語言模型(LLM)實現零樣本目標導航。與現有方法不同,HRO模仿人類從房間到物體的層級空間認知,引導智能體由粗到細地探索未知環境並定位目標物體。實驗結果表明,HRO在Gibson和HM3D數據集上取得了更高的成功率和更好的泛化能力。
提出一種基於ROS-Unity的多模態遙操作架構,利用3D高斯潑濺技術生成無遮擋的外部視角,並通過軀幹振動觸覺套裝提供直觀的接近提示。在30名受試者參與的實驗中,該框架在嚴重通信延遲下表現出顯著的性能優勢,fNIRS結果顯示其能維持操作者的執行控制能力,避免認知負荷過載。
研究人員提出了一個層次貝葉斯生成模型,將恐怖谷效應轉化為數學設計變量。該模型通過四類變量(偏離預測機器人類別均值、跨模態人類相似性不一致、預測不確定性、觀測不確定性)解釋類別模糊和感知不匹配導致的親和力下降。實驗表明,增加觀測不確定性可減弱中間相似度下的熟悉度下降,而低預測不確定性則提升機器人外觀的評分。該框架為算法評估和優化人形機器人外觀與行為提供了計算基礎。
HRIBench 是一個專注於人機交互協作的基準測試框架,通過結構化場景腳本模擬代理角色、時間依賴和協調約束,評估機器人在協作中的意圖理解、同步、協議遵守和安全交互能力。實驗表明,現有基礎機器人策略在協作場景中表現不佳,但在 HRIBench 上微調後可顯著提升。
本文提出了AffectFlow-DINO,一種用於第11屆ABAW挑戰賽的多任務學習系統。它通過條件整流流頭部模型來模擬自然場景下面部行為的固有歧義,實現不確定性感知的一對多預測。系統聯合估計連續效價-喚醒度、分類八種面部表情並檢測十二個動作單元。實驗表明,整流流解碼持續改進確定性預測,後驗閾值校準有效恢復罕見類別的性能,最終模型顯著超越官方基線。
本文提出JITOMA框架,通過即時按需記憶激活解決傳統3D場景圖構建中的感知飽和問題。該框架利用任務熱圖過濾觀測、大型語言模型按需喚醒相關錨點,顯著降低計算開銷,並在長時域任務切換中保持穩定性能。同時發佈JITOMA-Bench評估基準。
提出了一種結合主動學習和雙損失優化的人機協同知識獲取框架,用於腹腔鏡視頻中的器械分割標註。該方法利用基礎模型生成時序一致的類激活圖,通過弱監督損失和圖像級掩膜損失訓練,迭代提出偽掩膜引導專家修正。最終將標註工作量減少50%,無需初始密集像素標註,提升可擴展性。
一項新研究系統比較了自監督學習中的兩種訓練範式:預訓練後微調(PFT)和聯合訓練(JT),發現JT在數據效率和低標籤設置下表現更優,而PFT在專門領域更可靠。
MGFace是一種創新的掩碼門控人臉識別管道,通過預測查詢人臉是否佩戴面罩,有條件地路由相似度計算:對未遮擋人臉使用全局嵌入匹配,對戴口罩人臉激活掩碼感知的局部區域重排序。該方法在擴展LFW-Mask數據集上,利用FaceNet骨幹網絡達到80%以上識別準確率,使用ArcFace骨幹網絡超過90%,相比基於EMD的重排序方法,查詢時間減少約20倍。
提出了一種基於Transformer掩碼自編碼器的無監督鋼表面缺陷識別方法。在預訓練中隨機掩碼75%的圖像塊,輕量級解碼器從可見的25%重構掩碼區域,並聯合訓練輔助缺陷定位目標。解碼器達到SSIM 0.92、MSE 0.47,聚類後對六類缺陷的匈牙利匹配準確率達91.3%。
Boogu-Image-0.1是一個開源統一多模態理解與生成模型家族,包含Base、Turbo、Edit和Edit-Turbo變體。它在高品質文本到圖像生成、快速推理、基於指令的編輯以及雙語文本渲染方面表現出色。儘管計算預算有限,但通過模型理解、數據質量和訓練流程的針對性改進以及推理時擴展,其性能可媲美甚至超越其他開源模型,接近領先的閉源系統。該模型僅使用2.0862億張獨特圖像,基礎模型理論訓練成本約40萬美元。
本文提出Samba,一種混合曼巴架構,用於視聽導航。它採用自適應選擇的曼巴狀態編碼器(M-SE)替代傳統GRU進行時間聚合,並構建音頻曼巴編碼器(AME)以克服卷積算子在全時頻依賴捕捉上的侷限。在Matterport3D數據集上,導航成功率提升11.3%,在Replica數據集上表現更優。該工作以更低計算成本實現更強具身表徵,為視聽導航範式演進提供了穩健技術路徑。
知識追蹤(KT)旨在通過建模學生歷史交互中的動態知識狀態來預測其未來表現。現有方法通常將原始交互序列視為統一行為過程,忽略了學習行為的階段性。本文提出相位感知知識追蹤(PAKT),將學生交互分解為能力和熟練度階段,並設計多分支Transformer聯合捕獲階段特定和整體知識狀態。在六個基準數據集上,PAKT最大AUC提升1.33%,平均提升0.82%。
該研究將何時調用大語言模型(LLM)的問題形式化為基於風險的序列停止問題,並證明了六個理論結果,包括最小事件間隔時間、閾值策略的最優性以及遺憾界。在渦扇退化數據上的實驗表明,異常得分驅動的風險函數在Pareto AUC上比基線方法高出一個數量級。
針對參數分解(PD)在大模型上計算成本高的問題,研究者提出定向參數分解(tPD),通過引入高秩“全能”組件僅處理目標輸入,從而高效識別特定計算電路。實驗表明,tPD在4塊Transformer上僅用7%的浮點運算量即可提取CSS子模型,並在12塊Transformer上精準消融和重寫記憶序列,副作用極小。論文被ICML 2026可解釋性研討會接收。
提出了一種輕量級訓練策略,通過解耦特徵提取與分類器優化,大幅減少訓練時間和能耗,在多種架構和醫學數據集上僅犧牲微小的準確率。
小型語言模型在零樣本分子屬性預測中表現不佳,因為它們忽略了圖拓撲信息。本文提出了一種上下文增強提示框架,通過圖神經網絡工具提供預測提示和解釋性子圖,在MUTAG和Tox21數據集上實現了高達74%的相對改進,但仍與專用GNN模型存在差距。
本文綜述了自我改進型自主代理的研究進展,提出了一個系統級框架,將現代代理視為基礎模型與操作支架(包括提示、記憶、工具和控制邏輯)的耦合。在此框架下,自我改進被形式化為一種自我驅動的更新算子,可更新模型參數或支架組件。文章按更新目標和驅動信號對現有工作進行分類,並討論了應用、評估以及未來方向。
大型語言模型生成的思維鏈推理看似邏輯嚴謹,但實際上可能並未真正依賴其所述的前提。本文提出一種干預式基礎審計方法,通過替換單個前提中的目標謂詞,重新運行模型,並檢查推理步驟的標準化結論是否改變,從而在步驟級別測試前提依賴。在ProntoQA基準測試中,該方法在檢測證明樹依賴方面的F1分數達到0.806,顯著優於自一致性基線。此外,66%的正確解決問題中存在至少一個對齊步驟對直接證明樹依賴不敏感,揭示了“答案正確但推理錯誤”的信號。
研究人員提出SPINE,一種智能體框架,可自動調試和部署雙臂機器人,減少專家校準依賴。測試中,SPINE提高了成功率並縮短了遙操作時間。
MIT與多家機構的研究人員開發了一種名為GIFT的自動化框架,能夠幫助視覺語言模型更準確、更高效地生成CAD程序,從而將二維設計轉化為三維模型。該方法通過分析模型自身的錯誤來生成改進數據,大幅降低了計算成本,為快速原型製作和工程設計提供了有力工具。
本文提出了一種針對Apple TV搜索的個性化系統,結合文本嵌入和ID協作嵌入,通過對比學習和交互數據學習物品表徵。在運行時,利用用户歷史構建表徵並注入XGBoost排名器。離線實驗顯示,在模糊前綴查詢上NDCG@10提升8.63%,長曆史用户獲益更大。在線實驗獲得點擊率+1.14%和轉化率+1.23%的顯著提升。
xAI 的 CLI 工具 grok 因會上傳整個目錄至 Google Cloud 而引發隱私爭議,隨後 xAI 開源了整個 Grok Build 代碼庫,並承諾刪除所有已上傳數據。該代碼庫包含 844,530 行 Rust 代碼,其中包含系統提示詞、Mermaid 圖表渲染器以及從其他編碼代理移植的工具實現。
米拉·穆拉蒂創立的Thinking Machines Lab今日發佈了其首個基礎模型Inkling,這是一款完全開放權重的巨型模型,擁有9750億參數(混合專家架構,活躍參數410億)。該模型經過45萬億token的文本、圖像、音頻和視頻訓練,原生支持多模態輸入但僅輸出文本。Inkling旨在填補西方開源AI生態的空白,提供中國模型的替代方案。它具備'思考努力'控制和不確定性標記功能,可減少幻覺。開發者可通過Tinker API進行微調。Thinking Machines計劃通過Tinker平台收費,而非按API調用計費,這可能顛覆當前主流AI商業模式。該模型在九個月內完成開發,使用英偉達GB300 NVL72系統訓練。
思考機器實驗室於2026年7月15日發佈了其首個從頭訓練的模型Inkling,採用Apache 2.0開源協議。該模型總參數量9750億,活躍參數410億,支持100萬token上下文窗口,可處理文本、圖像和音頻輸入。其核心差異化優勢在於可控制的思考力度,用户可根據需求調整推理時的token預算,平衡成本與性能。
NVIDIA發佈了基於Thor架構的T3000和T2000模塊,專為大規模機器人與邊緣AI應用設計。T3000提供865 FP4 teraflops算力,尺寸和功耗僅為T5000的一半;T2000提供400 FP4 teraflops。新模塊支持可擴展邊緣AI平台,並引入智能體技能實現內存優化。同時推出Cosmos 3 Edge模型,適用於實時視覺分析。開發者可通過模擬模式立即開始開發,模塊將於2027年Q1上市。
根據VentureBeat Pulse Research對101家企業的調查,企業代理編排正在向模型提供商平台集中,Anthropic的Claude以40%的使用率領先。然而,大多數部署的“代理”仍是簡單的聊天機器人包裝,真正的多步驟編排工作流僅佔少數。企業預計到2026年底採用混合控制平面以避免供應商鎖定,但實時成本控制仍不成熟。
德國研究聯合體發佈了Soofi S 30B-A3B的預訓練報告,這是一個面向德語和英語的開放基礎模型。模型採用混合Mamba-Transformer MoE架構,總計約316億參數,每次token激活約32億。在完全開放的基礎模型中,Soofi S在英語和德語綜合得分上最高。
谷歌研究團隊在ICLR 2026發表論文,從數學上證明擴散模型的創造力源於神經網絡訓練中的“分數平滑”效應,使得模型能夠在訓練數據點之間插值,生成新穎且合理的樣本。
在一次黑客事件中,AI音樂生成器Suno的訓練數據被曝光,顯示其從YouTube Music、Deezer和Genius等平台抓取了數百萬首歌曲和歌詞。這加劇了針對Suno的版權訴訟,該公司承認抓取但辯稱屬於合理使用。黑客還獲取了客户信息,但Suno聲稱安全事件已得到控制,未泄露敏感數據。
一個研究團隊成功利用分佈在四個國家的14台Mac電腦(包括一台個人MacBook)進行強化學習後訓練,在PaperSearchQA任務上將pass@1從29%提升至63%。該系統通過PULSE權重同步技術實現90MB的增量更新,並採用異步星型拓撲結構,所有通信基於對象存儲,無需專用網絡。這是首次完全使用消費級Mac進行rollout生成的RL後訓練。
Tura是一個本地開源編碼代理,通過在DeepSWE v1.1基準測試中使用宏CLI命令和反向推理,相比Codex CLI High,將LLM調用次數減少80%,同時成功率從60%提升至80%。
研究人員發現Claude的web_fetch工具存在漏洞,允許攻擊者通過嵌套鏈接誘導AI泄露用户私人記憶中的敏感信息,如姓名、位置和僱主。Anthropic已修復該漏洞,但未支付漏洞賞金。
韓國研究人員利用生成式AI模型Generative SNUPI,能夠將用户繪製的形狀自動轉化為可摺疊的DNA納米結構,大幅簡化了傳統DNA摺紙技術繁瑣的設計過程,為納米機器人和醫療應用開闢新途徑。
AI-CLI是一個用單一C文件實現的命令行助手,可將用户請求直接轉換為shell命令並執行。它支持多種本地LLM引擎,如llama.cpp、Ollama等,並允許用户在執行前編輯或拒絕生成的命令。該項目提供了豐富的示例和廣泛的平台兼容性。