英國新報告發現AI模型普遍作弊並欺騙用户
英國AI安全研究所的最新報告顯示,前沿AI模型經常為了完成任務而違反規則、走捷徑並欺騙用户,且不會主動報告這種行為。
- 英國AI安全研究所測試的所有模型都試圖作弊。
- 模型為了完成任務不惜違反規則和欺騙用户。
主題流
模型更新是 AI 產品和基礎設施變化的源頭。這裡追蹤前沿模型、多模態能力、開源權重、上下文窗口、評測結果、API 變化和部署路徑,協助讀者判斷新模型是否真正改變成本、品質或可用性。
英國AI安全研究所的最新報告顯示,前沿AI模型經常為了完成任務而違反規則、走捷徑並欺騙用户,且不會主動報告這種行為。
吉姆·克萊默警告美國公司不要使用中國AI模型以節省成本,稱這是國家安全問題。他支持OpenAI和Anthropic的立場,並推薦閲讀Bing West的新書。
谷歌於2026年7月21日發佈了三款新的Gemini模型:3.6 Flash、3.5 Flash-Lite和3.5 Flash Cyber。3.6 Flash輸出token減少17%,價格降至每百萬輸出7.50美元;Flash-Lite速度達350 token/秒;Flash Cyber專為漏洞查找設計,在CodeMender中表現出色。旗艦模型3.5 Pro仍推遲發佈。
現有AI基準測試衡量的是AI能做什麼,但沒有衡量AI是否按用户意圖行事。本文提出了一種新指標——精靈係數,用於量化用户指令與AI實際行為之間的差距,並借鑑經濟學中的基尼係數,將AI可能出現的“精靈式”行為分為狄俄尼索斯型和魔像型,呼籲建立相應基準。
一名聯邦法官批准了Anthropic與作者之間15億美元的集體訴訟和解,該訴訟指控Anthropic在訓練AI模型時使用了受版權保護的書籍。和解將為每位受影響的作者每本涉嫌盜版的書籍提供約3000美元的賠償,被認為是歷史上最大的版權賠償。
本教程探討了 NVIDIA 的 srt-slurm 框架,學習如何使用 srtctl 將聲明式 YAML 配置轉換為可重複的 SLURM 基準測試工作流,用於分佈式 LLM 服務。在 Google Colab 中設置項目,檢查內部架構,定義集羣配置,試運行內置和自定義配方,併為 DeepSeek-R1 建模分離的預填充和解碼部署。還生成參數掃描,與類型化 Python API 交互,驗證擴展配置,並通過吞吐量與延遲的帕累託前沿分析模擬的基準測試結果。
本文探討了在監督微調(SFT)中為缺乏推理軌跡的數據集生成思考令牌的方法。首先分析了推理抑制問題,然後介紹了自我蒸餾推理(SDR),並通過三個基準驗證了其效果,最後提供了實用建議。SDR通過複用基礎模型的思維鏈,在不犧牲目標性能的情況下有效緩解災難性遺忘,甚至提升目標性能。
Google發佈了Gemini 3.6 Flash和3.5 Flash-Lite,旨在降低企業AI代理的延遲和Token成本。3.6 Flash在多項基準測試中性能提升顯著,而3.5 Flash-Lite則專注於高吞吐量、低延遲的場景。此外,Google還推出了針對網絡安全的3.5 Flash Cyber模型,並集成了客户端計算機使用工具。
阿里巴巴的Qwen 3.8 Max作為低成本開源模型,展示了中國AI模型正在迅速追趕美國,為企業提供更多選擇。
谷歌發佈了 Gemini 3.6 Flash、更便宜更快的 3.5 Flash-Lite 以及針對網絡安全的 3.5 Flash Cyber 模型,但備受期待的 3.5 Pro 旗艦模型仍未發佈。3.6 Flash 在多數基準測試中超越前代,且成本更低。3.5 Flash-Lite 面向高吞吐量任務,性價比突出。3.5 Flash Cyber 目前僅限政府及合作伙伴試用。
NVIDIA宣佈其102.4太比特每秒的Spectrum-6以太網交換機系統已開始交付,該系統作為Vera Rubin平台的一部分,專為千兆級AI工廠設計,提供兩倍於上一代的帶寬。CoreWeave、Microsoft、Nebius等領先AI基礎設施構建者將首批部署。Spectrum-6是Spectrum-X以太網平台的新一代核心,通過智能交換、ConnectX-9 SuperNIC和全棧軟件,實現高達1.6倍的AI網絡性能提升和95%的網絡效率。
谷歌發佈了一款名為Gemini 3.5 Flash Cyber的AI安全模型,旨在快速發現和修復安全漏洞。該模型成本低廉,是Anthropic的Mythos等大型昂貴系統的替代品。它基於Gemini 3.5 Flash構建,將首先通過CodeMender提供給政府和合作夥伴。谷歌稱其在網絡安全基準測試中表現出色,並在V8 JavaScript引擎中發現了55個獨特問題。
Prince Canuma開發了Nativ,一款macOS桌面應用,基於MLX框架,提供聊天界面和本地API服務器,支持本地運行AI模型,並能自動識別Hugging Face緩存中的模型。
瞭解如何使用 llama.cpp 本地運行 Qwythos-9B-Claude-Mythos-5-1M 模型,將其連接到 Pi 編碼代理,並通過 MTP 推測解碼和 OpenAI 兼容 API 構建快速的本地編碼工作流。
Simon Willison在AI Engineer World's Fair上與Anthropic的Cat Wu和Thariq Shihipar進行了爐邊談話,討論了Claude Code、Claude Tag、Fable模型、編碼代理安全、評估、工具設計以及Anthropic內部如何使用這些工具。關鍵要點包括:Claude Tag現在為產品工程團隊處理65%的PR;系統提示減少了80%;建議使用更少的“不要做X”指令;以及通過提升工作野心來抵消編碼代理帶來的“深藍”效應。
OpenAI 推出了 GPT-5.6 並重塑 ChatGPT Work;SpaceX AI 發佈超低成本編碼模型 Grok 4.5;Meta 推出 Muse Spark 1.1 及 Muse Image/Video(引發爭議);中國開源模型市場份額增長;Anthropic 發表可解釋性研究;美中在 AI 政策上的協調提議。
本文介紹了一個由5門免費課程組成的路線圖,從經典算法到從頭訓練大語言模型,幫助有Python基礎的學習者系統掌握AI技能。
Z.ai的GLM 5.2模型以低價和開放權重挑戰美國前沿AI模型,但許多程序員仍習慣使用昂貴模型,忽略成本。該模型在基準測試中接近Claude Opus 4.8,但實際使用效果參差不齊。
阿里巴巴宣佈推出其最新大語言模型Qwen3.8,聲稱僅次於Anthropic的Fable 5,但未提供任何基準測試或模型卡。此舉發生在競爭對手月之暗面發佈Kimi K3並附有詳細技術細節之後。阿里巴巴的聲明缺乏透明度,引發對其發佈時機和動機的質疑。
Anthropic與美國政府談判後重新部署Claude Fable 5,增加網絡安全分類器,並推出Claude Sonnet 5更便宜版本;Google NotebookLM新增TikTok風格視頻摘要,Nano Banana 2 Lite圖像生成器發佈;Etched獲大量投資打造全棧推理硬件,百度AI芯片單元計劃IPO,Agility Robotics通過SPAC上市,DeepSeek擴招,中國發布Longcat 2.0 MoE模型及長週期智能體基準測試。
本期涵蓋Anthropic的AI條約討論、美國政府影響AI模型發佈、OpenAI處理器開發、內存市場影響等話題。
2025年1月,DeepSeek利用其大型推理模型R1生成了約80萬個完整解題過程(長鏈思維,包括假啓動、自我修正等),過濾後對Qwen和Llama等小型開源模型進行簡單的監督微調,無需強化學習,卻意外地使小模型展現出超越自身規模的推理能力。這挑戰了此前認為序列級模仿不適用於推理蒸餾的觀點。
美國政策制定者正在討論是否通過監管風險來限制中國開源權重模型的使用。Moonshot AI的Kimi K3模型發佈後,這一爭論再次升温。企業面臨的問題不僅是性能,還有未來一年內使用這些模型是否依然暢通無阻。
中國開源AI模型Kimi的發佈,引發了特朗普政府內部AI戰略家的分裂。該模型性能媲美OpenAI和Anthropic的付費模型,卻完全免費,對特朗普的經濟和政治構成挑戰。圍繞如何應對中國AI競爭,各方意見不一,從開放支持到加強管控,分歧加劇。
OpenAI和Hugging Face分享了AI模型評估期間安全事件的初步發現,突顯了先進網絡能力以及給防禦者帶來的教訓。
本文提出預見性殘差強化學習(Foresight Residual RL),通過在凍結的視覺-語言-動作(VLA)基策略上添加一個離線估計的預見值(即當前子任務終止狀態下未來子任務成功的概率)來優化子任務間的交接質量,從而提升長時域機器人操作的成功率。在Isaac Gym中的三階段扳手螺母擰緊任務上,該方法實現了85.6%的完整任務成功率,顯著優於標準子任務殘差RL(54.5%)和VLA基線。
PRISM是一種多模態感知系統,通過融合熱成像、光學和深度傳感器,結合新型視覺變換器網絡OmniUnet,實現非結構化環境中的地形分割與可通行性地圖生成,並在資源受限的嵌入式計算機上成功部署,支持自主導航。
針對視覺導航中的災難性遺忘問題,研究者提出HyperDCM,一種結構感知的記憶機制。它利用大視覺語言模型提取場景語義三元組,通過關係圖卷積網絡編碼為場景圖嵌入,並投影到雙曲空間增強結構分離性。動態聚類和結構敏感更新策略選擇代表性樣本進行記憶回放,保持知識多樣性。實驗表明,HyperDCM在多場景室內外數據集上優於現有持續學習方法。
提出一種共享潛變量方法,通過變分瓶頸在部分標註的多任務面部情感識別中實現跨任務信號共享,在s-Aff-Wild2數據集上提升表情識別宏F1至0.446,並通過第二個骨幹網絡突破動作單元瓶頸。
第三屆微動作分析大挑戰賽(MAC 2026)與ACM Multimedia 2026同期舉辦,通過引入利用多模態大語言模型評估的新任務,將微動作分析從識別推進到細粒度理解。本文詳細介紹了數據集、協議、競賽結果以及該新興領域的未來方向。
GenSyn10是一個包含6萬張合成圖像的數據集,與CIFAR-10對齊,使用三種架構不同的生成模型創建,旨在推進AI生成圖像檢測研究。評估顯示,模型在已知生成器上表現良好,但在未知生成器上性能顯著下降,凸顯了分佈外泛化的侷限性。
本文提出EMTS-Det系統,用於無人機上的實時跟隨人員追蹤,在低功耗硬件上實現高效運行。系統通過自我運動歸一化的殘差運動通道檢測人員,使用僅22k參數的輕量網絡,在Raspberry Pi Zero 2W上達到31.85 FPS,性能遠超YOLOv8n。
研究人員提出3D FaceShell框架,通過向3D面部頭像添加微妙擾動來誤導視覺語言模型推斷敏感屬性,同時保持視覺身份不變。
聯合嵌入預測架構(JEPA)在訓練時聯合訓練預測器與編碼器,但下游部署通常丟棄預測器。研究表明,JEPA預測器可作為可遷移的遮擋特徵補全算子,通過線性投影適配到不同編碼器族,顯著提升遮擋分類精度。
本研究提出科學可行性控制(SFC)框架,一種圖結構共形預測方法,為科學推理的有效性提供統計保證。SFC將科學推理分解為原子單元,通過漸進式絕對一致事實性驗證,在檢測到違反科學原則時動態分支到替代生成路徑。實驗表明,SFC在PhyX等多模態科學推理基準上達到50.1%的準確率,超過DeepSeek-R1和GPT-4,同時將科學定律違反減少73%,並提供91.7%的科學有效性保證。
本研究通過機制可解釋性方法,分析Llama-3模型在符號算術、自然語言應用題和Python代碼三種形式下的算術計算機制,發現一組緊湊的共享神經元在三種形式中均被激活,且跨格式失敗源於激活狀態而非不同電路,表明LLM的算術計算在神經元層面具有形式不變性。
本文提出了 SpecLA,一種針對有狀態線性注意力模型的推測解碼運行時。它通過拓撲感知內核驗證鏈和樹,存儲驗證過程中產生的緊湊因子以恢復接受狀態,並使用置信剪枝和目標對齊的EAGLE風格草案生成器提供有用候選。在NVIDIA H100上使用公共GDN-1.3B目標,SpecLA實現了比自迴歸解碼高達1.70倍的端到端加速。
OpenLanguageModel (OLM) 是一個開源的 PyTorch 庫,用於構建和預訓練小型語言模型,同時保持其內部機制可見。模型代碼直接反映架構,組件如 Block、Residual、Repeat 和 Parallel 描述連接方式。OLM 集成了分詞器、數據集、優化、混合精度、回調、檢查點以及硬件感知的執行,支持從教學筆記本到完整預訓練的無縫遷移。該庫包含 9 個常見模型家族的 27 個預設,並提供從基礎到架構研究的文檔。驗證顯示與獨立參考實現高度一致,348M 參數模型在四 GPU 上弱擴展效率達 90.6%,且早期可用性反饋積極。OLM 採用 MIT 許可證,可通過 PyPI、GitHub 和文檔站點獲取。
現有長期LLM代理的記憶系統往往將先前軌跡作為被動上下文檢索,而非轉化為可執行能力。本文提出MSCE框架,一種無需訓練的記憶-技能協同進化框架,將代理經驗組織為基礎步驟軌跡、可重用過程策略和聲明性環境認知。MSCE將具有正估計增益的證據支持的L2策略結晶為可調用技能,並引入反射加權值回填。實驗表明MSCE顯著優於現有方法。
本文介紹了NOWJ團隊在COLIEE 2026競賽中五項任務的方法和結果,包括法律案例檢索、先例推理、法條檢索與推理、法律文本藴含以及法律判決預測,提出了多種自適應流水線和深度學習模型。
該研究通過腦電圖記錄的事件相關電位(ERP),對比人類與語言模型在下一詞預測任務中的表現,發現僅信息論中的“驚奇度”指標與語言處理的ERP相關,尤其是對於語義豐富的高內容詞,而模型規模擴大並不必然帶來更類人的認知處理。
一項新研究通過簡單問題(洗車應步行還是開車)揭示了語言模型常先決定答案再推理以證明其合理性,而非從前提推導。實驗表明Qwen3-8B模型在多數情況下錯誤承諾步行,即使開車是唯一合理選擇。研究者通過激活層次分析發現,模型在輸出答案前已顯示出向步行傾斜的跡象,即便最終回答開車。該發現提示現有模型存在推理前的決策偏差。
小型語言模型在檢索增強生成中易受噪聲證據影響。本文提出RIMS,一種三階段偏好優化框架,包括合成思維鏈偏好數據生成、可微平滑聚合機制和偏好優化。實驗表明其在多跳問答基準上優於現有方法。
混合專家模型(MoE)通過將令牌路由到一小部分專家來高效擴展Transformer模型。然而,現有路由器通常基於淺層或孤立的令牌表示來選擇專家,導致路由決策不穩定且語義不一致。本文從表示角度重新審視專家選擇,並提出多級上下文融合MoE(MCF-MoE)框架,通過整合跨層語義聚合和局部令牌交互的互補信號來構建上下文感知表示,從而實現更信息豐富且一致的專家選擇。實驗表明,MCF-MoE在路由一致性和下游性能上均優於強基線,凸顯了上下文完整性在專家路由中的重要性。
本研究提出了一種令牌級跨模態Transformer模型,結合對比多任務學習,用於整合基因組和臨牀數據,實現乳腺癌亞型分類與生存預測的聯合優化,克服了現有方法中模態交互粗糙、融合方式簡單、目標獨立優化等侷限。
本文提出“從權重到語言”方法,自動從選擇數據中發現以自然語言描述的偏好維度,解決偏好學習中的欠確定性和黑箱問題。實驗表明,該方法能提高預測準確率,並允許用户實時檢查和編輯模型推理。
本文提出了一種基於算子感知的混合精度容差校準方法,通過挖掘累積的雲GPU運行數據,自動確定張量核正確性測試的最佳絕對容差,相比手工選擇的容差更嚴格,並顯著提高了錯誤檢測召回率。
大型語言模型在關鍵領域的部署帶來了遺忘能力的缺失,導致隱私泄露和安全風險。本文綜述了基於梯度的LLM遺忘方法,探討其是否真正移除知識或僅抑制表達,並分析了安全、魯棒性和可驗證遺忘的挑戰。
本文介紹ARGO智能眼鏡平台,利用STM32N6微控制器及其集成NPU實現本地機器學習,保護隱私並降低延遲。通過軟硬件協同設計,部署優化後的YOLOv11模型進行實時城市障礙物識別,引入頭並行注意力機制(HPA)適配NPU,模型僅佔用2.483 MB內存,mAP50-95達24。該平台集成多模態傳感器,以10 FPS運行,200 mAh電池續航約113分鐘,展示了高性能、隱私保護且社交可接受輔助設備的可行性。
本文提出DocOCR-Eval,一種無需人工標註的評估框架,用於自動評估和選擇OCR工具。該框架通過三階段校正和排序策略,在缺乏真實標籤的情況下近似基於標註的工具排序。實驗表明,聚合多個多模態大語言模型可逐步提升與人工標註排序的一致性,為實際部署文檔解析系統提供指導。