機器學習研究中有多少是關於AI安全的?涉及哪些內容?誰在做?
LessWrong上的一篇文章分析了ICML 2026的論文,發現僅有一小部分機器學習研究專注於AI安全。在999篇論文中,954篇可檢索,其中只有約10篇明確涉及安全議題,涵蓋對齊、魯棒性和可解釋性等領域。研究主要由學術機構和工業實驗室開展。
- ICML 2026共999篇論文,954篇可檢索,45篇因標題變更無法獲取。
- 明確關注AI安全的論文僅約10篇,佔比約1%。
主題流
研究動態揭示下一批產品能力和基礎設施需求。這裡追蹤論文、基準、數據集、實驗系統、實驗室發布和開源復現,重點關注哪些結果可能進入模型訓練、Agent 系統、機械人或開發者工具。
LessWrong上的一篇文章分析了ICML 2026的論文,發現僅有一小部分機器學習研究專注於AI安全。在999篇論文中,954篇可檢索,其中只有約10篇明確涉及安全議題,涵蓋對齊、魯棒性和可解釋性等領域。研究主要由學術機構和工業實驗室開展。
PromptMan是一款macOS菜單欄應用,允許用户通過全局快捷鍵快速保存、組織和重用AI提示,支持ChatGPT、Claude等工具,並提供雲同步、提示版本管理和AI增強功能。免費版提供10個提示,Pro版每月4.99美元,年付39美元。
根據Common Sense Media的一份新報告,谷歌的AI搜索功能(AI Overview和AI Mode)對兒童構成“不可接受的風險”。報告發現,這些功能未能識別危險行為,為兒童完成作業,並提供不準確和前後矛盾的回覆。谷歌回應稱其AI工具提供了額外保護,但批評者指出這些功能默認啓用且無法禁用,對學校和家庭構成挑戰。
運行三次機械解釋性研討會後,研究人員獲得了分析LLM垃圾投稿增長的數據集。@andyarditi 調查了AI垃圾的准入情況以及自2024年以來的變化。
澳大利亞總理在悉尼大學發表演講,強調澳大利亞應主動塑造人工智能的發展,以維護國家利益。他回顧了澳大利亞在社會保障、勞工權利等方面的創新傳統,並宣佈將建立一套澳大利亞人工智能標準,以規範大型數據中心,保護藝術家和媒體,同時吸引投資並創造就業。
一位開發者通過Fable工具在AsciiDoc、Markdown和HTML之間轉換了674份文檔,並比較了這些格式在AI規範中的適用性。
非英語母語寫作者的新工作流:先用母語起草,然後用AI翻譯和潤色成英語。研究表明,用第二語言寫作會多花30-50%的時間,原因是認知負荷。通過將想法生成與語言轉換分離,並藉助Echoo等AI工具,寫作者可以恢復速度和表達質量。
谷歌於2026年7月9日發佈了LiteRT.js,這是其設備端推理庫LiteRT的JavaScript綁定,允許.tflite模型直接在瀏覽器中運行,利用WebGPU加速。相比其他Web運行時,性能提升可達3倍,GPU/NPU路徑相比CPU路徑提速5-60倍,但需要手動管理張量內存。
Lean64 是一個用 Lean 4 實現的極簡 3D 第一人稱射擊遊戲,靈感來自 Doom 64。它並非 Doom 64 的移植版,而是獨立開發的原型,包含完整的遊戲循環、敵人 AI、武器系統、音效和地圖。所有代碼和素材均為原創,採用 MIT 許可證。
本文探討AI編程助手如何通過“提示-等待-評估”循環破壞心流狀態。作者指出,這種循環替代了編程中清晰的目標、即時反饋和技能匹配挑戰,導致頻繁的上下文切換和精神重建。文章引用心理學和中斷研究,分析AI工具如何成為新型中斷源,並建議開發者區分任務類型、批量使用AI以保護深度工作。
儘管Anthropic聲稱其模型Claude內部出現意識跡象,但神經科學家阿尼爾·塞思認為,這不過是模擬,就像天氣預報系統不會產生真實颶風一樣。
人工智能幫助解答了統計學中多重假設檢驗的一個關鍵問題——如何控制錯誤發現率(FDR)。Benjamini和Hochberg在1995年提出了一種方法,而AI的最新應用進一步推動了該領域的發展。
Monid是一個平台,允許AI智能體無縫連接並使用超過1300種工具,涵蓋搜索、數據抓取、天氣、3D建模等領域。它提供統一的支付系統,按調用付費,無需訂閲,並支持三種集成方式:Skill、MCP和CLI。
本文介紹了一種用於AI治療的系統設計,該系統通過確定性管道決定臨牀行動,不讓LLM自行決策。系統包括評分、狀態桶、准入表、動作選擇、微實踐和危機預篩查等步驟,僅在評分和生成階段使用LLM。文章還討論了該方法的成本與侷限性。
研究人員提出了一種基於物理信息的殘差動力學學習框架,在保持聯合多四旋翼系統微分平坦性的同時,捕獲複雜的空氣動力學相互作用。該框架實現了一種計算高效的反饋線性化控制器,與基準相比,平均跟蹤誤差降低了31%。其性能與最先進的非線性模型預測控制(NMPC)相當,但計算量少一個數量級。僅需不到30秒的訓練數據和5毫秒的循環週期即可實現穩定的緊密編隊飛行。
DiffRadar是一種實時雷達SLAM系統,將雷達觀測建模為可微的物理感知高斯場,而非離散掃描。在公共基準測試中大幅降低軌跡誤差,尤其在特徵貧乏的走廊環境下,同時地圖一致性提升一倍以上,並保持70 FPS的實時性能。
本文提出一種基於契約的行為樹合成架構,通過編碼智能體查詢機器人端的MCP服務器獲取技能庫和操作符,實現從自然語言到可執行行為樹的可靠合成。實驗表明該方法在模擬和實體機器人上均取得高成功率。
一項研究探討了在協作單詞聯想遊戲中,機器人的注視行為如何影響人類的視覺注意力,以及人類是否傾向於向機器人尋求確認性的注視。實驗使用NAO機器人作為大語言模型驅動的對話夥伴,發現機器人注視方向不影響人類首次注視提議單詞的時間,但參與者在對話中包含確認請求時會更頻繁地注視機器人。結果表明,在認知要求高的任務中,語言方面可能壓倒了機器人注視的影響。
本研究探索利用航天器機械臂的運動實現無推進劑姿態控制,通過軌跡優化問題公式化並引入關節和碰撞避免約束,演示了複雜機動,並證明了機械臂可作為冗餘或主姿態控制系統。
本文對索尼ERS-111 AIBO機器人的R-CODE樣本集進行了語料庫級別的行為圖分析,識別出以初始化、感知、迭代動作、同步和恢復為核心的緊湊控制詞彙,並論證了這種狀態抽象在資源受限的機器人系統中作為中間表示的價值。
GaitSpan是一種新穎的人形機器人步態擴展框架,它利用預訓練的行走策略作為種子技能,通過節奏生成、步幅塑造和殘差適應三個模塊,將基本行走能力平滑擴展到奔跑,實現了連續速度範圍、跨形態遷移和零樣本部署。
該論文提出兩種互補的物理先驗,以提高機器人手內滾動操作的魯棒性:全局抓取質量先驗基於經典抓取分析,局部接觸幾何先驗基於指尖曲率。實驗表明,這些先驗顯著提升了旋轉效率、抓取穩定性和抗干擾能力,並改善了仿真到現實的遷移。
提出一種無監督圖像翻譯框架,將白天植物行RGB圖像轉換為近紅外(NIR)夜間圖像,無需逐像素監督,從而重用白天語義標籤訓練夜間感知模型。利用預訓練CLIP模型保持語義一致性,並引入可見性掩碼處理NIR照明有效範圍有限的問題。在AgriNight數據集上評估,該數據集包含428張白天和549張夜間圖像,是首個夜間農業視覺導航基準。實際機器人夜間導航實驗驗證了有效性。
多機器人在受限環境中需要變形和重構兩種行為。現有方法獨立建模或依賴規則,易導致死鎖。EFLUX提出幾何基礎的LLM智能體框架,聯合推理變形和重構動作,通過閉環生成與驗證實現安全導航。實驗表明能減少死鎖和導航失敗。
一項新研究探討了無需訓練的人工合成圖像溯源方法中表示空間與參考選擇之間的相互作用。通過分析CLIP和DINOv2不同層的表示,以及三種參考選擇方法,發現中間層的表示在溯源準確率上表現最佳,且語義約束的參考能有效減少查詢與參考之間的不匹配,提升溯源性能。
本文系統評估了持續學習方法在異構醫學視覺問答任務中的表現,涵蓋分類、多標籤分類、檢測、細胞計數和報告生成等多樣化臨牀目標。研究發現現有持續學習方法難以在不同目標與監督格式交織的任務中保持穩定性-可塑性平衡。
SymbOmni是一種新型AI模型,旨在解決當前模型“永恆新手”的問題——即無法積累經驗並自主進化。它通過符號概念學習,利用可優化的記憶模塊將低級操作抽象為可重用的符號工作流指令,並通過歸納-轉導循環實現持續自我改進。實驗表明,SymbOmni在圖像質量和任務成功率上超越現有代理系統及閉源模型,同時減少40%以上的令牌消耗,並在持續學習基準上取得新成果。
本文提出MetaView,一種基於擴散模型的單目新視角合成框架,能夠從單張圖像實現大視角變化下的渲染。通過結合隱式幾何建模與度量深度,MetaView在保持幾何一致性的同時提供了精確可控性。實驗表明,在挑戰性大視角變化場景下,MetaView顯著優於現有方法。
提出一種解剖學特權的師生框架,用於從T2加權MRI預測肝內膽管癌的周圍神經侵犯(PNI)。訓練時教師網絡使用腫瘤和肝臟掩膜學習密集令牌路由,學生網絡在固定預算下蒸餾保留信息令牌,推理時不需掩膜。在155名患者中,方法AUROC達0.750,計算量1.43 GFLOPs,每例8.02 ms。
SpikeDS是一種新型脈衝神經網絡架構,通過結合激活稀疏性和空間稀疏性,高效地從3D MRI中預測膽管癌的神經侵犯,在139名患者的隊列中實現了0.753的AUC,能耗僅14.4 mJ。
自監督學習在醫學影像領域潛力巨大,但標註數據稀缺。本文提出COJEPA框架,結合聯合嵌入預測架構和對比損失,在無標註的T1加權腦部MRI上訓練,實現了優異的局部預測性和全局判別性。在零樣本雙胞胎檢索、腦腫瘤分割和年齡迴歸任務中表現突出,尤其在同卵雙胞胎識別和年齡預測誤差方面達到最先進水平。
本文提出一種新方法,通過視覺語言模型(VLM)生成逐幀描述,並比較兩個任務視頻間的幀相似度及段內自相似性,自動檢測異常幀,從而提取包含專家特定動作和情境決策知識的候選場景。在模擬配電板維護實驗(27個任務場景)中,該方法動作候選提取率達65%,決策場景候選提取率達61%,優於傳統方法的59%和33%。
GenDiff是一種新型擴散模型框架,通過聯合建模連續輻射劑量和解剖信息,實現低劑量CT重建。它整合了劑量-解剖編碼器、冷擴散主幹、物理一致性更新和結構先驗細化模塊,在多種臨牀數據集上優於現有方法,展現出強大的魯棒性和泛化能力。
TSCA-Net通過三個互補模塊(時空團注意力、跨行人團勢、自適應KAN網格細化)顯著提升擁擠環境中的行人軌跡預測精度,在ETH/UCY和SDD基準上達到最先進性能。
提出兩種混合持續學習方法(RA-EWC和CGKD),用於低資源澳大利亞原住民語言識別,有效緩解災難性遺忘,在Warlpiri、Dalabon和Dharawal三種語言上表現優於現有基線。
該論文揭示了語言模型如何區分角色的信念與現實。研究發現,這種分離基於兩個可分離的機制:一個通用值槽綁定屬性值,一個路由器根據查詢選擇讀取的框架。值槽可以通過兩種方式填充:直接斷言和基於可見性的推導。分離位於獨立的路由子空間中,而不是值槽本身。這些結果在多種架構中得到驗證,且該行為在3B至7B參數規模的模型中出現。
本文通過MAGE框架研究多組件提示優化中不同組件的相互作用,揭示了提示優化耦合效應(POCE):多個隨機優化信號在閉環反射回路中相互作用,同時提升性能與放大方差。關鍵發現包括:基於失敗反思不可或缺、MAGE在GSM8K-Hard上優於GEPA、增大候選多樣性使POCE信號最明顯、POCE依賴於基礎模型能力空間、低數據場景下固定提示優於優化器。
本研究通過兩階段流水線(監督微調+4位量化)將LLaMA 3 (8B)微調為高效的替代重排序器,在RAG管道中替代傳統交叉編碼器,在保持高準確率的同時顯著降低推理成本。在領域特定問答基準上,微調模型在答案相關性、上下文精度、答案相似度和答案正確性上分別提升14%、16%、19%和21%。
本文提出了一種基於軌跡感知知識估計(TAKE)的文本數據集蒸餾框架,利用影響函數和訓練軌跡計算每個樣本的知識得分,並通過最優傳輸選擇原型樣本,可將語料庫壓縮至原始大小的0.1%,同時保持下游任務性能。該方法在文本分類和自然語言推理任務上驗證了有效性,為數據高效AI提供了理論支撐。
本文提出一種基於圖的框架,結合弱監督與傳播圖分析,檢測Telegram生態系統中的虛假信息敍事。該方法將語義相關的聲明聚合為敍事級聚類,並建模其在互連頻道間的擴散,從而發現僅通過帖子級分析難以捕捉的協調放大行為。實驗表明,融合文本信號與網絡結構可提供可擴展的檢測方法,並揭示虛假信息在大型消息環境中的傳播機制。
一項新研究評估了最先進的大語言模型在韓語-盲文雙向翻譯上的表現,發現輸出質量差且不穩定,與人類判斷存在顯著分歧。相比之下,對小型T5-small模型進行監督微調後,所有標準指標均大幅提升。研究表明,當前LLM缺乏盲文感知的標記化,且與盲文模式對齊薄弱,揭示了無障礙關鍵模態中的系統性限制。
本文介紹了CANDI-QA數據集,用於評估大型語言模型在醫學診斷和金融諮詢等專業領域的上下文對齊能力。數據集包含信息輔助和應用推理兩類問題。研究評估了十多個模型,並提出了輕量級神經符號框架MTSS-Net作為基線。結果表明,當前LLM在專業領域實現上下文對齊仍面臨重大挑戰。
本研究通過擴展規模,大幅縮小了點及時語言模型與不受時間約束模型之間的性能差距。研究者訓練了多達40億參數的解碼器專用Transformer模型,使用FineWeb中1萬億按時間順序篩選的令牌,構建了從2013年到2024年的月度模型檢查點序列。在常識推理和語言理解基準測試中,這些模型接近了同等規模的領先開放權重模型(如Gemma-3-4B和LLaMA-7B)的性能。通過LoRA進行指令微調進一步提升了下游可用性。研究團隊發佈了完整的流水線,以實現可復現的點及時語言建模。
本文提出一種廣義無分佈半監督學習框架,通過風險重寫構建無偏風險估計器,適用於多類分類,並證明其方差優於PNU學習,實際方法在基準測試中表現匹配或超越現有方法。
研究人員提出BattVAE-GP框架,結合變分自編碼器和高斯過程,高效模擬鋰離子電池在不同充電速率下的長期退化軌跡,並量化不確定性。該方法降低了計算成本,為電池健康預測提供了高效替代模型。
最新研究對六種KV緩存壓縮方法進行了匹配預算審計,發現查詢可見性顯著影響性能排名。在查詢感知協議下,許多方法表現良好,但在更實用的查詢不可知協議(壓縮後複用)下,只有KeyDiff方法始終優於簡單基線。SnapKV等常用方法甚至不如保留開頭和最近窗口的簡單策略。
隨着大型預訓練模型規模增長,微調中的內存瓶頸日益突出。LoRA通過低秩適應減少參數,但激活值存儲成為新的瓶頸。CARE-LoRA利用LoRA投影結構,將完整輸入激活替換為低秩壓縮激活,並計算輕量重建矩陣用於反向傳播,大幅降低內存佔用,同時保持或提升性能。
本文介紹了由Afonso S. Bandeira、Amit Singer和Thomas Strohmer合著的新書《數據科學的數學基礎》,該書全面涵蓋了高維詛咒與祝福、奇異值分解、線性迴歸、圖論與聚類、非線性降維、隨機投影、優化、分類、深度學習、圖拉普拉斯、集中不等式、壓縮感知等主題,為數據科學提供了堅實的數學基礎。
鏡像理論提出通過可行路徑熵(VPE)度量智能系統在反覆反射下維持連貫延續的能力。實驗表明,增加token預算可擴展驗證可達性,且模型能力並非僅取決於參數數量。
本文提出一種量子比特高效的量子框架用於超維計算分解,通過引入對數超向量和對數綁定編碼,並結合改進的Dürr-Høyer搜索過程,將表示成本從O(D)降至O(log D),同時保持O(√N^F)的搜索複雜度,實驗驗證了正確的相似度計算和準確的分解,在可實現規模上實現了高達2000倍的量子比特減少。