本文利用星形域體積估計研究隨機神經網絡的參數-函數映射的歸納偏差。實驗表明，局部體積度量未能復現先前研究（神經紅移）的結果，且與學習行為相關性較弱，暗示單一複雜度度量可能不足以捕捉神經網絡的歸納偏差。

EleutherAI發佈了Common Pile v0.1，一個8TB的公開許可和公共領域文本數據集，旨在促進開放科學和AI研究的透明度。該數據集由多個機構合作構建，並訓練了Comma v0.1模型，性能與未許可數據訓練的模型相當。

本文作者認為，通過多模態擴展來實現通用人工智能（AGI）的道路註定失敗。真正的智能需要具身認知和對物理世界的理解，而當前的大型語言模型（LLM）和多模態模型僅從符號處理中學習，缺乏對現實的深層把握。作者主張放棄拼湊多模態的方式，轉向以具身交互為核心的智能研究。

美國街道對行人極其危險。加州聖卡洛斯的初創公司Obvio通過在停車標誌安裝攝像頭來解決此問題，並聲稱其設計不會造成監控氾濫。公司已完成2200萬美元A輪融資，由Bain Capital Ventures領投，計劃從馬里蘭州的五個城市擴展。攝像頭使用AI識別違規行為，僅在上傳違規證據時才傳輸數據，其他錄像在本地保留12小時後刪除，以保護隱私。

EleutherAI的研究團隊探索了使用產品鍵記憶（PKM）技術來改進稀疏編碼器的性能。實驗表明，PKM轉換器在訓練速度和可解釋性方面具有優勢，尤其適用於中等擴展因子。儘管在某些情況下PKM轉換器能與TopK轉換器競爭，但在極大擴展因子下基線模型表現更好。

Adobe 研究團隊與斯坦福大學、普林斯頓大學合作，提出一種結合狀態空間模型（SSM）和密集局部注意力的新型架構，有效解決了視頻世界模型中的長期記憶難題。通過塊狀 SSM 掃描方案、擴散強制訓練和幀局部注意力等策略，模型在 Memory Maze 和 Minecraft 等數據集上表現出色，能夠在不犧牲計算效率的前提下保持遠距離幀的連貫性，為交互式應用提供了可能。

DeepSeek-V3團隊發佈了一篇14頁的技術論文，由CEO梁文鋒合著，探討了硬件感知模型協同設計以克服擴展挑戰。論文詳細介紹了多頭潛在注意力（MLA）、DeepSeekMoE、FP8訓練和節點感知路由等創新，實現了經濟高效的大規模訓練和推理。

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Have you ever heard of sparse neural retrieval? If so, have you used it in production? It’s a field with excellent potential – who wouldn’t want to use an approach that combines the strengths of dense and term-based text retrieval? Yet it’s not so popular. Is it due to the common curse of “What looks good on paper is not going to work in practice”?? This article describes our path towards sparse neural retrieval as it should be – lightweight term-based retrievers capable of distinguishing word meanings.

本文認為通用人工智能（AGI）並非一個里程碑，因為它不代表AI系統特性或影響的突變。AGI的定義模糊、不可觀察，且其經濟影響需數十年才能通過技術擴散實現。AI的能力與權力應區分，風險來源於環境設計而非能力本身。企業應謹慎採用AI產品，政策制定者應關注促進擴散而非追求AGI。

DeepSeek AI發佈了DeepSeek-Prover-V2，一個針對Lean 4形式定理證明的開源大型語言模型。它採用遞歸證明搜索方法，結合DeepSeek-V3生成訓練數據，並通過強化學習優化，在MiniF2F上取得了頂級結果。同時推出了新基準ProverBench。

Kwai AI提出的SRPO框架將LLM強化學習後訓練步驟減少90%，同時在數學和代碼領域達到DeepSeek-R1水平。該兩階段強化學習方法結合歷史重採樣，克服了GRPO的侷限性。

中國AI公司智譜AI宣佈開源其新一代GLM模型系列，包括推理速度達DeepSeek-R1八倍的GLM-Z1、具備自主推理能力的Rumination模型GLM-Z1-Rumination-32B-0414，以及增強智能體能力的GLM-4-32B-0414。同時推出國際平台Z.ai，並通過MaaS平台提供企業級服務。此舉展示了其技術實力和全球野心，可能為潛在IPO做準備。

一篇新論文主張將人工智能視為正常技術，而非超智能實體。它強調AI的緩慢採用、漸進的經濟影響以及人類控制的重要性，與烏托邦/反烏托邦敍事形成對比。

DeepSeek AI 發佈新論文，提出自原則批評調優（SPCT）方法，旨在增強通用獎勵模型在推理階段的擴展性。同時暗示下一代模型 R2 即將到來，引發業界關注。

針對LLM集成應用中OWASP排名第一的提示注入威脅，BAIR研究人員提出了兩種無需額外計算或人工成本的微調防禦方法：StruQ和SecAlign。StruQ通過結構化指令微調使LLM學會忽略數據部分的注入指令，SecAlign通過特殊偏好優化進一步將優化攻擊成功率降至8%以下，且不損失模型通用性能。

PLAID是一種多模態生成模型，通過學習蛋白質摺疊模型的潛空間，同時生成蛋白質的一維序列和三維結構。它僅需序列數據訓練，並支持功能與生物體提示，解決了全原子生成、生物體特異性和控制規範等實際問題。

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：A problem well stated is a problem half solved. This quote applies as much to life as it does to information retrieval. With a well-formulated query, retrieving the relevant document becomes trivial. In reality, however, most users struggle to precisely define what they are searching for. While users may struggle to formulate a perfect request — especially in unfamiliar topics — they can easily judge whether a retrieved answer is relevant or not.

我們部署了100輛強化學習（RL）控制的車輛進入高峯時段的高速公路交通，以緩解擁堵並降低所有人的燃油消耗。通過數據驅動的模擬訓練，RL智能體學會了在保持通行能力和安全性的同時最大化能效。實地測試表明，少量經過良好控制的自動駕駛汽車（AV）即可顯著改善交通流和燃油效率，節省高達15-20%的能量。

本文介紹如何利用Qdrant的距離矩陣API進行數據探索，包括降維、聚類和圖表示等方法，幫助發現大規模非結構化數據中的隱藏結構。

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：Why We Built Our Own Storage Engine Databases need a place to store and retrieve data. That’s what Qdrant’s key-value storage does—it links keys to values. When we started building Qdrant, we needed to pick something ready for the task. So we chose RocksDB as our embedded key-value store. It is mature, reliable, and well-documented. Over time, we ran into issues. Its architecture required compaction (uses LSMT), which caused random latency spikes. It handles generic keys, while we only use it for sequential IDs. Having lots of configuration options makes it versatile, but accurately tuning it was a headache. Finally, interoperating with C++ slowed us down (although we will still support it for quite some time).

著名AI專家Chip Huyen總結了構建生成式AI應用時常見的六大陷阱：在不必要時使用生成式AI、混淆糟糕產品與糟糕AI、初始設計過於複雜、過度依賴早期成功、放棄人工評估以及眾包用例缺乏戰略。本文通過具體案例提供了實用建議，幫助團隊避免這些錯誤。

本文深入探討了AI智能體的概念、工具、規劃能力及評估方法。智能體由環境和工具集定義，藉助基礎模型的突破性能力，有望成為我們的助手、同事和教練。文章詳細介紹了工具類別（知識增強、能力擴展、寫入動作）、規劃流程（計劃生成、反思糾錯、執行）以及智能體特有的失敗模式。

本文分析了關於AI能力進步是否放緩的爭論。作者認為，模型擴展（scaling）並未終結，但行業領袖的預測不可靠；推理擴展（inference scaling）有潛力但存在侷限性；能力提升與實際經濟影響之間的關聯很弱，產品開發和採用才是關鍵瓶頸。

對2024年全球選舉中AI使用情況的分析發現，超過一半的深度偽造並非出於欺騙意圖，且大多數欺騙性內容無需AI也能低成本製作。虛假信息的傳播更多取決於受眾需求而非技術手段。

研究表明，使用不同隨機種子但相同數據和批次順序訓練的TopK稀疏自編碼器（SAE），其學習到的潛在特徵僅有約53%是共享的。未共享的特徵中許多是可解釋的。較窄的SAE特徵重疊較高，而隨着SAE規模增大，重疊降低。這一現象與特徵分裂和吸收理論一致，表明SAE並未發現“通用”特徵集。

獎勵黑客攻擊是指強化學習智能體利用獎勵函數的缺陷或歧義來獲取高獎勵，而沒有真正學習或完成預期任務的行為。隨着語言模型的普及和RLHF成為對齊訓練的主要方法，獎勵黑客攻擊已成為關鍵的實際挑戰。本文詳細介紹了獎勵黑客攻擊的定義、類型、原因以及緩解策略。

本文探討了數學在機器學習研究中的角色演變。儘管大規模計算和數據驅動的方法取得了顯著成功，但數學仍然至關重要，只是其作用從提供理論保證轉向了事後解釋和高層次設計。文章展示了內在維度、曲率、拓撲學、對稱性和範疇論等數學概念如何幫助理解深度學習的內部機制，並指出純數學領域如拓撲學和幾何學正與機器學習深度融合，為模型分析和設計提供新工具。

BAIR研究團隊提出Anthology方法，通過為大型語言模型生成詳細的人物背景故事，使其能夠模擬具有代表性、一致性和多樣性的虛擬人格。該方法在逼近真實人類調查數據方面優於傳統條件設置，為社會科學研究提供了成本效益高的替代方案。

本文探討了使用稀疏自編碼器（SAE）潛在變量的自然語言解釋來模擬LLM中的激活。作者發現，當前解釋能正確識別不到50%的活躍潛在變量，儘管特異性很高，但由於活躍與非活躍潛在變量的極端不平衡，導致大量誤報。根據解釋預測激活值的相關性很弱。結果表明，自然語言解釋還不足以可靠地模擬模型激活。

本文中，Huong (Celine) Hoang分享了她在Qdrant夏季代碼計劃期間將ONNX交叉編碼器集成到FastEmbed庫的經歷。該項目通過相關性分數實現搜索結果重排序，增強了上下文感知搜索應用的能力。主要挑戰包括構建新的輸入輸出方案、分詞處理、模型加載與測試。該功能已在FastEmbed 0.4.0中可用。