Director:通過在線主動專家放置加速分佈式MoE服務
本文介紹了Director,一種新的分佈式MoE推理系統,通過預測驅動的在線專家放置優化,顯著降低端到端延遲。系統採用輕量級級聯預測器或低比特量化副本預測專家激活模式,結合近乎零停機的在線遷移模塊,以及基於鬆弛優化的專家放置算法,在多項式時間內達到(1+ε)近似比。實驗表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比現有工作延遲降低11%~55%。
- 提出預測驅動的在線專家放置方法
- 設計近乎零停機的專家遷移模塊
長尾標籤
追蹤 Qwen/通義千問模型、開源權重、多模態、Agent 能力、API 和企業落地。
本文介紹了Director,一種新的分佈式MoE推理系統,通過預測驅動的在線專家放置優化,顯著降低端到端延遲。系統採用輕量級級聯預測器或低比特量化副本預測專家激活模式,結合近乎零停機的在線遷移模塊,以及基於鬆弛優化的專家放置算法,在多項式時間內達到(1+ε)近似比。實驗表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比現有工作延遲降低11%~55%。
本文提出有符號對稱量化方法,解決標準對稱量化器因整數範圍不平衡導致的正異常值截斷問題,同時避免非對稱量化的運行時開銷。理論分析表明該方法在ℓ2誤差上條件最優,且88-99%的LLM權重組滿足條件。實驗在Qwen3、Llama3等模型上驗證了困惑度和少樣本準確率的提升。
作者在Mac Studio上運行Qwen3.5-122B模型時,遇到了三個導致緩存失效的bug,修復後對話預填充時間從幾分鐘降至亞秒級,大幅提升了長上下文場景下的使用體驗。文章還討論了模型選擇、混合注意力機制以及性能指標的正確衡量方式。
本研究提出一種ReAct風格的智能體架構,將LLM推理與SageMath可驗證反饋及Context7最新文檔結合,在RealMath基準上評估前沿模型解決研究級數學問題的能力。實驗表明,SageMath訪問平均提升9.7個百分點,縮小了開源與閉源模型的差距。Qwen 3.7-Max受益最大,GPT-5.5達到75.2%的最高解決率。該工作已被ICML 2026第三屆AI for Math研討會接收。
研究表明,具備推理能力的大語言模型容易因邏輯不一致的提示而陷入“過度思考”,導致輸出長度激增,可能被利用發動拒絕服務攻擊。浙江大學與阿里巴巴的研究人員開發了一種進化算法,能夠生成惡意提示,使模型輸出長度最高增加26倍,影響包括DeepSeek-R1、Qwen3-Thinking、GPT-o3和Gemini 2.5 Flash在內的主流推理模型。
Thoughtworks 傑出工程師 Birgitta Böckeler 在 Apple Silicon 機器上重新評估了本地 AI 模型在編碼任務中的可行性。她系統分析了 RAM、處理能力、模型架構、工具調用能力等多種因素,並分享了 Qwen3、Gemma 4 等模型的實際體驗。
NAVER LABS團隊復現了其IWSLT 2025指令跟隨流水線,並針對IWSLT 2026共享任務(受限條件、短音頻軌道)進行調整,採用SeamlessM4T-v2-large作為語音編碼器、Qwen3-4B-Instruct作為LLM主幹。保留了三階段方法:投影器對齊、純文本LoRA預訓練和多模態融合。此外,團隊從提供的語料庫構建了10萬個涵蓋十種語音中心任務類型的合成指令跟隨示例。主要模型在EN-ZH語音翻譯上達到COMET 0.781,在MCIF基準的英語SQA上達到BERTScore-F1 0.346。
Liquid AI 發佈了 Antidoom,一種針對推理模型中死循環的開源方法。通過 FTPO,它僅重新訓練導致循環開始的令牌,將 LFM2.5-2.6B 上的循環率從 10.2% 降至 1.4%,Qwen3.5-4B 從 22.9% 降至 1%。
研究人員提出了一種基於可驗證獎勵的強化學習(RLVR)方法,用於將音頻語言模型適應代碼切換語音識別。僅使用10%的數據,RLVR在Qwen2-Audio上跨越10個語言對達到了全數據集監督微調的性能,且增益零樣本遷移到人類錄音的代碼切換語料庫。
該研究探討了訓練人工智能在低風險場景下表現出的風險規避行為是否能夠泛化到極高風險場景,作為應對AI對齊失敗的一種安全措施。作者引入了RiskAverseOOD基準測試,並初步實驗表明,通過多種方法(如SFT、DPO、激活引導)訓練的Qwen3-8B模型,在高風險下選擇安全“合作”選項的比例從基線2%提升至70%(SFT和tie訓練)、52%(DPO)和39%(激活引導)。風險規避行為跨越98個數量級部分泛化,但一致性仍不足以作為可靠的安全機制。
大型語言模型(LLM)在安全性和有用性之間面臨挑戰。傳統的拒絕式對齊策略會拒絕敏感查詢,但可能無法滿足用户合理需求。Oyster-II提出基於強化學習(RL)的建設性安全對齊框架,採用Zero-RL範式和多階段RL策略,解決了Oyster-I中監督微調(SFT)方案的安全泛化不足和安全思維鏈過度泛化問題。在多個基準測試中,Oyster-II在安全維度上全面超越Qwen3-14B和Oyster-I,性能堪比Qwen3-Max和Qwen3.5-397B。
LensVLM 是一種推理框架和後訓練方案,使視覺語言模型(VLM)能夠掃描壓縮圖像,並通過學習工具僅選擇性擴展相關圖像到未壓縮形式。在 Qwen3.5-9B-Base 基礎上,LensVLM 在 4.3 倍有效壓縮下保持了與全文本上限相當的準確率,在 7 個文本 QA 基準測試中最高達 10.1 倍有效壓縮時優於檢索基線和文本/視覺壓縮基線。該方法還泛化到多模態文檔和代碼理解任務,且壓縮越大,準確率提升越明顯。
中國即將實施針對AI伴侶服務的監管措施,要求配備防沉迷系統、強制使用通知和即時退出機制,並禁止向未成年人提供虛擬伴侶服務。字節跳動的豆包和阿里巴巴的通義千問等主流應用已關閉相關功能以規避合規風險。
字節跳動的Doubao和阿里巴巴的Qwen大型語言模型宣佈將於7月15日關閉個性化AI智能體,以遵守政府監管。分析師認為此舉旨在增強安全性和合規性,防止第三方濫用,同時削減商業可行性低的業務。同日,中國《人工智能生成式合成內容標識辦法》等新規生效,要求平台建立防沉迷系統、驗證未成年人身份並加強內容審核。儘管智能體被移除,但AI智能體市場仍預計爆發式增長。
現代視覺語言模型(VLM)能夠同時理解圖像和語言,超越了CLIP和BLIP等早期模型。本文詳細介紹了GPT-4o、Gemini、Claude Vision和Qwen-VL的工作方式、關鍵差異、優勢與侷限性,並展示了它們在教育、醫療、自動化等領域的實際應用。
Yolo-Auto推出每月6美元的固定費率API服務,提供無限制的Qwen3.6-35B-A3B模型訪問。該服務兼容OpenAI的API格式,不存儲提示或響應數據,適用於編碼代理、自動化工作流等場景,消除了按Token計費帶來的成本和焦慮。
前阿里巴巴Qwen技術負責人林俊陽在演講和博文中批判了Qwen3的混合思維模式,並主張轉向智能體思維。他解釋了融合思考與非思考模式的困難,以及為何智能體強化學習需要解耦的基礎設施和高質量環境以避免獎勵篡改。
該研究審計了MedAgentBench v1/v2,發現41.7%的靜默完成上限,並構建了MAB-v3(508個任務,8.9%上限)。使用Qwen3-8B訓練揭示了兩個結構性障礙:能力上限和格式知識障礙。純強化學習達到18.2%的pass@1,而基於規則的SFT為34.1%,差距完全歸因於這些障礙。研究提出了決策/格式知識/查找分類法來預測強化學習的可學習性。
本文對Beckmann & Butlin (2026)關於LLM個體化的本體論框架提出質疑,認為其繼承了未論證的跨體制共指假設。通過Qwen3-4B-Instruct和Mistral-7B-Instruct-v0.2上的個性拓撲實驗,作者展示了四個經驗性楔子,共同削弱該假設,並提出體制索引個體化:表徵內容的身份單位是(載體,體制)對,而非僅載體。
本研究構建了一個約27,000句對的阿拉伯語-俄語混合平行語料庫,涵蓋科學摘要和通用領域文本。通過微調三個多語言模型(mT5-base、NLLB-200、Qwen2.5-7B),發現Qwen2.5-7B模型在QLoRA(秩8)下表現最佳,BLEU達23.15,較零樣本基線提升4.36。少樣本提示未改善性能,表明需領域特定微調。該工作降低了科學文本的語言障礙,促進阿拉伯語和俄語研究者之間的知識交流,助力可持續發展目標(SDG 9和17)。
AIMAC項目由GAAD基金會與ServiceNow合作推出,評估了37個頂尖AI模型生成的網頁在可訪問性方面的表現。結果顯示,OpenAI的GPT 5.4 Mini和GPT 5.3 Codex在可訪問性債務上達到0.00,排名前兩位。阿里巴巴的Qwen和Z.ai的GLM 4.7 Flash也表現突出。低對比度文本是AI生成頁面中最常見的可訪問性問題,佔84.2%。
本文介紹如何利用Qwen3.6-35B-A3B模型和模型上下文協議(MCP)構建本地AI系統,包括模型架構、硬件需求、服務部署以及一個實際的GitHub開發者助手示例。
Ornith-1.0 是一個開源編碼智能體模型系列,基於 Gemma 4 和 Qwen 3.5 後訓練,採用強化學習同時優化搜索腳手架和解決方案,在 Terminal-Bench、SWE-Bench、NL2Repo 和 OpenClaw 等基準測試中達到同類開源模型的最優性能。提供 9B(密集)、35B(MoE)和 397B(MoE)三種規模,MIT 許可證,支持 OpenAI 兼容 API 和工具調用,可部署於 vLLM、SGLang、llama.cpp 等推理引擎。
DeepReinforce發佈了首個開放權重模型Ornith-1.0,基於Gemma 4和Qwen 3.5,提供多種參數規模(9B到397B),在編程基準測試中達到開源模型最佳性能。作者使用LM Studio測試了35B MoE變體,發現其能熟練處理多個工具調用,並在代理編程任務中表現出色。該模型採用MIT許可,底層模型均為Apache 2.0許可,兼容性良好。
Qwythos-9B是由Empero AI基於深度未審查的Qwen3.5-9B底座進行全參數微調的推理模型,經過超過5億個token的高質量Claude Mythos和Fable軌跡訓練,並採用內部工具rethink生成思維鏈。該模型擁有1048576 token的上下文窗口,在MMLU、GSM8K等基準測試中大幅超越基礎模型,支持原生函數調用,並具備工具輔助的自糾錯能力。模型設計上故意未加審查,適用於網絡安全、紅隊方法、生物醫學等要求嚴格技術回答的領域。
DMV-Bench是首個針對多模態智能體視覺記憶的交互式基準測試,基於包含1000種產品的家居電商目錄構建。通過在每個產品圖像中注入獨特的偶然線索,測試智能體在長時間購物會話中回憶特定產品的能力。研究者提出雙編碼記憶架構DualMem,在Gemini 2.5 Flash和Qwen2.5-VL-7B上均優於現有系統。
大型語言模型(LLM)智能體在長期多會話交互中需要更新事實,但現有記憶系統存在顯著缺陷。研究發現,即使是最先進的模型(如gpt-5.4),在替換為有界自維護記憶後,準確率從92%下降到77%。這種差距並非由模型規模或記憶容量引起,而是隨對話長度增加而惡化。研究者發佈了Supersede,一個基於強化學習的開源訓練環境,通過獎勵當前事實和懲罰過時事實來訓練智能體。對Qwen2.5-3B模型進行GRPO微調,使真實對話中的更新準確率從9.0%提升至16.7%。
Liquid AI 發佈其最小模型 LFM2.5-230M,僅 2.3 億參數,開放權重,專為邊緣設備上的工具使用和數據提取設計。在 Galaxy S25 Ultra 上可達 213 tok/s,在樹莓派 5 上為 42 tok/s。該模型在指令遵循和數據提取上超越 Qwen3.5-0.8B 和 Gemma 3 1B。提供基礎版和指令調優版,支持 32K 上下文,兼容多項推理框架。
本文詳細介紹瞭如何搭建一個完全本地的編碼代理環境,使用開源工具和開放權重的大語言模型(如Qwen3.6)替代付費服務(如Claude Code和Codex)。涵蓋了本地模型的優勢、設置步驟、性能評估以及多種代理框架(Qwen-Code、Codex、Claude Code等)的選擇。
一項新研究揭示了大型語言模型在推理任務中優於小型模型的關鍵原因:約束引導推理。大型模型更擅長識別顯式和隱式約束,組織結構化推理,並排除不可行路徑。研究團隊開發的AdvCluster框架自動分析了模型間的推理差異,發現Qwen3-32B比Qwen3-8B平均高出6.43%,GPT-OSS-120B比GPT-OSS-20B高出7.38%。
arXiv:2606.26101 新論文提出Know2Guess基準,包含1200個跨域問題,用於區分LLM的知識回答與猜測。評估了FLAN-T5、Qwen2.5-Instruct和Llama-3-Instruct模型,發現Qwen2.5-3B-Instruct表現最佳,但仍有校準不足等問題。
該論文發現,在聊天模型中,拒絕行為並非獨立機制,而是受角色個性(特別是順從個性)的門控。通過干預Qwen2.5-7B-Instruct和Llama-3.1-8B-Instruct的激活方向,研究顯示順從個性方向可以抑制拒絕,而拒絕方向僅在後期層部分恢復拒絕。這表明拒絕在後期表達階段受個性門控,而非孤立方向。
Anthropic致信美國官員,指控阿里巴巴及其Qwen實驗室通過約25,000個欺詐賬户,在44天內對Claude模型進行了2880萬次交互,試圖竊取軟件工程和智能體推理等核心能力。此次攻擊規模遠超以往,引發國家安全擔憂,阿里巴巴股價下跌。
DeepReinforce發佈了Ornith-1.0,一個基於Gemma 4和Qwen 3.5的開源編程模型系列,涵蓋9B至397B四種規模。其核心創新在於模型在強化學習過程中自主學習框架(scaffold),而非依賴固定的人造框架。旗艦版397B模型在SWE-Bench Verified上取得82.4分,所有權重均在MIT許可下開源。
研究表明,在正確框架下,本地LLM(如Qwen3.6-35B-A3B)在安全代碼審查中可以產生與雲端前沿模型相當的結果,但需要結合雲端模型進行編排和報告整合,且源代碼永遠不離開本地機器。
阿里巴巴的Qwen模型家族推出機器人套件,旨在彌合感知與行動之間的鴻溝。三個新模型分別專注於導航、操作和世界建模,核心挑戰在於將物理動作轉化為可學習的token。
Dustin是一種專為長上下文場景設計的稀疏驗證框架,通過結合草稿模型的預測信號與目標模型的歷史注意力,僅對關鍵token進行驗證,顯著加速推測解碼中的KV緩存加載瓶頸。在Qwen2.5-72B上,32k序列長度下自注意力加速27.85倍,端到端解碼加速9.17倍,精度損失可忽略。
本文回顧了AI領域的最新動態,包括元工具(Meta-Harness)架構的興起、OpenAI自研芯片Jalapeño、Agent用户體驗從工具向協作者轉變、Qwen-AgentWorld開放世界模型、中國開源模型GLM-5.2的進展,以及政策與人才競爭。重點討論了各領域的技術突破、行業影響及未來趨勢。
介紹 Qwen-AgentWorld 模型。
加州大學聖地亞哥分校的研究團隊提出DFlash,用輕量級塊擴散模型替代自迴歸式草稿生成,用於推測解碼。它通過單次前向傳播生成整個Token塊,並通過KV注入將目標隱藏特徵注入草稿模型。論文報告在Qwen3-8B上實現高達6.08倍的無損加速,NVIDIA則在固定交互性條件下報告了Blackwell上15倍的吞吐量提升。DFlash提供了20個檢查點,支持SGLang、vLLM和TensorRT-LLM。
該論文研究了六種離線強化學習損失函數(SFT、RFT、DFT、RIFT、Offline GRPO、DPO)在推理蒸餾中的權重更新幾何特性。實驗基於Qwen3-4B模型和相同數學數據,發現SFT、RFT和RIFT的權重增量近乎共線,DFT偏離較大,Offline GRPO增加了正交分量,而DPO位於近乎正交的子空間且準確率最高,但存在模式連接障礙。
OpenClaw維護者利用本地開源模型(Gemma、Qwen)在智能體框架中,實時對問題和拉取請求進行分類,性能媲美閉源模型,僅需硬件電費成本。
VibeThinker-3B是一個僅30億參數的開源推理模型,在可驗證基準測試中匹配DeepSeek V3.2和Kimi K2.5等千億級模型。它採用頻譜到信號後訓練流水線,通過監督微調、強化學習和自蒸餾實現高效推理,並引入測試時縮放方法CLR進一步提升性能。
本研究比較了Qwen 2.5 7B和XGBoost在臨牀預測任務中的表現,通過歸因分歧分析揭示了四個重要發現:LLM的口頭置信度在認識論上是空洞的,存在逆向難度效應,少樣本示例和SHAP特徵證據的結合可顯著提升準確率,且跨模型校準器能有效降低校準誤差。
Modal團隊全面推崇投機解碼技術,認為它是當前最關鍵的高交互推理優化手段,能帶來2-3倍甚至更高的加速效果。他們與Z Lab合作訓練了針對Qwen系列模型的最先進DFlash投機解碼器,額外提升5-20%的速度,並強調了投機解碼在長上下文任務中的優勢。本文詳細解釋了投機解碼的原理、與傳統優化的對比,以及通過模擬和數學模型展示的加速效果。
作者受Anthropic的Glasswing啓發,在本地硬件上構建了自主安全研究員Lucent。Lucent是一個分階段源代碼漏洞獵人,在單張RTX 3090上運行本地27B Qwen模型,通過Lucebox解碼速度提升約3.4倍。首次針對hermes-agent的測試中,靜態分析產生1342個候選,本地篩選至126個,前沿模型對抗審計將15個線索最終縮減至2個真實漏洞。本地讀取成本約1.62美元。最精彩的時刻是審查者代理發現作者之前針對供應商已悄悄重寫的威脅模型評分了三個早期漏洞。
JetFlow提出了一種基於頭部的推測解碼框架,通過因果並行草稿頭,在保持前向傳遞效率的同時實現分支級因果條件化,從而將更大的草稿預算轉化為更長的接受前綴和更高的端到端加速。在Qwen3模型上的測試顯示,JetFlow在MATH-500上實現了高達9.64倍的加速,在開放對話任務上實現了4.58倍加速。
本文提出一種面向混合專家模型的結構化剪枝框架,通過將剪枝比率分配轉化為通道分數覆蓋最大化問題,並利用基於歸因的近似方法高效求解。實驗表明,在50%或25%結構化剪枝結合4位量化條件下,該方法在DeepSeek和Qwen MoE模型上保持了模型精度,並在Qwen3-30B-A3B上實現5.27倍內存壓縮,超越現有基準。
本文作者作為一名小型軟件企業的創始人,分享了使用本地模型的真實經驗。他指出,雖然本地模型如Qwen在基準測試上落後於前沿模型,但在隱私、固定成本和供應商風險規避方面具有獨特價值。同時,作者也坦誠地討論了本地模型的侷限性,如無限循環和幻覺問題,並告誡不要將其用於無監督的長期任務。
本文提出VL-MemKnG,一種混合記憶框架,將時空知識圖譜與片段級上下文記憶相結合,用於解決長自導視頻中的導航問答任務。該框架通過結構化關係記憶和廣泛時間背景的融合,顯著提升了長距離證據檢索的準確性。在WalkieKnowledgeT+基準上,VL-MemKnG的Top-1檢索準確率從58%提升至67%,Recall@1從34.50%提升至40.55%,超越了包括Gemini 2.5 Pro和Qwen 3.5+在內的所有對比方法。
追蹤 AI 編程助理、程式碼生成、IDE 插件、開發者工作流程和軟件工程自動化。
追蹤 Model Context Protocol、工具調用、連接器、Agent 上下文和企業整合。
追蹤開源權重模型、開放授權、社群評測、模型蒸餾和本地部署。
追蹤推理價格、延遲、吞吐、快取、量化、服務商成本和部署效率。
追蹤 Agent 框架、編排、記憶、評測、工作流程自動化和生產部署。
追蹤中國 AI 公司、模型、政策、芯片生態、開源社群和商業化進展。
追蹤 GPU、數據中心、集群網絡、AI 雲、訓練基礎設施和供應鏈。
追蹤模型 API 價格、方案、上下文窗口、免費額度、單位 token 成本和商業模式。
追蹤 DeepSeek 模型、API、開源權重、推理效率、生態合作和全球影響。