使用Outlines進行結構化語言模型生成
Outlines是一個開源庫,透過在推理時遮蔽不合法的標記,為大型語言模型(LLM)的輸出引入確定性,從而可靠生成結構化輸出如JSON和分類結果。本文透過Python示例展示了其三大用例:情感分析的多選分類、基於Pydantic的JSON物件生成,以及REST API的純JSON生成。
- Outlines透過在推理時遮蔽非法標記,確保LLM輸出符合預定結構。
- 它支援多選分類、JSON物件生成和純JSON生成等場景。
主題流
模型更新是 AI 產品和基礎設施變化的源頭。這裡追蹤前沿模型、多模態能力、開源權重、上下文視窗、評測結果、API 變化和部署路徑,協助讀者判斷新模型是否真正改變成本、品質或可用性。
Outlines是一個開源庫,透過在推理時遮蔽不合法的標記,為大型語言模型(LLM)的輸出引入確定性,從而可靠生成結構化輸出如JSON和分類結果。本文透過Python示例展示了其三大用例:情感分析的多選分類、基於Pydantic的JSON物件生成,以及REST API的純JSON生成。
一種名為'SociaLLM工程'的新型社會工程攻擊正針對大型語言模型驅動的AI代理。這些攻擊透過利用LLM的隱式社交理解和缺乏信任邊界,操縱其洩露敏感資訊或執行未授權操作。真實案例包括Instagram賬戶接管、GitHub工作流資料洩露以及AI瀏覽器的'BioShock'攻擊。文章分析了LLM為何特別脆弱——因其設計追求服從、單一通道處理以及無記憶力——並提出了人工監督和強化防護欄等緩解措施。
印度企業越來越多地使用DeepSeek、阿里巴巴和Moonshot AI等中國大語言模型來降低人工智慧成本,這進一步加深了印度對中國尖端技術的依賴,儘管兩國之間長期存在衝突。
斯坦福大學的研究團隊提出了TRACE系統,透過分析智慧體失敗軌跡,診斷缺失的能力,併為每個能力合成可驗證的訓練環境,利用LoRA介面卡和GRPO演算法進行訓練,最後透過MoE組合實現令牌級路由。在τ²-Bench上提升15.3個百分點,在SWE-bench Verified上達到73.2%的Pass@1,超越了多個基線模型。
該研究旨在識別與導航難度相關的血管指標,並開發自動化管道進行定量血管特徵提取,以支援未來複雜性分級。研究從61名患者的CT血管造影中分割血管樹,測量了主動脈弓型別、牛型弓存在、血管長度、迂曲度、起始角、反向曲線數量等指標,並使用軟演員-評論家強化學習演算法進行120秒自主導航。結果顯示,左側牛型弓和II/III型主動脈弓分別增加導航時間30.19秒和37.92秒,更大的迂曲度進一步延長手術時間並降低成功率;右側II/III型弓延長45.94秒,每個額外反向曲線增加3.96秒並降低成功率。該自動化管道為標準化複雜性分級和強化學習模型評估提供了基礎。
CLAP透過在數值動作序列前新增自然語言描述,將預訓練VLM高效轉換為VLA,單週期微調後2B模型在LIBERO上達90.8%,魯棒性更強。將釋出0.8B、2B、4B開源模型。
FlowDAgger是一種樣本和計算高效的方法,透過人類干預在潛在空間中自適應凍結的生成式機器人策略。其核心思想是動作反演,將人類專家動作對映為在基礎策略下產生該動作的噪聲,然後訓練輕量級潛在策略來引導基礎模型。該方法在模擬和真實雙機械臂及單臂操作任務中均優於監督微調和潛在空間強化學習基線,並能保留預訓練技能。
本文提出並驗證了大規模文本到影片生成可作為計算機視覺的強預訓練正規化,所提出的GenCeption模型在深度估計、表面法線、相機位姿估計等多個視覺任務上達到領先效能,展現出資料效率和良好的泛化能力,為通用視覺智慧提供了新路徑。
C-GAP是一種新型框架,透過使用大語言模型(LLM)迭代最佳化語言提示,無需重新訓練或額外標註,即可顯著提升視覺語言模型對稀有類別的檢測能力。該方法由兩階段組成:首先建立複合字幕基線,結合場景描述與類別數量上下文;其次,LLM基於少數類平均精度(AP)動態閾值,逐個影像地最佳化字幕,直至達到足夠的效能增益。實驗表明,C-GAP在多個基準上將少數類平均精度提升高達53%,在COCO資料集上相對基線提升約81%。
MultiView-Bench是一個專為評估視覺語言模型(VLM)多檢視整合能力而設計的診斷基準。研究表明,當前最先進的VLM在單檢視2D任務上表現優異,但在3D空間關係理解和跨檢視資訊聚合方面存在顯著困難。為此,作者提出了ViewNavigator,一個多智慧體框架,透過主動選擇資訊豐富的視角並融合多檢視證據,顯著提升了模型在MultiView-Bench上的表現。
一項在象牙海岸進行的研究比較了甚高解析度(0.5米)與十米級衛星影像在可可地圖繪製中的表現,結果顯示VHR的F1得分達到0.92,而TESSERA等基礎模型嵌入(F1=0.86)提供了可擴充套件的替代方案。在破碎化景觀中效能差異增大。
一項新研究表明,視覺Transformer(ViT)能夠從自然影像中學習完形心理學中的圖形-背景線索,如包圍性、凸性和對稱性。研究測試了25種ViT模型,發現它們穩健地編碼了包圍性和凸性,而對對稱性的編碼僅適用於均勻顏色區域。這項工作表明,完形線索可以從自然場景統計中學習,併為研究知覺組織的計算機制提供了模型系統。
本文介紹了作者在ICIP 2026極端野外車牌超解析度挑戰賽中的參賽系統,該系統結合了混合注意力Transformer超解析度前端與兩個場景文字識別器(PARSeq-S和CLIP4STR-B)的整合,採用置信度加權字元投票方案,在不確定位置棄權。在公共驗證排行榜上獲得了9.73 wECR分數,執行速度遠低於時間預算。
Lume-Palette框架透過解耦照明蒸餾和照明投射兩個階段,實現了空間可控的多視角室內場景重照明,在保持多視角一致性的同時支援精細的3D光照控制。
本文提出了一種名為探針混合(MoP)的新框架,旨在解決多模態大語言模型(MLLMs)在特權模態設定下的學習問題。該框架透過結構化的探針機制從共享模態編碼器的中間表示中提取資訊,並引入MoP跨模態訓練(MoP-X)策略,有效分離模態特定和模態通用訊號。實驗表明,MoP在八個任務和四種模態上比強基線模型提升高達65%。
StereoSplat+是一種基於擴散增強的前饋框架,能夠從單個立體對進行因果重建,無需多檢視觀測。該方法包括立體高斯估計器和漸進推理方案,在KITTI-360資料集上相比基線方法提升了新視角渲染質量和幾何精度。
本研究以牛津大學的二戰眾包數字檔案為例,評估了三種NLP方法(命名實體識別、關鍵詞提取、主題建模)在自動提取關鍵詞上的表現。結果表明,NLP有潛力但無單一方案完美,模型選擇至關重要,且開源提取模型比生成式AI更負責任。
本研究探索利用機器學習自動對大型文學語料庫進行主題索引,以伏爾泰作品為案例,比較了多種模型,其中Mistral系列4位量化模型F1得分達0.67,證明了自動索引的潛力。
研究表明,在小型雙曲語言模型中,可以湧現出創造力、誠實性和設計性遺忘等特性,為構建可信賴的伴侶AI提供了一條小模型路徑。這些模型包括一個行為審計器、一個創意框架播種器和一個記憶作業系統。
該研究分析了11個GPT-2風格預訓練模型的權重譜,發現跨層和元件共享的深度趨勢,例如殘差寫入矩陣的規模增加和譜集中。研究者嘗試利用這些譜模式作為初始化訊號,但模仿譜特徵的初始化方法未能帶來效能提升,而直接重用預訓練權重仍具競爭力。預訓練譜作為結構診斷有用,但有效重用需要更豐富的資訊。
這項研究探索了利用GPT-4o與檢索增強生成(RAG)技術自動生成基於公司報告、宏觀經濟資料和SEC檔案的投資者簡報。系統對9家公司進行了為期4周的掃描,並由9名個人投資者評估其有效性。
知識圖譜自動構建中常含事實錯誤,AgentKGV提出結合動態路由與迭代查詢重寫的智慧LLM-RAG框架,並透過兩階段訓練(基於蒸餾的SFT和軌跡級GRPO)提升準確性與成本效率。在T-REx基準上,宏F1比單輪RAG提升14.9個百分點,搜尋呼叫次數減半。
一項新研究對語言模型中的湧現性失調(EM)現象提出了質疑,發現雖能復現EM,但失調與再對齊高度依賴於資料集表面特徵,如回答長度差異,且先前報告的表徵相變並不一致關聯行為失調。這表明當前支援EM的證據不如之前聲稱的穩健,需要更嚴謹的評估協議。
HALO是一種混合自適應潛在精化方法,透過粗精化階段和基於令牌評分的選擇性第二階段的潛在精化,在凍結的預訓練語言模型上實現高效改進。在MMLU-Pro和GPQA-Diamond基準測試中,HALO的平均表現優於固定精化基線,且計算成本更低。
本文提出了一種針對大語言模型推理的高效GPU方法,採用三層矩陣儲存格式,包括稀疏張量核心層、插槽填充層和殘差層,實現稀疏矩陣乘法,在50%稀疏度下首次超越密集矩陣乘法,最高可達1.64倍核心加速和1.41倍端到端加速。
本文介紹了Director,一種新的分散式MoE推理系統,透過預測驅動的線上專家放置最佳化,顯著降低端到端延遲。系統採用輕量級級聯預測器或低位元量化副本預測專家啟用模式,結合近乎零停機的線上遷移模組,以及基於鬆弛最佳化的專家放置演算法,在多項式時間內達到(1+ε)近似比。實驗表明,在Mistral、DeepSeek和Qwen等流行MoE模型上,相比現有工作延遲降低11%~55%。
本文提出獎勵傳輸(Reward Transport)方法,利用最優傳輸耦合在訓練時將噪聲空間座標與分子獎勵對齊,推理時透過調整該座標實現屬性控制,無需額外模型或梯度。實驗表明,該方法在ZINC-250K和GuacaMol資料集上對logP和QED具有單調控制能力,且與分類器無關引導互補。
我們提出StickyMoE,一種可微分的路由一致性損失,在訓練時懲罰相鄰令牌之間的專家切換,從而在邊緣裝置上實現記憶體高效推理。實驗顯示,專家切換率降低高達60%,困惑度下降不到4%。
本文提出有符號對稱量化方法,解決標準對稱量化器因整數範圍不平衡導致的正異常值截斷問題,同時避免非對稱量化的執行時開銷。理論分析表明該方法在ℓ2誤差上條件最優,且88-99%的LLM權重組滿足條件。實驗在Qwen3、Llama3等模型上驗證了困惑度和少樣本準確率的提升。
iLENS是一個基於大語言模型(LLM)和混合專家系統(MoE)的可解釋框架,用於預測阿爾茨海默病(AD)從前驅期向痴呆期的轉化。它整合結構化神經影像測量和非結構化資訊,透過LLM指導專家路由,不僅提供競爭性的預測效能,還能進行患者分型,併為路由決策提供透明、生物學合理的解釋,彌合了高效能生存分析與可解釋臨床決策支援之間的差距。
本文提出了一種統一的方法來解釋大型語言模型(LLM)中知識蒸餾(KD)的機制。透過將輸出分解為多個互動,發現KD的共性機制是互動稀疏化,即學生模型保留更少互動進行推理。效能差異源於處理複雜互動的能力,並據此提出了複雜互動懲罰(CIP)損失函式。實驗表明CIP能持續提升各種KD方法的效能。
KV-PRM是一種高效的過程獎勵模型,透過直接利用大語言模型生成階段自然產生的KV快取,避免了文本重新編碼,將評分成本從O(L²)降至O(L)。實驗表明,在多個基準上,KV-PRM在匹配或超越文本PRM效能的同時,實現了高達5000倍的FLOPs減少、37倍延遲降低和34倍記憶體佔用減少。
MedRealMM是一個基於中國網際網路醫院真實醫患對話的大規模多模態基準,包含5,620個案例,覆蓋64個科室。它透過多模態臨床挑戰點(MCCP)框架提取關鍵臨床時刻,並評估19個通用和醫學專用大語言模型。結果表明,影像資訊對臨床效能至關重要,當前前沿模型雖在某些正面指標上接近醫生,但觸發更多負面指標,安全敏感性錯誤避免仍是主要瓶頸。
本文介紹了一種神經代理控制框架,結合LLM規劃器與時間序列基礎模型(TimesFM),透過反事實物理注入機制確保物理安全,在SWaT資料集上表現優於LSTM和TCN,零幻覺動作執行。
Long-Horizon-Terminal-Bench是一個包含46個長時任務的終端基準測試,涵蓋實驗復現、軟體工程、多模態分析等9個類別。它透過細粒度子任務提供密集中間獎勵和部分分數,更全面地評估AI智慧體的能力。評估15個前沿模型發現,最強模型在部分獎勵閾值0.95下透過率僅15.2%,完全正確透過率10.9%,平均透過率更低,表明仍有巨大改進空間。
GATS是一種新的智慧體規劃框架,透過系統性的UCB1樹搜尋和分層世界模型,在規劃過程中完全消除LLM呼叫,同時實現100%的成功率。與LATS和ReAct相比,GATS不僅在合成任務中表現優異,在12個挑戰性場景中也保持100%成功率,且計算成本更低。
新研究CogniConsole提出,大型語言模型的可靠性不僅取決於模型能力,還受推理時控制影響。透過結構化介面(結合程式化協調與有界提示推理),實驗證明增加結構支架可系統性地降低輸出方差和失敗率,表明許多失效模式源於控制不足。
麻省理工學院和Thorn的研究人員開發了一種審計技術,透過分析模型的內部調整而非生成輸出,來檢測生成式AI模型是否被專門用於生成兒童性虐待材料(CSAM)。該方法在測試中達到100%準確率,具有可擴充套件性,且成本低廉,有望幫助平臺和執法機構識別並移除有害模型。
密歇根大學研究團隊推出NeuroVFM,一種基於524萬臨床MRI和CT體積訓練的通用神經影像基礎模型。其Vol-JEPA方法將自監督學習擴充套件到體積醫學影像,無需放射報告標籤即可學習大腦解剖和病理。在156項診斷任務中達到92.68(CT)和92.49(MRI)的AUROC,並支援報告生成、分診和跨模態遷移。
本文探討了“直接負責人(DRI)”的概念,該術語源自蘋果公司,指對專案成敗最終負責的人。作者認為,隨著LLM驅動的智慧體融入組織,它們永遠不應被視為專案的DRI,因為只有人類才能承擔責任,而機器不能。文章還引用了IBM 1979年的培訓幻燈片,其中指出計算機永遠不能承擔責任,因此絕不能做出管理決策。
最新基準測試顯示,GPT-5.6 Sol在拉取請求(PR)安全審查中表現最佳,實現100%召回率和0.91的F1分數,每次PR成本僅0.70美元。Anthropic的模型(如Fable 5)未能進入前沿表現,且成本更高。Grok 4.5和Gemini 3.1 Flash Lite提供了經濟高效的替代方案。測試使用私有合成倉庫以避免資料汙染。
由於 GPT-5.6 Sol 被明確歸類為 Fable/Mythos 級模型,Anthropic 再次延長了 Claude Max 計劃中 Fable 模型的可用期限至 7 月 19 日。此舉原因為計算資源限制,而 OpenAI 則對 GPT-5.6 的訪問限制顯得更有信心。作者認為 Anthropic 應永久保留 Fable 訪問許可權,否則使用者會因不確定性而轉向 OpenAI。
AI效能取決於準確性、吞吐量和互動性三個維度。本文聚焦吞吐量和互動性,探討模型設計選擇如何在不犧牲準確性的情況下最佳化兩者,旨在推動帕累託前沿向外擴充套件。
作者透過Basecamp基準測試評估了GPT-5.6 Sol、Fable 5、Grok 4.5等AI模型在構建前端和後端方面的表現。Fable 5在兩個賽道上均獲勝,Grok 4.5在速度和成本之間取得了最佳平衡。結果顯示,即使是頂級模型在完成度上也有顯著差異,尤其是最後10%的打磨工作。
SlimeBallBench是一個新的AI基準測試,讓AI模型在史萊姆足球遊戲中競技,評估其決策和策略能力。
前沿AI實驗室正從聊天機器人轉向整合系統,模型作為執行時,頻繁釋出強大模型和代理。本週亮點包括OpenAI的GPT-5.6(Sol、Terra、Luna),具備程式化工具呼叫和並行子代理;GPT-Live全雙工音訊;ChatGPT Work用於建立工件;Meta的Muse Spark 1.1擁有百萬token上下文和主動上下文管理;Grok 4.5專注於編碼和知識工作。研究方面,OpenAI審計表明SWE-Bench Pro基準30%任務有問題;Anthropic提出GRAM方法可選擇性移除危險知識;SkillOpt-Lite最佳化代理自我進化;DSpark和Nemotron-Labs-Diffusion改進推理效率。行業新聞包括Lovable融資3億美元,Prime Intellect融資1.3億美元,SambaNova融資10億美元等。
一項新的基準測試顯示,來自12個實驗室的18個AI模型的108個測量位置中,有97個位於左傾。結果呈現一致的進步傾向,但在經濟、外交政策和宗教方面存在例外。xAI的Grok模型最接近中心,而許多模型拒絕回答某些問題,影響了得分。
Thinking Machines Lab釋出報告《值得構建的未來以人為本》,主張AI應分散式、可定製、由使用者塑造。報告提出四個技術方向:訓練強多模態模型、提供使用者微調工具、拓寬人機互動通道、開放研究。論證隱性本地知識要求AI分散式,並透過Tinker API實現可擁有權重的LoRA微調。對比集中凍結AI,強調去中心化對齊。
sqlite-utils 4.1 是 4.0 之後的第一個小版本,引入了多項新功能,包括透過 --code 選項允許使用者在 insert 和 upsert 命令中直接嵌入 Python 程式碼生成行資料,以及透過 --type 選項覆蓋列型別,支援對 CSV 或 TSV 中的郵政編碼等欄位強制儲存為文本。此外,新增了 drop-index 命令和從標準輸入讀取查詢的功能。還新增了在 transform 中切換 STRICT 模式的能力。
作者在Mac Studio上執行Qwen3.5-122B模型時,遇到了三個導致快取失效的bug,修復後對話預填充時間從幾分鐘降至亞秒級,大幅提升了長上下文場景下的使用體驗。文章還討論了模型選擇、混合注意力機制以及效能指標的正確衡量方式。