本教程從Colab實際操作角度探索NVIDIA的Cosmos框架,誠實地評估真實Cosmos 3檢查點所需的硬體條件。我們檢測執行時環境,基於框架的真實結構、CLI介面和輸入模式,構建並訓練了一個緊湊的全模態混合Transformer模型,該模型共享跨模態注意力,同時將每種模態路由到各自的專家網路。使用合成物理世界資料和自迴歸滾動,展示了模型如何跨文本、視覺和動作模態預測未來潛在狀態。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
Nextdocs.io是一個人工智慧平臺,能從單一提示中快速生成美觀的文件和幻燈片。它提供模板、多版本生成、AI編輯、品牌套件和多種匯出格式,深受全球數千使用者信賴。
生成式AI公司正面臨高昂成本、版權訴訟和免費開源模型的競爭,其商業價值可能被高估。如果無法實現可持續盈利,這項技術可能淪為“有毒資產”,但這對使用者而言或許並非壞事。
Skill Retriever是一個開源專案,為Hermes Agent提供基於語義的技能檢索外掛。它透過一個包含10,000個類別的能力分類法,從1,200多個技能中預篩選出最相關的5個,零額外API成本。該專案解決了純語義檢索的侷限性,利用LLM導航能力層次結構發現非顯而易見的技能。
Cartlytics,一家基於專利的商業歸因SaaS公司,擁有身份圖譜和AI客戶評分功能,現正以無保留價在Flippa上出售。該初創公司整合了11個廣告平臺,執行於生產級Cloudflare基礎設施,並自稱已為YC 2026做好準備。
攻擊者透過建立看似無害的GitHub Issue,在Issue正文中隱藏惡意指令,利用GitHub Agentic Workflows的提示注入漏洞,使AI代理讀取並公開洩露私有倉庫內容。該漏洞無需攻擊者具備編碼技能或憑證,展示了代理AI系統中信任邊界的根本性挑戰。
在一次北京的人工智慧會議上,專家們呼籲中美在AI安全方面合作,以應對先進模型帶來的網路攻擊和系統風險。開源模型的普及使得風險加劇,但國際合作有望降低系統性威脅。
澳大利亞碼頭工人要求在不減薪的情況下實行每週28小時工作制,因港口巨頭DP World推進人工智慧和自動化。工會表示超過60%的碼頭維護崗位面臨威脅,要求企業支付社會紅利。
多魚眼相機系統標定具有挑戰性,現有方法依賴經驗規則。本文透過面向失敗的分析揭示內在初始化是主要失敗原因,並提出CO-Calib框架,將魯棒的學習目標檢測器與錯誤分析引導的幀選擇器結合,顯著提高成功率。
研究人員開發並部署了一種能夠在家庭中自主提供認知刺激療法(CST)的社交機器人。九名痴呆症患者參與了一週研究,每天進行機器人引導的療程。參與者完成了近一半的預定療程,依從率高於照護者主導的CST。家庭成員在支援啟動療程和參與活動中發揮關鍵作用。該研究展示了社交輔助機器人提供居家認知療法的可行性和可擴充套件性。
提出了一種名為IMR的新方法,用於多智慧體運動預測。該方法透過模式-世界加權迴歸損失緩解模式坍塌,同時提高世界排名和top-1置信度。迭代解碼器透過遞迴分段生成軌跡提高預測準確性。在Argoverse 2多智慧體運動預測基準測試中排名第一。
本文提出EVC-Mamba,一種基於學習的架構,利用車載感測器資料生成虛擬速度感測器,用於慣性測量單元(IMU)漂移校正,無需額外硬體。該方法結合選擇性狀態空間模型和證據深度學習,提供帶有不確定性量化的速度估計,並透過誤差狀態擴充套件卡爾曼濾波器減少位置漂移。實驗表明,其定位精度在10%以內,支援在邊緣硬體上以40Hz即時部署。
該研究提出一種基於神經網路的遷移學習框架,用於軟體鰭驅動水下機器人的動力學建模。透過自動編碼器域自適應方法,將大型機器人(源域)上訓練的模型適配到小型機器人(目標域),無需標註資料即可實現精確的體座標系速度狀態估計,展示了在形態相似平臺間高效跨機器人動力學遷移的潛力。
本文提出PRML2混合框架,結合卡爾曼濾波與機器學習,透過可微卡爾曼濾波器實現端到端物理正則化學習,從而利用車載感測器進行本體車輛定位。在公開資料集上,PRML2展現出卓越的定位精度和即時能力,並引入了低摩擦條件下的新型資料集,為降級感知環境中的魯棒低成本定位提供瞭解決方案。論文已被IROS 2026接收。
本文提出一種控制感知的最優軌跡規劃框架,顯式考慮機器人動力學和驅動力矩,透過中點線性化策略提高大位移近似精度。在非線性UR5上的模擬表明,該方法相比經典方法顯著降低跟蹤誤差、矯正力矩和閉環執行成本,證明運動學平滑性並不保證動態效率。
本文提出HIOcc層次化室內佔用基準和GEM-Occ高斯證據記憶框架,透過將區域性幾何預測轉化為瞬態證據並融合到持久層級記憶中,實現了從單視角到建築級別的語義佔用對映,在多個資料集上提升了預測穩定性與可擴充套件性。
MECo-WAM透過在訓練中注入動作相關的4D幾何先驗,提升了機器人操作效能,且不增加推理成本。方法包括多專家協同訓練、衰減4D讀取掩碼注意力和動作感知時態幾何蒸餾。在LIBERO和RoboTwin 2.0上分別達到98.2%和92.6%成功率。
本文提出一種基於四元數平均的自適應互補濾波器(QAACF),用於足部安裝的AHRS的行人航位推算,透過Markley四元數平均融合感測器資料並自適應調整權重,實現了低RMSE和低計算成本。
FaceMesh2HPO是一個框架,用於分類與人類表型本體(HPO)對齊的面部表型描述符,以支援臨床診斷。該研究利用124名臨床醫生對10種疾病(107個HPO術語)的標註,結合非綜合徵對照組,從2D影像生成3D面部網格(478個地標),並訓練了基於層級PointNet的級聯分類與特徵消除管道。最佳模型(結合3D網格、面部輪廓和人口統計學後設資料)的AUROC在0.55至0.89之間,父節點效能優於葉節點。外部驗證顯示不同疾病泛化能力存在差異。結果表明,3D面部幾何的層級建模可實現可解釋的、本體連結的表型分類,但在稀有葉節點上的效能仍有限,需要改進資料多樣性和特徵選擇策略以增強魯棒性和臨床實用性。
本文提出一種無需訓練的方法,利用預訓練的生成式影像模型和視覺語言模型,從3D物件的多檢視影像中提取語義部分,並將其抽象為超二次曲面基元。該方法不包含可學習引數,具有類別無關和方向不變性,在HumanPrim和Toys4K資料集上取得了最低的Chamfer距離,平均每個物件使用5-9個基元。研究表明,當前精度瓶頸在於部分分割而非基元擬合。
研究人員提出MuCoDi框架,透過對比蒸餾將多個病理學基礎模型(PFM)的凍結圖塊嵌入壓縮到輕量級邊緣編碼器中。基於RepViT的MuCoEdge學生模型在保持接近教師效能的同時,將模型大小減少數個數量級,在Raspberry Pi 5上實現高達605倍的單切片加速。
本文提出一種渲染感知的貝葉斯3D高斯潑濺框架,透過Normal-Inverse-Wishart後驗跟蹤高斯幾何,實現原生不確定性估計和主動檢視選擇。在固定預算的主動檢視任務中,該方法相比基線在PSNR上提升0.453 dB,LPIPS降低0.0146,且95%覆蓋誤差減少約17倍,訓練成本僅為深度整合的三分之一。
該研究揭示了視覺資料中天然存在的統計訊號,這些訊號可像後門觸發器一樣被利用,而無需惡意插入。透過分析ImageNet,作者發現了與特定標籤強相關的模式,並透過統計控制去除了隨機相關性,證明這些訊號能直接且可預測地改變模型預測。這些統計對手比通用損壞更具針對性,且在不同模型架構間可遷移,表明漏洞源於資料集結構和分佈而非單一模型的特性。該研究建議將虛假結構視為潛在的對抗攻擊面。
Light-Omni是一種多模態智慧體框架,透過雙上下文狀態(全域性狀態和引數化潛在狀態)實現無需迭代推理的反射式影片理解,在多個基準測試中超越M3-Agent,速度提升12.1倍,GPU記憶體效率提升2.6倍,並可作為現有多模態大語言模型的記憶系統。
Ground3D-LMM是一個統一模型,輸入點雲和可選RGB影像,支援具有明確點定位和度量輸出的3D空間對話。它定義了3D接地測量任務,並基於ScanNet構建了包含250萬問答對的大型資料集,為接地且度量感知的3D對話理解建立了強基線。
本文提出一種僅需單攝像頭和單光源的視線估計方法,透過引入虛擬光源和虛擬光斑,利用瞳孔與光斑距離關係進行估計,效能可接受但略低於雙光源系統。
該研究提出了一個任務驅動的評估框架,將深度感知的合成霧生成、影像恢復、目標檢測和追蹤整合到統一流程中。研究發現,霧會顯著降低檢測和追蹤效能,而包含霧的訓練資料能最一致地提升魯棒性。
本文介紹了CanvasAgent,一種工具增強的多模態智慧體,能夠透過多輪互動編排多種視覺工具以完成複雜的影像建立和編輯任務。同時,作者提出了CanvasCraft資料集,包含14萬條可執行軌跡和1萬條強化學習任務規範。該智慧體首先透過監督微調學習推理-動作軌跡,然後利用混合獎勵的組相對策略最佳化進行最佳化,在推理過程中動態調整工具選擇。實驗證明,該方法在最終影像質量和軌跡行為上均表現出色。
NAVER LABS團隊復現了其IWSLT 2025指令跟隨流水線,並針對IWSLT 2026共享任務(受限條件、短音訊軌道)進行調整,採用SeamlessM4T-v2-large作為語音編碼器、Qwen3-4B-Instruct作為LLM主幹。保留了三階段方法:投影器對齊、純文本LoRA預訓練和多模態融合。此外,團隊從提供的語料庫構建了10萬個涵蓋十種語音中心任務型別的合成指令跟隨示例。主要模型在EN-ZH語音翻譯上達到COMET 0.781,在MCIF基準的英語SQA上達到BERTScore-F1 0.346。
BaFCo是一個專為孟加拉語表單理解設計的基準資料集,包含200份多頁複雜孟加拉國政府表單,覆蓋農業、教育、銀行和土地管理等領域,定義了26種細粒度實體型別和5種粗粒度實體型別。評估顯示當前多模態大語言模型在定位精細表單實體方面存在侷限性。