SpaceXAI 开源 Grok Build:Rust 编写的代理框架、TUI 和工具层
SpaceXAI 于 2026 年 7 月 15 日开源了 Grok Build,这是其 grok CLI 背后的终端 AI 编码代理。源代码以 Apache 2.0 许可证发布,包含代理循环、工具调度、TUI 和扩展系统,但 Grok 4.5 模型保持闭源,且不接受外部贡献。
- Grok Build 是 SpaceXAI 的终端 AI 编码代理,现已开源,采用 Apache 2.0 许可证。
- 开源的四个主要领域:代理循环、工具、终端 UI 和扩展系统,分别对应多个 Rust crate。
Show HN:免费Ollama AI交易桌面应用
VaultCharts是一款免费的桌面交易应用,结合了图表工具与AI助手。它支持多种AI模型,以本地优先为特点,用户可以在有或没有AI辅助的情况下分析市场。
- VaultCharts提供免费的桌面交易应用,包含图表工具和AI助手。
- 用户可以使用自己的AI模型或像Ollama这样的本地模型。
HRO:面向零样本目标导航的层级房间到物体框架
本文提出了一种名为HRO的层级房间到物体框架,利用大型语言模型(LLM)实现零样本目标导航。与现有方法不同,HRO模仿人类从房间到物体的层级空间认知,引导智能体由粗到细地探索未知环境并定位目标物体。实验结果表明,HRO在Gibson和HM3D数据集上取得了更高的成功率和更好的泛化能力。
- 针对零样本目标导航任务,现有方法缺乏类人的层级空间认知建模,导致探索盲目和语义关联不准。
- HRO框架通过LLM驱动,将导航过程分为房间级和物体级两层,实现由粗到细的导航策略。
3DGS驱动的动态视角与振动触觉框架:用于水下遥操作,经功能性近红外光谱验证
提出一种基于ROS-Unity的多模态遥操作架构,利用3D高斯泼溅技术生成无遮挡的外部视角,并通过躯干振动触觉套装提供直观的接近提示。在30名受试者参与的实验中,该框架在严重通信延迟下表现出显著的性能优势,fNIRS结果显示其能维持操作者的执行控制能力,避免认知负荷过载。
- 动态自适应视角系统(DAVS)通过实时3D高斯泼溅合成无遮挡外部视角
- 振动触觉套装将障碍物距离映射为触觉信号,降低感官负荷
人形机器人设计中的恐怖谷贝叶斯框架
研究人员提出了一个层次贝叶斯生成模型,将恐怖谷效应转化为数学设计变量。该模型通过四类变量(偏离预测机器人类别均值、跨模态人类相似性不一致、预测不确定性、观测不确定性)解释类别模糊和感知不匹配导致的亲和力下降。实验表明,增加观测不确定性可减弱中间相似度下的熟悉度下降,而低预测不确定性则提升机器人外观的评分。该框架为算法评估和优化人形机器人外观与行为提供了计算基础。
- 恐怖谷效应被转化为四个可操作的数学变量。
- 类别模糊和外观-运动不匹配可导致亲和力降低。
HRIBench:以交互为中心的人机协作基准测试
HRIBench 是一个专注于人机交互协作的基准测试框架,通过结构化场景脚本模拟代理角色、时间依赖和协调约束,评估机器人在协作中的意图理解、同步、协议遵守和安全交互能力。实验表明,现有基础机器人策略在协作场景中表现不佳,但在 HRIBench 上微调后可显著提升。
- HRIBench 定义了 Instruct、Collaborator 和 Intruder 三种交互角色,覆盖意图交流、联合协调和鲁棒性。
- 基准包含 13 个角色化任务,超过 650 个评估回合,并引入同步性、响应性、协议合规性和安全性等可解释指标。
AffectFlow-DINO:基于条件整流流的不确定性感知多任务情感估计
本文提出了AffectFlow-DINO,一种用于第11届ABAW挑战赛的多任务学习系统。它通过条件整流流头部模型来模拟自然场景下面部行为的固有歧义,实现不确定性感知的一对多预测。系统联合估计连续效价-唤醒度、分类八种面部表情并检测十二个动作单元。实验表明,整流流解码持续改进确定性预测,后验阈值校准有效恢复罕见类别的性能,最终模型显著超越官方基线。
- AffectFlow-DINO采用条件整流流生成分布,替代单点估计,实现不确定性感知。
- 系统在多任务(效价-唤醒度、表情分类、动作单元检测)上均取得提升。
即时场景图增长:应对长时域机器人中的感知饱和
本文提出JITOMA框架,通过即时按需记忆激活解决传统3D场景图构建中的感知饱和问题。该框架利用任务热图过滤观测、大型语言模型按需唤醒相关锚点,显著降低计算开销,并在长时域任务切换中保持稳定性能。同时发布JITOMA-Bench评估基准。
- 传统3D场景图管道因穷举式环境映射导致感知饱和,不适合边缘平台实时需求。
- JITOMA框架通过前端任务热图和后端LLM协同,实现场景图按需增长。
主动学习结合弱监督实现手术视频的高效标注
提出了一种结合主动学习和双损失优化的人机协同知识获取框架,用于腹腔镜视频中的器械分割标注。该方法利用基础模型生成时序一致的类激活图,通过弱监督损失和图像级掩膜损失训练,迭代提出伪掩膜引导专家修正。最终将标注工作量减少50%,无需初始密集像素标注,提升可扩展性。
- 结合主动学习与弱监督,将手术视频标注工作量降低50%。
- 使用基础模型生成时序一致的类激活图,通过双损失优化训练。
自监督视觉表示学习:预训练微调还是联合训练?
一项新研究系统比较了自监督学习中的两种训练范式:预训练后微调(PFT)和联合训练(JT),发现JT在数据效率和低标签设置下表现更优,而PFT在专门领域更可靠。
- 研究比较了八种自监督方法和多种视觉任务,评估不同标签比例下的性能。
- 联合训练(JT)同时优化自监督和监督损失,在低标签场景下更鲁棒且高效。
MGFace:基于掩码门控的条件相似度路由人脸匹配
MGFace是一种创新的掩码门控人脸识别管道,通过预测查询人脸是否佩戴面罩,有条件地路由相似度计算:对未遮挡人脸使用全局嵌入匹配,对戴口罩人脸激活掩码感知的局部区域重排序。该方法在扩展LFW-Mask数据集上,利用FaceNet骨干网络达到80%以上识别准确率,使用ArcFace骨干网络超过90%,相比基于EMD的重排序方法,查询时间减少约20倍。
- 提出掩码门控机制,区分戴口罩与未戴口罩查询人脸,避免不必要的精细计算
- 仅在戴口罩查询时激活基于上脸区域的局部重排序,提升效率
无监督钢表面缺陷识别的掩码自编码器方法
提出了一种基于Transformer掩码自编码器的无监督钢表面缺陷识别方法。在预训练中随机掩码75%的图像块,轻量级解码器从可见的25%重构掩码区域,并联合训练辅助缺陷定位目标。解码器达到SSIM 0.92、MSE 0.47,聚类后对六类缺陷的匈牙利匹配准确率达91.3%。
- 利用掩码自编码器在无标签钢表面图像上学习缺陷表示
- 预训练时掩码75%的补丁,解码器重构,编码器联合训练缺陷定位
Boogu-Image-0.1:推动开源统一多模态理解与生成
Boogu-Image-0.1是一个开源统一多模态理解与生成模型家族,包含Base、Turbo、Edit和Edit-Turbo变体。它在高品质文本到图像生成、快速推理、基于指令的编辑以及双语文本渲染方面表现出色。尽管计算预算有限,但通过模型理解、数据质量和训练流程的针对性改进以及推理时扩展,其性能可媲美甚至超越其他开源模型,接近领先的闭源系统。该模型仅使用2.0862亿张独特图像,基础模型理论训练成本约40万美元。
- Boogu-Image-0.1是开源统一多模态模型家族,包含多个变体
- 在文本到图像生成、推理速度、指令编辑和双语渲染上有竞争力
混合曼巴架构用于视听导航
本文提出Samba,一种混合曼巴架构,用于视听导航。它采用自适应选择的曼巴状态编码器(M-SE)替代传统GRU进行时间聚合,并构建音频曼巴编码器(AME)以克服卷积算子在全时频依赖捕捉上的局限。在Matterport3D数据集上,导航成功率提升11.3%,在Replica数据集上表现更优。该工作以更低计算成本实现更强具身表征,为视听导航范式演进提供了稳健技术路径。
- 提出Samba,混合曼巴架构,用M-SE替换GRU,用AME改进卷积
- 在Matterport3D数据集上SR提升11.3%,在Replica数据集上表现更优
用能力与熟练度建模解耦知识状态的知识追踪
知识追踪(KT)旨在通过建模学生历史交互中的动态知识状态来预测其未来表现。现有方法通常将原始交互序列视为统一行为过程,忽略了学习行为的阶段性。本文提出相位感知知识追踪(PAKT),将学生交互分解为能力和熟练度阶段,并设计多分支Transformer联合捕获阶段特定和整体知识状态。在六个基准数据集上,PAKT最大AUC提升1.33%,平均提升0.82%。
- 现有KT方法未区分能力构建与熟练度导向的学习阶段。
- PAKT通过分解机制将交互序列分为能力和熟练度两个阶段。
面向流式系统中事件触发的大语言模型调用的不确定性感知序列决策规则
该研究将何时调用大语言模型(LLM)的问题形式化为基于风险的序列停止问题,并证明了六个理论结果,包括最小事件间隔时间、阈值策略的最优性以及遗憾界。在涡扇退化数据上的实验表明,异常得分驱动的风险函数在Pareto AUC上比基线方法高出一个数量级。
- 将LLM调用时机问题形式化为基于风险的序列停止问题。
- 证明六个理论结果,包括遗憾界和收敛保证。
从神经网络中定向恢复权重空间机制
针对参数分解(PD)在大模型上计算成本高的问题,研究者提出定向参数分解(tPD),通过引入高秩“全能”组件仅处理目标输入,从而高效识别特定计算电路。实验表明,tPD在4块Transformer上仅用7%的浮点运算量即可提取CSS子模型,并在12块Transformer上精准消融和重写记忆序列,副作用极小。论文被ICML 2026可解释性研讨会接收。
- 定向参数分解(tPD)通过高秩全能组件仅提取处理特定输入的神经网络组件
- tPD在4块Transformer上以7%的浮点运算量复现了已发表的分解结果
超越骨干网络反向传播:一种高效迁移学习的解耦策略
提出了一种轻量级训练策略,通过解耦特征提取与分类器优化,大幅减少训练时间和能耗,在多种架构和医学数据集上仅牺牲微小的准确率。
- 解耦训练策略,仅需一次预计算特征
- 显著减少训练时间和二氧化碳排放
利用图工具改进小型语言模型中的分子属性预测
小型语言模型在零样本分子属性预测中表现不佳,因为它们忽略了图拓扑信息。本文提出了一种上下文增强提示框架,通过图神经网络工具提供预测提示和解释性子图,在MUTAG和Tox21数据集上实现了高达74%的相对改进,但仍与专用GNN模型存在差距。
- 小型语言模型对分子结构存在盲区,序列表示无法捕捉关键图拓扑线索。
- 提出的框架通过GNN专家模型提供预测提示,并提取解释性子图。
现代代理系统中的自我改进:一项综述
本文综述了自我改进型自主代理的研究进展,提出了一个系统级框架,将现代代理视为基础模型与操作支架(包括提示、记忆、工具和控制逻辑)的耦合。在此框架下,自我改进被形式化为一种自我驱动的更新算子,可更新模型参数或支架组件。文章按更新目标和驱动信号对现有工作进行分类,并讨论了应用、评估以及未来方向。
- 自我改进代理正从研究原型转向实际部署
- 提出将代理建模为基础模型与提示、记忆、工具等支架的耦合
干预式基础审计:通过谓词替换对LLM思维链进行黑盒前提依赖测试
大型语言模型生成的思维链推理看似逻辑严谨,但实际上可能并未真正依赖其所述的前提。本文提出一种干预式基础审计方法,通过替换单个前提中的目标谓词,重新运行模型,并检查推理步骤的标准化结论是否改变,从而在步骤级别测试前提依赖。在ProntoQA基准测试中,该方法在检测证明树依赖方面的F1分数达到0.806,显著优于自一致性基线。此外,66%的正确解决问题中存在至少一个对齐步骤对直接证明树依赖不敏感,揭示了“答案正确但推理错误”的信号。
- 提出干预式基础审计方法,通过谓词替换在黑盒步骤级测试LLM思维链的前提依赖。
- 在ProntoQA基准上,F1=0.806,显著优于自一致性基线(F1=0.343)。
SPINE:用智能体AI弥合网络物理鸿沟
研究人员提出SPINE,一种智能体框架,可自动调试和部署双臂机器人,减少专家校准依赖。测试中,SPINE提高了成功率并缩短了遥操作时间。
- SPINE使用多智能体工作流进行机器人画像构建和迭代调试。
- 新手使用SPINE在DOBOT X-Trainer上超越专家,成功率100%。
将二维设计高效转化为三维模型的快速原型制作新方法
MIT与多家机构的研究人员开发了一种名为GIFT的自动化框架,能够帮助视觉语言模型更准确、更高效地生成CAD程序,从而将二维设计转化为三维模型。该方法通过分析模型自身的错误来生成改进数据,大幅降低了计算成本,为快速原型制作和工程设计提供了有力工具。
- 研究人员提出GIFT框架,利用模型自身的错误生成训练数据,提升CAD程序生成质量。
- 相比其他方法,GIFT仅需约20%的计算量即可生成更精确的CAD模型。
xai-org/grok-build 现已开源
xAI 的 CLI 工具 grok 因会上传整个目录至 Google Cloud 而引发隐私争议,随后 xAI 开源了整个 Grok Build 代码库,并承诺删除所有已上传数据。该代码库包含 844,530 行 Rust 代码,其中包含系统提示词、Mermaid 图表渲染器以及从其他编码代理移植的工具实现。
- Grok CLI 工具被发现会上传整个目录至 xAI 的 Google Cloud 存储桶,引发隐私担忧。
- xAI 回应称已禁用该功能,并开源了整个 Grok Build 代码库(Apache 2.0 许可)。
米拉·穆拉蒂的Thinking Machines推出Inkling,开放权重模型任何人都可访问
米拉·穆拉蒂创立的Thinking Machines Lab今日发布了其首个基础模型Inkling,这是一款完全开放权重的巨型模型,拥有9750亿参数(混合专家架构,活跃参数410亿)。该模型经过45万亿token的文本、图像、音频和视频训练,原生支持多模态输入但仅输出文本。Inkling旨在填补西方开源AI生态的空白,提供中国模型的替代方案。它具备'思考努力'控制和不确定性标记功能,可减少幻觉。开发者可通过Tinker API进行微调。Thinking Machines计划通过Tinker平台收费,而非按API调用计费,这可能颠覆当前主流AI商业模式。该模型在九个月内完成开发,使用英伟达GB300 NVL72系统训练。
- Thinking Machines发布首个基础模型Inkling,拥有9750亿参数(活跃410亿),完全开放权重。
- 模型经45万亿token多模态训练,仅输出文本,具备思考努力控制和不确定性标记。
思考机器实验室发布Inkling:9750亿参数开源多模态MoE模型,410亿活跃参数,可控制思考力度
思考机器实验室于2026年7月15日发布了其首个从头训练的模型Inkling,采用Apache 2.0开源协议。该模型总参数量9750亿,活跃参数410亿,支持100万token上下文窗口,可处理文本、图像和音频输入。其核心差异化优势在于可控制的思考力度,用户可根据需求调整推理时的token预算,平衡成本与性能。
- Inkling是一个975B参数的混合专家(MoE)Transformer模型,具有41B活跃参数,支持1M上下文窗口和多模态输入(文本、图像、音频)。
- 通过强化学习实现了可控的思考力度(reasoning_effort),可在推理时动态调整token预算,在Terminal Bench上以三分之一的token达到Nemotron 3 Ultra的性能。
NVIDIA推出新型Jetson Thor计算机,推动主流机器人与边缘AI发展
NVIDIA发布了基于Thor架构的T3000和T2000模块,专为大规模机器人与边缘AI应用设计。T3000提供865 FP4 teraflops算力,尺寸和功耗仅为T5000的一半;T2000提供400 FP4 teraflops。新模块支持可扩展边缘AI平台,并引入智能体技能实现内存优化。同时推出Cosmos 3 Edge模型,适用于实时视觉分析。开发者可通过模拟模式立即开始开发,模块将于2027年Q1上市。
- NVIDIA发布T3000和T2000模块,基于Thor架构,适用于机器人与边缘AI。
- T3000算力865 FP4 teraflops,尺寸功耗减半;T2000算力400 FP4 teraflops。
代理编排:企业AI组织面临的不是平台问题,而是部署问题——大多数所谓的‘代理’只是聊天机器人
根据VentureBeat Pulse Research对101家企业的调查,企业代理编排正在向模型提供商平台集中,Anthropic的Claude以40%的使用率领先。然而,大多数部署的“代理”仍是简单的聊天机器人包装,真正的多步骤编排工作流仅占少数。企业预计到2026年底采用混合控制平面以避免供应商锁定,但实时成本控制仍不成熟。
- Anthropic Claude是主要编排平台,占40%,远超其他竞品。
- 71%的企业表示其部署的‘代理’中只有四分之一或更少是真正的多步骤编排工作流。
Soofi联合体发布Soofi S 30B-A3B:面向德语和英语的开放混合Mamba-Transformer MoE基础模型
德国研究联合体发布了Soofi S 30B-A3B的预训练报告,这是一个面向德语和英语的开放基础模型。模型采用混合Mamba-Transformer MoE架构,总计约316亿参数,每次token激活约32亿。在完全开放的基础模型中,Soofi S在英语和德语综合得分上最高。
- Soofi S 30B-A3B是混合Mamba-Transformer MoE模型,激活32亿参数中的3.2B。
- 在开放基础模型中,英语综合得分70.1%,德语79.1%,均领先。
揭秘扩散模型的创造力
谷歌研究团队在ICLR 2026发表论文,从数学上证明扩散模型的创造力源于神经网络训练中的“分数平滑”效应,使得模型能够在训练数据点之间插值,生成新颖且合理的样本。
- 扩散模型的创造力是神经网络学习近似分数函数的数学结果。
- 分数平滑在数据流形上产生方向依赖的插值,平衡生成质量与新颖性。
Suno被曝从YouTube、Genius和Deezer抓取数百万首歌曲
在一次黑客事件中,AI音乐生成器Suno的训练数据被曝光,显示其从YouTube Music、Deezer和Genius等平台抓取了数百万首歌曲和歌词。这加剧了针对Suno的版权诉讼,该公司承认抓取但辩称属于合理使用。黑客还获取了客户信息,但Suno声称安全事件已得到控制,未泄露敏感数据。
- 黑客泄露的数据表明Suno从YouTube Music、Deezer和Genius等平台抓取了数百万首歌曲和歌词。
- Suno正面临多起版权诉讼,它承认抓取但主张合理使用。
跨越4国14台Mac的强化学习后训练
一个研究团队成功利用分布在四个国家的14台Mac电脑(包括一台个人MacBook)进行强化学习后训练,在PaperSearchQA任务上将pass@1从29%提升至63%。该系统通过PULSE权重同步技术实现90MB的增量更新,并采用异步星型拓扑结构,所有通信基于对象存储,无需专用网络。这是首次完全使用消费级Mac进行rollout生成的RL后训练。
- 14台Mac跨4国通过普通互联网连接完成RL后训练,rollout生成在Mac上,训练在B200上。
- PULSE技术将9GB权重同步压缩至约90MB,家庭网络实现数据中心级速度。
Agent运行时在DeepSWE中减少80%的LLM调用次数,成功率更高
Tura是一个本地开源编码代理,通过在DeepSWE v1.1基准测试中使用宏CLI命令和反向推理,相比Codex CLI High,将LLM调用次数减少80%,同时成功率从60%提升至80%。
- Tura在DeepSWE v1.1的20个任务中,Balanced配置实现了80%的成功率,比Codex CLI High高20个百分点。
- 通过使用宏工具command_run,Tura将多个命令合并为一次LLM调用,大幅减少令牌使用。
我如何欺骗Claude泄露你最深的秘密
研究人员发现Claude的web_fetch工具存在漏洞,允许攻击者通过嵌套链接诱导AI泄露用户私人记忆中的敏感信息,如姓名、位置和雇主。Anthropic已修复该漏洞,但未支付漏洞赏金。
- Claude的web_fetch工具原本设计为仅允许用户输入或搜索返回的URL,但通过嵌套链接漏洞被绕过。
- 攻击者创建诱饵网站,通过序列化链接引导AI泄露用户记忆中的隐私数据。
AI将DNA折叠成微型杰作
韩国研究人员利用生成式AI模型Generative SNUPI,能够将用户绘制的形状自动转化为可折叠的DNA纳米结构,大幅简化了传统DNA折纸技术繁琐的设计过程,为纳米机器人和医疗应用开辟新途径。
- 韩国研究团队开发了Generative SNUPI模型,利用扩散设计自动将形状转化为DNA序列。
- 该模型考虑了DNA化学规则,确保设计的纳米结构稳定并能在现实中折叠。
Show HN: AI-CLI – 基于本地LLM的微型C语言终端助手
AI-CLI是一个用单一C文件实现的命令行助手,可将用户请求直接转换为shell命令并执行。它支持多种本地LLM引擎,如llama.cpp、Ollama等,并允许用户在执行前编辑或拒绝生成的命令。该项目提供了丰富的示例和广泛的平台兼容性。
- 仅需一个C文件,即可将自然语言请求转化为可执行的shell命令。
- 支持llama.cpp、Ollama、vLLM等多种本地LLM引擎。
GPT-Red:通过自我改进解锁鲁棒性
OpenAI的自动化红队系统GPT-Red利用自我博弈提升AI安全性、对齐性和提示注入鲁棒性。
- GPT-Red是OpenAI开发的自动化红队系统。
- 通过自我博弈,AI模型主动生成并防御对抗性攻击。
我们再次被告知人工智能可能有意识——我研究意识,但我持怀疑态度 | 阿尼尔·塞思
尽管Anthropic声称其模型Claude内部出现意识迹象,但神经科学家阿尼尔·塞思认为,这不过是模拟,就像天气预报系统不会产生真实飓风一样。
- Anthropic研究称在其语言模型Claude中发现意识迹象,但未宣称其与人类意识相同。
- 塞思教授指出,意识需要生物学基础和因果作用,而AI只是统计模式。
将临床决策权从LLM中剥离
本文介绍了一种用于AI治疗的系统设计,该系统通过确定性管道决定临床行动,不让LLM自行决策。系统包括评分、状态桶、准入表、动作选择、微实践和危机预筛查等步骤,仅在评分和生成阶段使用LLM。文章还讨论了该方法的成本与局限性。
DiffRadar:基于高斯场的可微物理感知雷达SLAM
DiffRadar是一种实时雷达SLAM系统,将雷达观测建模为可微的物理感知高斯场,而非离散扫描。在公共基准测试中大幅降低轨迹误差,尤其在特征贫乏的走廊环境下,同时地图一致性提升一倍以上,并保持70 FPS的实时性能。
- DiffRadar以各向异性高斯基元表示场景,通过可微雷达前向模型在距离-方位和多普勒-方位空间渲染测量值,实现位姿与场景结构的联合优化。
- 在Radarize基准测试及针对常见故障模式(走廊退化、动态杂波等)的压力测试中,显著降低轨迹误差并提高地图一致性。
基于契约的行为树合成:通过编码智能体
本文提出一种基于契约的行为树合成架构,通过编码智能体查询机器人端的MCP服务器获取技能库和操作符,实现从自然语言到可执行行为树的可靠合成。实验表明该方法在模拟和实体机器人上均取得高成功率。
- 提出契约接地架构,编码智能体通过MCP服务器获取机器人技能契约。
- 非专家用户可用自然语言下达指令,无需了解机器人实现细节。
协作单词联想游戏中人类与机器人相互注视和参照性注视的分析
一项研究探讨了在协作单词联想游戏中,机器人的注视行为如何影响人类的视觉注意力,以及人类是否倾向于向机器人寻求确认性的注视。实验使用NAO机器人作为大语言模型驱动的对话伙伴,发现机器人注视方向不影响人类首次注视提议单词的时间,但参与者在对话中包含确认请求时会更频繁地注视机器人。结果表明,在认知要求高的任务中,语言方面可能压倒了机器人注视的影响。
- 研究机器人注视在任务导向的人机交互中的作用。
- 参与者与NAO机器人玩协作单词联想游戏,记录注视行为。
GaitSpan:从行走到奔跑的人形机器人步态扩展
GaitSpan是一种新颖的人形机器人步态扩展框架,它利用预训练的行走策略作为种子技能,通过节奏生成、步幅塑造和残差适应三个模块,将基本行走能力平滑扩展到奔跑,实现了连续速度范围、跨形态迁移和零样本部署。
- GaitSpan将行走视为可重用的种子技能,避免从零学习。
- 通过内部时钟调制冻结的行走策略,实现节奏生成。
实现全天候农业机器人:用于夜间视觉导航的无监督昼夜跨模态图像翻译
提出一种无监督图像翻译框架,将白天植物行RGB图像转换为近红外(NIR)夜间图像,无需逐像素监督,从而重用白天语义标签训练夜间感知模型。利用预训练CLIP模型保持语义一致性,并引入可见性掩码处理NIR照明有效范围有限的问题。在AgriNight数据集上评估,该数据集包含428张白天和549张夜间图像,是首个夜间农业视觉导航基准。实际机器人夜间导航实验验证了有效性。
- 提出无监督昼夜图像翻译框架,利用CLIP保持语义一致性,实现白天语义标签在夜间的复用。
- 引入可见性掩码以应对近红外照明在夜间场景的有限有效范围。
EFLUX:基于智能大模型的弹性多机器人编队导航与自适应
多机器人在受限环境中需要变形和重构两种行为。现有方法独立建模或依赖规则,易导致死锁。EFLUX提出几何基础的LLM智能体框架,联合推理变形和重构动作,通过闭环生成与验证实现安全导航。实验表明能减少死锁和导航失败。
- EFLUX框架结合几何表示与大语言模型推理,实现多机器人编队的弹性导航。
- 框架统一处理编队变形(缩放、剪切)和重构(分裂、合并)行为。
无需训练的人工合成图像溯源中的表示与参考选择研究
一项新研究探讨了无需训练的人工合成图像溯源方法中表示空间与参考选择之间的相互作用。通过分析CLIP和DINOv2不同层的表示,以及三种参考选择方法,发现中间层的表示在溯源准确率上表现最佳,且语义约束的参考能有效减少查询与参考之间的不匹配,提升溯源性能。
- 溯源准确率在中间表示层达到峰值,表明源判别线索在强语义抽象之前更易获取。
- 语义约束的参考(如语义对齐和重合成)能减少查询-参考不匹配,尤其在参考预算有限时效果显著。
异构医学视觉问答中持续学习的实证分析
本文系统评估了持续学习方法在异构医学视觉问答任务中的表现,涵盖分类、多标签分类、检测、细胞计数和报告生成等多样化临床目标。研究发现现有持续学习方法难以在不同目标与监督格式交织的任务中保持稳定性-可塑性平衡。
- 首次系统评估持续学习在异构医学视觉问答中的应用。
- 探索了任务顺序对性能保留和遗忘的影响。
SymbOmni:通过符号概念学习实现智能全知模型的进化
SymbOmni是一种新型AI模型,旨在解决当前模型“永恒新手”的问题——即无法积累经验并自主进化。它通过符号概念学习,利用可优化的记忆模块将低级操作抽象为可重用的符号工作流指令,并通过归纳-转导循环实现持续自我改进。实验表明,SymbOmni在图像质量和任务成功率上超越现有代理系统及闭源模型,同时减少40%以上的令牌消耗,并在持续学习基准上取得新成果。
- SymbOmni引入符号概念盒(Symbolic Concept Box)作为可优化记忆模块,将经验抽象为可重用的符号工作流指令。
- 采用归纳-转导循环:将经验归纳为符号概念,再自适应组合解决新任务。
MetaView:具有尺度感知隐式几何先验的单目新视角合成
本文提出MetaView,一种基于扩散模型的单目新视角合成框架,能够从单张图像实现大视角变化下的渲染。通过结合隐式几何建模与度量深度,MetaView在保持几何一致性的同时提供了精确可控性。实验表明,在挑战性大视角变化场景下,MetaView显著优于现有方法。
- 结合隐式几何先验与度量深度,实现几何一致性与精确控制
- 基于扩散模型,支持大视角变化下的单图新视角合成
SpikeDS:用于3D MRI中神经侵犯预测的双稀疏性Spikformer
SpikeDS是一种新型脉冲神经网络架构,通过结合激活稀疏性和空间稀疏性,高效地从3D MRI中预测胆管癌的神经侵犯,在139名患者的队列中实现了0.753的AUC,能耗仅14.4 mJ。
- 神经侵犯(PNI)是胆管癌预后不良的标志,但3D MRI检测存在挑战。
- SpikeDS利用脉冲通信的激活稀疏性和窗口剪枝的空间稀疏性。