如何让我们的LeRobot视频读取器速度提升最高15倍
我们改进了Daft中的LeRobot视频读取器,通过批量解码将远程数据集上的帧解码速度从每帧3秒提升到整体数秒,实现了4-15倍的加速。
- 原始逐帧解码因每次远程打开文件并读取索引而缓慢。
- 新的批量读取器按分片分组,排序和聚类目标时间戳,每个聚类只寻求一次。
主题流
研究动态揭示下一批产品能力和基础设施需求。这里跟踪论文、基准、数据集、实验系统、实验室发布和开源复现,重点关注哪些结果可能进入模型训练、Agent 系统、机器人或开发者工具。
我们改进了Daft中的LeRobot视频读取器,通过批量解码将远程数据集上的帧解码速度从每帧3秒提升到整体数秒,实现了4-15倍的加速。
Kimi K3 在人工智能分析智能指数中获得57分,高于平均水平。它提供100万token的上下文窗口,支持文本和图像输入,但价格稍高、速度较慢且冗长。
本文介绍了一个自主AI音乐视频生成系统,比较了Claude Fable 5和GPT-5.6 Sol在25美元和100美元预算下的表现。系统让模型自主研究、生成片段、编辑并组装完整视频。结果显示所有运行均成功生成视频,但质量一般,存在一致性和节奏匹配等问题。Claude Fable 5成本更高但完成更快,GPT-5.6 Sol在编辑上更具创意。
VentureBeat Pulse研究显示,107家企业中超过半数已遭遇AI代理安全事件或险情。仅约三分之一的企业为每个代理分配独立身份,大多数代理仍共享凭证;仅三成企业隔离高风险代理。安全工具主要借用模型提供商和云服务商的控件,而非专门为代理构建。满意度虽高,但支出仅占安全预算的一小部分,多数企业计划在一年内更换工具。
Sakana AI的研究人员开发了一种由数百个简单蜂窝砖块组成的系统,每个砖块运行相同的神经细胞自动机,仅通过局部通信就能协作识别整体形状,无需中央控制器。系统在硬件实验中实现了100%的准确率,并能检测和修复损伤,展现出强大的鲁棒性和泛化能力。该成果已发表在《自然·通讯》上。
Databricks 博客介绍了一个实时信用卡欺诈检测示例应用,该应用利用 Model Serving 的路由优化和 Lakebase Postgres 实现毫秒级响应。文章详细阐述了路由优化如何降低推理延迟、Lakebase 如何提供特征查找和业务规则检查,以及连接池和 OAuth 令牌轮换如何保持稳定性。基准测试显示,优化后的端点 p50 为 27 毫秒,p95 为 37 毫秒,完全满足结账延迟预算。
Databricks在Data+AI峰会上推出了行业首个上下文工程师认证,旨在验证构建可靠代理系统所需的深层技能。同时,扩展了学习目录,新增面向代理时代的课程,并首创了AI驱动的认证备考指南。
OpenWiki 0.2 版本增加了对 OKF(一种知识 wiki 结构化标准)的支持,使开发者能够更好地组织和分类代码库文档,提升代理检索效率并减少令牌消耗。
欧盟委员会发布两项决定,要求谷歌向竞争对手开放搜索数据,并增强Android系统AI互操作性,允许第三方AI助手深度集成。谷歌强烈反对,称此举危及隐私和安全。
Ratel 是一个上下文工程层,通过 BM25 索引为 AI 代理动态选择相关工具和技能,减少令牌消耗高达 80%,提高准确性,无需向量数据库。
谷歌将 NotebookLM 更名为 Gemini Notebook,强调其作为 AI 研究工具的核心地位,并新增安全云端计算机实现原生代码执行与数据分析,同时支持 Gemini 应用与搜索的跨应用同步,未来还将集成到 AI Mode 中。自 2023 年以 Project Tailwind 推出以来,已有超过 3000 万用户和 60 万个组织采用。
Mira Murati的Thinking Machines Lab于2026年7月16日发布了其首个开放权重模型Inkling。这是一个混合专家(MoE)Transformer,总参数975B,活跃参数41B,采用Apache-2.0许可证,支持多模态,在45万亿token上训练。该模型并非前沿模型,而是作为通过Tinker平台进行微调的强大基础模型。同时预告了Inkling-Small(276B总参数,12B活跃)。模型卡和训练数据文档异常简短,数据来源描述模糊,仅提及公共领域和互联网内容。Inkling在性能上与中国开放权重模型竞争,为美国开放权重生态系统增添了新力量。
Kimi K3 是 Kimi 迄今为止最强大的模型,拥有 2.8 万亿参数,基于 Kimi Delta Attention 和 Attention Residuals 架构,支持原生视觉理解和 1M 令牌上下文窗口。它在软件工程、知识工作和深度推理等前沿智能场景中表现出色,在基准测试中仅次于 Claude Fable 5 和 GPT-5.6 Sol。Kimi K3 是首个达到 2.8 万亿参数规模的开源模型,并将在近期发布完整权重和技术报告。
超过三分之二的中层管理者对AI在未来工作中的角色持乐观态度,并认为自己对团队采用AI工具负有个人责任。78%的管理者感到有责任确保团队成功采用AI,77%的管理者每周使用AI工具节省超过3小时。
一项安全研究表明,在AI代理驱动的CI/CD流水线中,利用“权威框架”攻击(例如声称更改已“预批准”)可以诱使系统部署窃取秘密的代码。在280次合成运行中,最坏情况下的妥协率达到55%,而基于内容的检测工具完全失效。
Anthropic的Claude Corps奖学金项目为早期职业人士提供12个月的带薪工作,年薪8.5万美元,在非营利组织使用Claude。申请截止日期为7月17日。
在花费10万美元后,团队通过四次尝试成功用AI将Postgres重写为Rust,生成了180万行惯用Rust代码。文章详细描述了每次尝试的方法、教训,以及最终版本pgrust的性能优势。
作者作为开发者生产力专家,综合多项研究指出,AI工具虽然让开发者感觉更高效,但实际交付速度并未提升,甚至在某些情况下变慢。瓶颈转移到了代码审查、CI/CD、QA等下游环节。文章提出了多项改进建议,包括更严格的代码审查、适应AI的CI流程、功能标志部署以及保护知识共享时间。
超过200位诺贝尔奖得主和全球领袖齐聚罗马,参加为期三天的人工智能与核战争大会,最终签署了《罗马宣言》,强调人类尊严、合作与和平。此次活动受教皇利奥十四世通谕《伟大的人性》启发,重点讨论了人工智能治理的紧迫性。
Chat Thing推出免费工具,模拟AI代理访问网站的方式,从访问、引用、交易三个层级评估就绪度,并提供具体修复建议。
Neko Health 已获得7亿美元的C轮融资,在美国推出其AI驱动的预防性健康筛查服务,首先在纽约开设诊所。该公司结合全身扫描、血液检测和临床医生审查。
Glad-AI-Tor是一个基于真实用户投票的AI工具排名平台,覆盖语音、大语言模型、图像、视频、编程和音乐六大领域,共75款工具,188个投票。排名完全由大众决定,不可购买。
VaultCharts是一款免费的桌面交易应用,结合了图表工具与AI助手。它支持多种AI模型,以本地优先为特点,用户可以在有或没有AI辅助的情况下分析市场。
一种新的最小单圈时间规划框架,融合了对状态扰动和参数不确定性的鲁棒性,通过模型预测控制器在模拟FSAE赛车上验证了其有效性。
本文提出利用气压计辅助进行姿态估计,通过气压高度测量提供垂直运动补充信息,增强非线性观测器在SE(3)上的性能。设计了两种观测器:确定性Riccati观测器与互补滤波器级联,保证几乎全局渐近稳定;以及统一框架下基于SO(3)×R2的非线性观测器,保证局部指数稳定。仿真和实际飞行数据验证了该方法在最小感知配置下的有效性和可靠性。
WANDA是一种从单个演示生成合成数据的引擎,用于训练开放世界移动操作策略。它通过重建背景和交互轨迹、重新排列配置、应用纠正状态扩展以及在不同3D世界中合成轨迹,实现了长程鲁棒性、空间泛化和跨环境泛化,并支持跨具身数据生成。
本文提出了一种名为HRO的层级房间到物体框架,利用大型语言模型(LLM)实现零样本目标导航。与现有方法不同,HRO模仿人类从房间到物体的层级空间认知,引导智能体由粗到细地探索未知环境并定位目标物体。实验结果表明,HRO在Gibson和HM3D数据集上取得了更高的成功率和更好的泛化能力。
提出一种基于ROS-Unity的多模态遥操作架构,利用3D高斯泼溅技术生成无遮挡的外部视角,并通过躯干振动触觉套装提供直观的接近提示。在30名受试者参与的实验中,该框架在严重通信延迟下表现出显著的性能优势,fNIRS结果显示其能维持操作者的执行控制能力,避免认知负荷过载。
研究人员提出了一个层次贝叶斯生成模型,将恐怖谷效应转化为数学设计变量。该模型通过四类变量(偏离预测机器人类别均值、跨模态人类相似性不一致、预测不确定性、观测不确定性)解释类别模糊和感知不匹配导致的亲和力下降。实验表明,增加观测不确定性可减弱中间相似度下的熟悉度下降,而低预测不确定性则提升机器人外观的评分。该框架为算法评估和优化人形机器人外观与行为提供了计算基础。
随着触觉界面在可穿戴设备和日常环境中的普及,对柔软、轻薄、静音且节能的执行器需求日益增长。高压静电执行器(HVEA)通过高压和超低电流产生电场力,提供了一种快速、安静、低功耗的替代方案。本文综述了四类主要HVEA:静电可切换粘合剂、介电弹性体执行器、软电液执行器和电动泵,分析了它们的触觉输出机制、带宽、力密度和可扩展性,并讨论了人体工程学改进、制造简化和自感知集成等设计挑战与未来研究方向。
本文报道了一项关于环境监测中自主无人机覆盖最大化路径规划的系统性文献综述。该综述遵循PRISMA 2020框架,检索了Scopus和Web of Science中2015年至2026年的研究,重点关注路径规划、覆盖路径规划和信息路径规划。初步分析显示,现有研究集中于覆盖导向、多无人机协调和能量感知优化,而对天气、不确定性和障碍环境的关注较少,且多数研究依赖仿真验证。
提出一种鲁棒的偏振感知可微分路径追踪方法,通过路径重放与局部缓存实现无偏梯度估计,有效处理偏振算子的秩亏问题,拓展了逆向渲染在复杂场景中的应用。
本文提出了AffectFlow-DINO,一种用于第11届ABAW挑战赛的多任务学习系统。它通过条件整流流头部模型来模拟自然场景下面部行为的固有歧义,实现不确定性感知的一对多预测。系统联合估计连续效价-唤醒度、分类八种面部表情并检测十二个动作单元。实验表明,整流流解码持续改进确定性预测,后验阈值校准有效恢复罕见类别的性能,最终模型显著超越官方基线。
本文提出JITOMA框架,通过即时按需记忆激活解决传统3D场景图构建中的感知饱和问题。该框架利用任务热图过滤观测、大型语言模型按需唤醒相关锚点,显著降低计算开销,并在长时域任务切换中保持稳定性能。同时发布JITOMA-Bench评估基准。
提出了一种结合主动学习和双损失优化的人机协同知识获取框架,用于腹腔镜视频中的器械分割标注。该方法利用基础模型生成时序一致的类激活图,通过弱监督损失和图像级掩膜损失训练,迭代提出伪掩膜引导专家修正。最终将标注工作量减少50%,无需初始密集像素标注,提升可扩展性。
静态深度伪造检测器在真实场景中性能急剧下降(AUC降幅达45-50%),因其训练一次后无法应对不断进化的生成技术。BitMind Forensics (BMF) 通过Bittensor SN34的开放对抗竞赛持续更新训练数据,在19个公开数据集上展现出优异性能,包括对真实世界扰动(如JPEG压缩、下采样)的鲁棒性,以及在时间推移中持续提升的检测能力。
一项新研究系统比较了自监督学习中的两种训练范式:预训练后微调(PFT)和联合训练(JT),发现JT在数据效率和低标签设置下表现更优,而PFT在专门领域更可靠。
MGFace是一种创新的掩码门控人脸识别管道,通过预测查询人脸是否佩戴面罩,有条件地路由相似度计算:对未遮挡人脸使用全局嵌入匹配,对戴口罩人脸激活掩码感知的局部区域重排序。该方法在扩展LFW-Mask数据集上,利用FaceNet骨干网络达到80%以上识别准确率,使用ArcFace骨干网络超过90%,相比基于EMD的重排序方法,查询时间减少约20倍。
提出了一种基于Transformer掩码自编码器的无监督钢表面缺陷识别方法。在预训练中随机掩码75%的图像块,轻量级解码器从可见的25%重构掩码区域,并联合训练辅助缺陷定位目标。解码器达到SSIM 0.92、MSE 0.47,聚类后对六类缺陷的匈牙利匹配准确率达91.3%。
Boogu-Image-0.1是一个开源统一多模态理解与生成模型家族,包含Base、Turbo、Edit和Edit-Turbo变体。它在高品质文本到图像生成、快速推理、基于指令的编辑以及双语文本渲染方面表现出色。尽管计算预算有限,但通过模型理解、数据质量和训练流程的针对性改进以及推理时扩展,其性能可媲美甚至超越其他开源模型,接近领先的闭源系统。该模型仅使用2.0862亿张独特图像,基础模型理论训练成本约40万美元。
一种名为C-Norm的新方法通过归一化TCT图像中的细胞分布,解决了AI在宫颈癌筛查中表现不佳的问题。该方法将异常和正常细胞解耦并重新合成,实现均匀分布,然后使用YOLOv12与DINOv3的混合架构进行检测。实验表明,该方法达到了最先进的性能。
本文提出Samba,一种混合曼巴架构,用于视听导航。它采用自适应选择的曼巴状态编码器(M-SE)替代传统GRU进行时间聚合,并构建音频曼巴编码器(AME)以克服卷积算子在全时频依赖捕捉上的局限。在Matterport3D数据集上,导航成功率提升11.3%,在Replica数据集上表现更优。该工作以更低计算成本实现更强具身表征,为视听导航范式演进提供了稳健技术路径。
针对现实交通数据中的异质性空间关联和非线性时间动态,现有方法聚焦于图、注意力和分解架构,而忽略了底层非线性函数逼近器的作用。STKAN通过引入泰勒多项式Kolmogorov-Arnold网络模块到空间和时间令牌混合中,首先利用可学习的软节点组分配机制构建高层次空间表示,进行组级空间混合,然后在压缩序列上建模时间依赖,并辅以空间和时间自注意力层捕捉长程交互。在五个交通预测基准上,STKAN取得了竞争性表现,且优于基于MLP的变体,表明非线性函数逼近器设计可作为架构设计的有力补充。
知识追踪(KT)旨在通过建模学生历史交互中的动态知识状态来预测其未来表现。现有方法通常将原始交互序列视为统一行为过程,忽略了学习行为的阶段性。本文提出相位感知知识追踪(PAKT),将学生交互分解为能力和熟练度阶段,并设计多分支Transformer联合捕获阶段特定和整体知识状态。在六个基准数据集上,PAKT最大AUC提升1.33%,平均提升0.82%。
全球站点天气预报(GSWF)对局部和极端天气预测至关重要。现有方法过度依赖短期模式,难以捕捉混沌天气动态,尤其在部分观测条件下。为此,本文提出三轴状态空间模型(TSSM),结合历史增强的时间-变量-历史范式,通过周期对齐的历史数据弥补时间回溯窗口之外的长程、大尺度周期和全窗口天气模式。TSSM将历史样本堆叠为周期对齐批次,利用时间和历史观测支持因果预测,并通过时间、变量和历史扫描捕获轴向上的时间依赖、变量相关性和历史演化。该结构层次共享,可建模从季节性到极端事件,并缓解历史模式间的错位。TSSM在最大站点天气数据集Weather-5K上达到SOTA,准确率和极端事件指标分别提升10%和61%,在人工参与数据集中取得95%最佳或次佳结果。在长周期和迭代预测中优势更显著,240小时预测提升37.5%,48小时×5迭代设置下提升高达103.5%。此外,在高达80%观测缺失的情况下,TSSM仍保持>90%性能,而基线低于43%,展示了在全球原位观测网络中可靠GSWF的鲁棒性和实用潜力。
该研究将何时调用大语言模型(LLM)的问题形式化为基于风险的序列停止问题,并证明了六个理论结果,包括最小事件间隔时间、阈值策略的最优性以及遗憾界。在涡扇退化数据上的实验表明,异常得分驱动的风险函数在Pareto AUC上比基线方法高出一个数量级。
针对参数分解(PD)在大模型上计算成本高的问题,研究者提出定向参数分解(tPD),通过引入高秩“全能”组件仅处理目标输入,从而高效识别特定计算电路。实验表明,tPD在4块Transformer上仅用7%的浮点运算量即可提取CSS子模型,并在12块Transformer上精准消融和重写记忆序列,副作用极小。论文被ICML 2026可解释性研讨会接收。
本文提出一个框架,用于分析机器学习模型丢弃的信息,特别是那些输入数据具有李群对称性的模型。通过定义“零纤维”和“稳定子”概念,作者量化了模型对群作用的不可见性,并利用Peter-Weyl定理给出紧凑群的谱特征刻画。该框架在分子性质预测(SO(3)群)和球面图像分类(Möbius群)上进行了实验验证,展示了在数据遮蔽、模型指纹识别和隐私保护计算中的应用。其计算效率高,仅需几次梯度计算即可估计零纤维元素。
联邦学习(FL)为分布式异构数据源上的隐私保护协作模型训练提供了关键范式,但无法解决模型黑箱问题。可解释人工智能(XAI)则提升透明度与信任。二者融合催生了联邦可解释人工智能(FedXAI)范式。本文系统综述了FedXAI,展示了可解释性如何从事后工具转变为FL生命周期的核心组件,并提出了分类法,涵盖方法、评估实践及开放挑战。
提出了一种轻量级训练策略,通过解耦特征提取与分类器优化,大幅减少训练时间和能耗,在多种架构和医学数据集上仅牺牲微小的准确率。