Gemini Omni将视频生成直接集成到Gemini多模态AI助手中,支持从文本或图像创建视频、动画静态图像以及编辑现有视频。文章通过实际测试展示了其能力,同时指出使用限制、版权问题和区域限制等不足。
AI 新闻实时情报
实时监测
实时更新
实时跟踪可信来源,保留出处、权限和站内阅读模式,把噪声压成可读情报。
实时更新
本教程使用MONAI构建端到端3D医学图像分割流水线,在Medical Segmentation Decathlon Task09数据集上进行脾脏分割。涉及CT体积数据处理、医学图像变换(方向对齐、体素间距归一化、强度窗宽、前景裁剪、基于补丁的采样),训练3D UNet模型进行二元器官分割。采用混合精度训练、DiceCE损失、滑动窗口推理、Dice验证及定性可视化,从原始医学体积到完整的训练-验证-可视化分割系统。
这款全球流行的增强现实游戏收集的位置扫描数据,被用于训练人工智能识别和解读物理空间,未来可能帮助军用无人机在战区确定位置。
苹果软件主管 Craig Federighi 表示,新的 Siri 不会像其他聊天机器人那样阿谀奉承或鼓励用户建立情感联系,而是专注于提供帮助。
Qursor 是一款创新工具,允许用户通过指向任何用户界面元素,将其精确上下文发送给AI助手,从而简化交互过程。该产品已在Product Hunt上发布。
本文探讨了AI领域中的“循环”概念,即设计自动循环来驱动代理,而非手动提示。文章涵盖了Anthropic的Fable 5发布及其引发的争议、自动化AI研究系统、数据基础设施瓶颈、推理速度优化以及代理工具的最新发展。
Sparse2Act是一种新的预训练框架,利用任务空间末端执行器动作作为几何监督来对齐稀疏点云编码器的观察与动作。在LIBERO-10基准上达到86.9%的成功率,并成功跨域迁移至Meta-World-5(73.4%),真实世界实验中达到72.5%的成功率。
EquiDexFlow是一种SE(3)-等变流匹配模型,能够从物体点云联合预测腕部姿态、关节角度、指尖接触点、表面法线和接触力。该模型通过构造将接触点投影到物体表面并将力约束到库仑摩擦锥内,无需损失惩罚即可保证放置和摩擦合规。实验表明,在200次旋转测试中腕部残差低于0.04°,关节偏差为零,且在所有消融变体中实现了零摩擦违规和最佳综合分数。在物理机器人上,重定向后的抓取成功完成了所有六个测试物体的开环抓取保持任务。
EWAM是一种基于冻结核Cosmos3骨干网络的闭环在线自适应架构,通过推理时协同推理机制(包含四个轻量级神经层)实现零样本任务适应,无需微调或额外演示数据,显著降低新任务布局所需的部署数据量。
arXiv新论文提出DARRMS算法,通过动态调整智能体的注意半径来降低计算资源需求,在保持性能的同时提升多智能体系统的协调性和可扩展性。理论分析与实验验证表明,该自适应观察方法在资源受限环境中有效提高了系统性能和决策鲁棒性。
EgoEngine是一个可扩展的框架,能够将自我中心的人类操作视频转换为高保真的机器人观察视频和可执行的动作轨迹,从而克服了从人类演示到机器人学习中的视觉和动作鸿沟。该方法在仿真和真实机器人上实现了零样本的灵巧策略学习,无需真实的机器人演示数据。
本文提出FlowPilot,一种仅使用单目RGB摄像头的无地图长距离人行道导航策略。通过锚点流匹配进行预训练,并引入人在回路中的偏好学习,提升了社会合规性和反事实推理能力。仿真实验中成功率达42%,路线完成率66%,真实世界实验中干预率降低40.0%,非干预率降低52.1%。
本文提出G-MAPP框架,利用GPU加速世界建模和基于向量场的规划,实现高达5倍的加速,并紧密耦合感知-行动循环,用于非结构化环境中的实时反应式运动生成。在7自由度Franka Emika机器人上的实验验证了其有效性。
本文提出Foresight框架,通过微调视觉语言模型在测试时迭代推演与修正运动规划,实现稀疏语言指令下的无地图导航。该方法利用人类反馈学习奖励模型并强化学习后训练,在真实环境中任务成功率提升37%,干预次数减少52%。
一种名为AEM的预训练框架,通过从视觉-动作历史中学习紧凑的时间表示,在仿真和现实世界的操作任务中优于基线方法。
本文展示了通过模仿学习端到端训练的视觉-语言-动作(VLA)模型能够支持协作操作。研究发现,动作分块策略存在一个失败模式——演示动作泄露,导致过早的辅助行为。提出了一种推理时转向方法用于缓解错误。16名参与者的人机协作组装任务实验表明,转向方法能够实现更长的执行视野、更快的协作速度和更少的失败。
VLADriveBench是一个新框架,用于评估视觉-语言-行动(VLA)模型中思维链(CoT)推理与驾驶轨迹之间的相关性、一致性和因果关系。它结合了观测指标(提及、幻觉、矛盾、行动对齐)和CoT干预协议。应用于三个模型后,发现观测分析与因果分析可能截然不同:ORION在观测对齐上得分最高,但其CoT是附带现象;而Alpamayo v1.5得分较低,但其CoT具有很强的因果性,视觉显著性调节了CoT的影响程度。
SalArt-VQA是一个用于评估视觉语言模型(VLM)对AI生成图像中伪影的细粒度理解能力的诊断基准。它包含950张图像和3681个人工编写的多选题,覆盖存在检测、语义定位、空间定位和基于证据的缺陷识别。通过对20个VLM的测试,该基准揭示了图像级检测准确性所隐藏的失败模式,例如最强模型在伪影图像上的检测召回率达到99.37%,但仅有53.26%的图像能正确回答所有四个伪影相关问题,表明高检测准确率并不等同于真正的伪影理解。
本文提出高效持续对齐(ECA)方法,用于开放图像到文本生成中的增量学习。通过引入持续对齐概念和三个核心机制(查询混合模块、费舍尔动态扩展、字典回放),ECA在不依赖旧数据的情况下有效缓解灾难性遗忘,并在新基准上取得优异性能。
提出一种名为上下文中心特征融合(CCFF)的新型框架,通过局部上下文融合模块(LCFM)和全局上下文注意力模块(GCAM)处理自动驾驶中共同目标的检测问题。在Cityscapes和BDD100K数据集上,类别级一致性策略(CCS)分别达到0.973和0.969,小目标检测AP_S提升14.1%,并成功恢复稀有类别如“火车”。框架支持实时处理,仅增加0.2 FPS开销。
本文提出双状态槽注意力(DSSA),一种完全自监督的视频对象中心学习框架。DSSA将每个槽分解为局部状态(每帧外观)和身份状态(时间稳定对象信息),通过竞争调制聚合(CMA)减少弱匹配槽的虚假更新,从而解决现有方法中因单一槽向量编码外观与身份导致的槽交换问题。实验表明,DSSA在MOVi-C、MOVi-D和YouTube-VIS上持续提升了分割质量和时间一致性,并在下游任务中表现更优。
医学大型视觉语言模型(LVLMs)在医学影像任务中表现优异,但仍存在事实不一致、视觉基础薄弱等问题。现有对齐方法在医学领域有三大局限:序列级奖励信号无法区分关键临床标记;依赖静态监督微调导致分布偏移;缺乏显式视觉约束。本文提出一种细粒度、在策略的对齐框架,利用双向逐词KL正则化器和视觉对比基础目标,通过最小限度编辑模型输出构建偏好对,仅纠正临床错误部分,同时保持语言风格。实验验证了该方法的有效性。
少步扩散蒸馏在4-8步生成中已日趋成熟,但进一步推至2步仍具挑战。本文介绍Z-Image Turbo++,一个从8步Z-Image Turbo教师模型蒸馏而来的高质量2步图像生成模型,通过三个关键设计:分布对齐对抗学习、步解耦参数化、以及带有迭代正则化的端到端训练,显著缩小了2步与8步生成之间的质量差距。
提出了一种名为HairPort的3D感知发型迁移框架,能够处理大姿态和尺度差异,通过显式分离移除和迁移,并在合成前强制执行几何一致性。
本文提出一种基于AMD Kria K26 SOM的低功耗、便携式跌倒预测与检测系统,利用Intel RealSense D455相机捕获RGB和深度图像,通过量化YOLOX、Anchor-to-Joint(A2J)和CNN三级流水线实现隐私保护的实时跌倒检测。系统在边缘设备上运行,无需云端依赖,适用于老年人监护。实验表明,多线程流水线帧率达4.5 FPS,YOLOX、A2J和CNN精度分别为74%、84.13%和75.85%。
该论文通过多智能体模拟解释了形态交替(如英语“go”的过去式“went”)的出现和持久性。交替形式源于音系变化或词汇变体,并通过群体传播动态扩散。为评估生成形态的真实性,作者引入了AI历史语言学家——一个由大语言模型驱动的辩论系统,比较真实与模拟形态。结果表明,无标度社交网络和随机伯努利采纳有助于产生更合理的形态。三个案例研究验证了替代历史情景。
AfriSUD是首个大规模九种非洲语言句法标注树库集合,采用SUD框架,由社区推动并由母语者验证。评估多种模型后发现显著的句法差距,现有架构难以充分捕捉非洲语言的结构多样性。
该研究对潜在推理模型(LRM)中的可观察模式进行了因果与几何分析,发现如BFS前沿和可解码算术计算等模式在控制组中也出现,且并非总是因果影响行为。因果干预揭示潜在思考的利用是分级的,几何分析显示效应集中在低秩方向。结论:可观察模式不能作为内部推理机制的证据,LRM可解释性需要匹配的控制组和因果测试。
一项新研究提出了MentalMARBERT,这是MARBERT的领域自适应版本,用于从阿拉伯语社交媒体文本中检测心理健康障碍。采用自适应预训练和分层微调的两阶段框架,该模型在一个包含50,670条推文(涵盖六个类别)的新数据集上实现了0.861的宏F1和0.877的准确率,达到了最先进水平。
购物推理基准(Shopping Reasoning Bench)是一个由零售领域专家创建的新基准,包含525个任务(232个单轮、293个多轮)和10863条重要性加权的二元评分标准,旨在评估对话式购物助手在偏好细化、权衡分析和兼容性评估等多轮推理能力。测试结果表明,GPT、Claude和Gemini等顶级模型的整体通过率仅为57-77%,且在多轮任务中表现显著下降,表明当前模型在提供专家级建议方面仍有较大差距。