Office Comprehension Bench (OCB) 是首个公开基准,用于评估大型语言模型在Word、Excel和PowerPoint原生文件格式上的理解能力。它包括两个测试轨道:文件保真度问答和领域问答。即使最先进的系统在默认推理模式下也仅达到约59.3%的准确率,提升思考深度效果有限,而升级产品层级能带来适度改善。研究团队已发布数据集、评估工具和排行榜。
AI 新闻实时情报
实时监测
实时更新
实时跟踪可信来源,保留出处、权限和站内阅读模式,把噪声压成可读情报。
实时更新
研究人员提出RAGP,一种新的提示压缩方法,将文本建模为多重图,并利用莱维游走进行高效剪枝。在LongBench上以4倍压缩比平均得分49.3,优于现有基于LLM的方法。
该论文揭示了基于计数的F1指标在评估LLM错误检测时可能因提示框架而产生显著虚高(称为F1膨胀),并引入ErrorBench压力测试协议。实验表明,锚定提示可导致高达0.79的F1膨胀,建议评估应避免预置错误计数并报告跨度感知指标。
最新研究发现,BPE分词会将安全关键词拆分为子词单元,导致大语言模型的安全对齐机制失效。攻击方法可在80-100%的拒绝提示上翻转首个令牌的拒绝触发,其中48%产生有害输出。防御尝试中,DPO无法稳定关闭攻击成功率,SFT虽然有效但导致全局拒绝率上升。研究引入了Conv-Benign诊断方法以区分选择性修复与全局崩溃。
本文提出SPARCLE,一种说话人感知的字母表示模型,通过对比学习将字母与对应的Wav2Vec2声学表示对齐,同时考虑说话人身份。该模型可在低资源场景下替代传统的音素到文本(G2P)系统,将词错误率降低一半。
本文提出Kara,一种滑动窗口KV缓存压缩方法,通过仅在最近生成的上下文上操作并进行解码时压缩,利用双向注意力机制评分和选择信息性KV对,并设计Token2Chunk模块灵活保留重要语义信息。实验表明,Kara和基于vLLM的推理框架KvLLM显著降低了KV缓存内存使用并提高了输出吞吐量。
本文提出一种基于溯源分析的框架,用于检测大型语言模型代理在调用工具时是否与用户意图对齐。研究者开发的ProvenanceGuard流水线在工具执行前分析三种类型的对齐偏差,在Agent-SafetyBench和WorkBench基准测试中,将错误率从42.9%降至1.8%和从32.1%降至17.3%,同时将对齐轨迹的干预负担从30.5%降至12.8%。
TokenScope 是一款面向解码器型 LLM 的交互式可解释性工具,能在代码生成过程中提供词元级度量、注意力模式和结构信息,支持词元替换、反事实分支和基于抽象语法树的代码感知聚合。
本文提出了一种利用图像和事故报告等多模态数据进行铁路道口安全评估的AI系统原型,通过视觉语言模型实现风险分类和安全评分,性能接近专家水平。
研究提出NightVision攻击,即使在仅返回单个logit且无法偏置logit的受限API下,也能以较低误差率推断大型语言模型的隐藏维度、深度和参数数量。
赵志林的新专著提出了一个统一的、面向证明的现代深度学习理论,连接了经典的近似、优化和泛化与现代主题如过参数化、Transformer、上下文学习、缩放定律和涌现。
研究人员提出了一种结合稀疏随机投影和多项逻辑回归的机器学习方法,用于DNA甲基化数据的中枢神经系统肿瘤分类。在参考队列中达到96%准确率,在独立临床队列中达到86%(91类)和93%(家族级),较现有技术提升4-5个百分点,具有临床意义。
IonSense-QKG 为公共锂离子电池数据集添加量子相关元数据,并引入量子就绪评分,帮助研究者选择适用于混合量子-经典机器学习的数据库。该框架支持基于查询的发现,为数据驱动的量子电池分析提供可复现的基础。
本研究系统刻画了多探针网格算法在高维空间中的性能,发现其在GloVe嵌入上表现出独特的维度缩放交叉现象,与其他方法相比具有恒定维度指数、近线性查询缩放和更低索引成本的优势,对高效Transformer架构设计具有指导意义。
本文提出一种基于领域知识的图卷积网络方法,通过引入PRQST关键点作为领域知识,并利用双流有向图建模心电周期内和周期间的复杂关系。在首届中国心电图智能竞赛数据集上,该方法整体平均F1分数达88.1%,罕见类别平均F1分数为76.3%,均优于现有最先进模型。
本文研究编程示例系统的对抗性鲁棒性,提出一种新攻击模式:对手观察合成器并选择最有害的示例进行破坏。作者形式化了有限版本空间下的最坏情况破坏,实现了精确搜索和启发式搜索,并引入版本空间分区聚合(VPA)防御。实验表明,低裕度任务存在随机噪声评估忽略的对抗鲁棒性维度,而VPA仅在清洁语义保持分区投票裕度时有效,这在现实任务中常失败。
本文提出I²RiMA网络,通过在每个频率点独立构建空间协方差矩阵并映射到SPD切空间,结合频率聚类聚合和帧间注意力模块,有效提升了跨被试脑电图压力检测的准确性。在三个数据集上达到82.78%的平衡准确率,且参数量仅1.60M。
该研究提出了一种多层Q矩阵嵌入神经网络(M-QCDNet),将认知诊断模型的结构可解释性与深度学习神经网络相结合。M-QCDNet使用Q矩阵作为结构先验来组织项目-技能关系,确保潜在掌握特征可解释且符合认知理论,并通过带L2惩罚的损失函数平衡预测性能和结构对齐。还开发了可解释对齐指标来量化预测技能激活与项目级技能的对应程度。M-QCDNet在课堂实践中具有实际益处,能够早期发现学习困难并支持基于掌握的干预。通过将诊断有效性嵌入模型设计,M-QCDNet弥合了心理测量透明性与神经灵活性之间的鸿沟,推进了可解释、公平且可操作的AI认知诊断。
提出程序性记忆蒸馏(PMD)方法,利用强化学习中跨回合的失败模式、成功策略等信息,构建三层抽象的记忆,并通过记忆条件的自我教师蒸馏到策略中,在多个基准上超越现有方法。
该研究审计了MedAgentBench v1/v2,发现41.7%的静默完成上限,并构建了MAB-v3(508个任务,8.9%上限)。使用Qwen3-8B训练揭示了两个结构性障碍:能力上限和格式知识障碍。纯强化学习达到18.2%的pass@1,而基于规则的SFT为34.1%,差距完全归因于这些障碍。研究提出了决策/格式知识/查找分类法来预测强化学习的可学习性。
本研究探索使用可验证奖励的强化学习(RLVR)在特定企业SaaS工作流中训练小语言模型,以解决传统下一个词预测的局限性。在模拟Jira和Confluence API的五种合成环境中,RL训练的模型在四个非退化场景中平均奖励从0.35-0.92提升至0.95-1.00,尤其是在Confluence页面创建任务中从0.35提升至1.00。但手动设计可验证奖励难以扩展,且存在奖励饱和问题。
研究团队将混合专家扩散语言模型DiffusionGemma-26B应用于医学视觉问答,并与其自回归版本Gemma-4-26B对比。扩散模型在所有指标上匹配或超越自回归模型,解码速度快3.5-4.4倍,且具备任意顺序填充能力,特别适合放射科医生交互式起草报告,而自回归模型在此任务上表现不佳。
CreativityNeuro是一种无需数据的方法,通过对比权重引导增大大语言模型的发散思维,在多项创造力测试中将性能提升多达14个人类百分位点,并显著减少模式崩溃。
本文提出了一种难度路由服务控制架构,用于自主客服代理在执行退款、取消等操作任务时,通过轻量级路由器将复杂请求分流至升级工作流,集中进行冲突感知沟通和写前重新考虑,从而在保持常规服务高效的同时防止操作错误。在零售和航空任务上的评估显示,该方法能显著提升可靠性,且改进并非来自无差别的交互扩展。
针对大型复杂代码库摘要难题,研究人员提出Agent4cs多智能体框架,采用自底向上的方式,通过摘要、关键词提取和质量保证三个智能体协同工作,在7个前沿模型上平均提升语义一致性8%,关键词覆盖率最高提升38%。
Wiola是一种全新的小型语言模型架构,从基本原理设计,与GPT、LLaMA、Mistral或Falcon等现有模型无结构关联。它引入了五种独立创新的组件:螺旋旋转位置编码(SRPE)、门控跨层注意力(GCLA)、自适应令牌合并(ATM)、双流前馈(DSFF)和WiolaRMSNorm归一化。模型提供四种规模(120M、360M、700M和1.5B参数),完全兼容HuggingFace Transformers生态系统。
Auto-FL-Research (AFR) 是一个约束编程代理工作流,用于自动搜索联邦学习算法。它在五个医疗保健FLamby任务和六个LEAF数据集上进行了评估,显示在多个任务上取得了提升,但也揭示了种子敏感性和搜索选择的失败案例。
本文介绍了PACE,一个模块化的神经符号框架,用于生成考虑可行性的反事实解释。该框架将预测和推理分离,使用神经网络进行分类,并用符号推理层施加领域约束,确保解释的合理性和可操作性。在Adult Income数据集上的案例研究表明,符号约束能够产生更符合领域可行性要求的解释,展示了神经符号方法在可解释AI中的潜力。
本文深入调查NVIDIA DGX工作站的实际能力,揭露其748GB统一内存中仅252GB为高速HBM3e,其余为低速LPDDR5X。通过Cornell、Snowflake等使用案例和GLM-5.2等基准测试,探讨其能否承载本地前沿模型推理。
Imagent是一个将图像、视频和语音生成能力集成到AI代理工作流中的开源工具。它提供统一的CLI接口,支持多个AI提供商(如OpenAI、Google、ElevenLabs等),并管理生成的资产库,方便复用。