研究比较了稀疏自注意力中四种设置深度方向alpha的方法,发现静态每层交错调度在困惑度上优于固定和学习方法,且所有稀疏变体可外推至训练长度四倍,而密集基线崩溃。
AI 新闻实时情报
实时监测
实时更新
实时跟踪可信来源,保留出处、权限和站内阅读模式,把噪声压成可读情报。
实时更新
本文介绍了一种新型稀疏自编码器——轮次平均SAE,它通过重构整轮对话的平均模型激活,将每轮对话表示为固定数量的特征,从而解决标准SAE在长上下文中特征数量线性增长的问题。实验表明,轮次平均特征比逐词特征更完整地描述单轮对话的高层特征,并简化了归因图等下游应用。
研究人员通过在美国法院意见数据上进一步预训练ModernBERT,提升了其在法律领域的性能。实验表明,尽管ModernBERT的预训练数据量是原始BERT的500倍,但领域适应仍带来显著改进,且从零预训练不如在现有检查点上继续预训练。模型支持长达8192个token的序列,可用于法律文本的嵌入或排序。所有检查点已公开。该成果将发表于ICAIL 2026。
该研究引入了包含240次学生-患者培训互动的法语OSCE对话数据集,并基于此构建了一个可控的LLM管道,用于生成合成OSCE对话。该管道集成检索基础和反思循环等模块组件,确保患者保真度、连贯性和真实性。此外,还提出了一个多级评估框架,使用LLM作为评判器评估患者模拟质量、学生表现和语言质量。实验表明,可控性模块通常改善了患者保真度和学生评估一致性。最后,实现了一个交互式原型,学生可与虚拟患者练习并获得自动反馈。
本研究采用发展视角,追踪Olmo2和Pythia语言模型在多个训练阶段中心理状态推理行为的模式及前提条件。研究发现,错误信念任务(FBT)的超越随机水平表现依赖于模型规模和足够的训练量,在预训练后期出现,并通过后训练干预(SFT、DPO)得到最大提升。然而,FBT表现脆弱,非事实动词的使用会增加错误信念归因。情境建模能力通常先于并优于FBT,但在某些方面出现不一致性。结果表明,大型训练充分的模型能够发展出部分一致的情境模型,但仍表现出惊人的脆弱性。
本文提出了一种从阿拉伯语-英语Al-Mawrid词典的机器可读版本中自动提取词汇信息的方法。该方法结合n-gram分析和关键词索引(KWIC)分析发现形态、句法或语义模式,并通过手工规则进行信息抽取。实验表明,该方法在所有信息类型上精度高,同义词召回率高,其他信息召回率低。研究发现Al-Mawrid词典含有大量派生词、同义词、领域标签和上下位关系。
经典的语言识别极限范式将学习建模为对抗者与学习者之间的游戏。新的语言生成极限框架要求学习者生成有效的、未见过的目标语言字符串。本文引入了精确度的新概念,将问题重述为经典的召回率-精确度权衡。关键贡献是分析了并非最终有效的学习者:允许无限多的错误,只要其频率趋于零,从而保持精确度为1。这种放宽可以在对抗者永久保留大部分目标语言时严格提高召回率。还研究了新颖性约束的连续放宽。结果朝着更现实的生成模型迈进,其中偶尔的错误和重复是不可避免的,但速率可控。
该研究展示了情感效价如何影响儿童识别记忆的顺序依赖结构:正确回忆一系列带有情感色彩的玩具不仅取决于玩具本身的情感效价,还取决于它前后玩具的效价。传统心理模型准确率较低,而引入效价的经典张量网络模型达到了77.98%的准确率,显示了量子启发方法在建模顺序依赖现象(如情感记忆)中的价值。此外,该研究提出了一种新颖的、用于探索儿童情感时间记忆的真实世界工具。
本文提出一种端到端智能体管道,结合深度时间序列预测、变分异常检测和LLM推理,为办公楼设备级能源监控生成可操作的维护建议。系统使用混合SSA-LSTM预测模型和每设备LSTM VAE注意机制检测异常,并通过三阶段LangChain管道(上下文、诊断、报告智能体)生成诊断,配备动态检索减少上下文开销。在16个场景的基准测试中,最佳后端得分90.4/100,本地7B模型通过所有场景。
一篇新论文将奇异学习理论应用于深度单项网络,表明临界点对应于子网络,从而为神经网络倾向于更简单函数的隐式偏差提供了数学解释。
针对回归任务中数据稀缺和噪声问题,提出了一种模型无关的反事实残差数据增强方法(CRDA),通过利用残差不变性生成新样本,在多个基准数据集上使MLP回归器的均方误差平均降低22.9%,XGBoost回归器降低6.4%,优于现有方法。
经典万能逼近定理证明了Sigmoid多层感知机的表达能力,但未规定如何初始化权重以编码数据分布的几何结构。本文提出S-GAI,一种针对单隐层Sigmoid MLP的谱几何感知初始化框架。该框架利用SVD为每个类别估计均值、主方向和谱尺度,通过能量阈值选择保留方向,并每个方向用两个Sigmoid门表示。这些类别特定的门构成共享的隐层,直接从训练集初始化。实验表明,S-GAI初始化的MLP比Xavier初始化具有更丰富的隐藏状态,在完全训练下达到相近的最终精度;冻结隐层时,只训练输出层仍优于冻结随机门。
提出了一种新的在线分布式感知框架,结合部分领域知识和深度神经网络,无需噪声统计信息即可进行潜在状态估计。CA-NKCF在多种环境下优于传统方法,且对模型误指定具有鲁棒性。
本文是一篇立场论文,指出强化学习研究中有两种使用模拟器的方式:解决模拟器本身,以及将模拟器作为实际部署的代理。作者通过示例和实验表明,混淆这两种用法会导致误导性结论,并呼吁社区明确区分二者的使用方式。
一篇预印本证明,在没有中央协调的自主智能体网格中,每个智能体的基质必须属于连续时间液态类,才能最优处理不规则、异步的观测。识别出两个必要条件:自适应时间尺度和对间隔时间的敏感性,这些是规模无法弥补的。
现有图像生成基准无法评估科学图表的可用性。SciDraw-Bench提出了32个任务,涵盖8种图表类型和10个学科,并采用四维评估协议。实验表明,领域专用系统SciDraw AI在所有维度上均优于通用模型,文本保真度仍是最大挑战。
本文运用进化博弈论模型,分析了在竞争市场中,一个以最小化伤害为策略的AI智能体如何取代以寻求批准为目标的RLHF智能体,并探讨该策略在何种条件下足以防止社区伤害。研究发现,当社区情感先验分布满足单调性、端点反转和中心对称配对性质时,采纳更易发生。存在一个关键采纳水平,高于该水平时,审计智能体将固定下来并主导社区。然而,即使有自我审计,如果审计与社区价值观不一致或评估伤害的时间框架不当,该策略仍可能无法防止伤害,甚至可能变成福利陷阱。
在大型语言模型对齐中,无评论家强化学习(如GRPO)可节省内存和计算,但其优势估计依赖组内奖励统计,当组内所有轨迹获得相同奖励时可能失效。本文提出BV-Blend框架,通过结合提示局部统计和语义簇的历史时刻,利用标准误差代理的置信权重进行混合,稳定了优势估计。实验表明BV-Blend在可验证推理基准上提升了训练稳定性和性能,尤其是在组归一化方法可能停滞的场景下表现鲁棒。
COMPASS 是首个将构图意图控制融入单一系统的统一多模态框架,通过共享专家令牌 τ_c 实现构图感知与生成。它基于混合专家模型注入构图知识,并将推理出的意图蒸馏到 τ_c 中,在生成端将其作为全局条件信号引导去噪过程。配套的 Comp-11 数据集包含 11 类分类和推理增强标注,支持大规模训练和评估。实验表明,COMPASS 在类别级构图理解和生成一致性上显著优于现有方法。
研究人员推出了ATHENA-R1,一种基于强化学习的AI代理,能够在212种生物医学工具中自主进行治疗推理。在多项基准测试中,其准确率显著超过GPT-5,并得到专家和医生的积极评价。
VirtueMap是一个基于亚里士多德美德伦理的框架,用于分析大型语言模型在伦理困境中的表现。它使用七个通用困境,要求对五种回应按美德排序,并通过100多名评估者确认(95%一致性)作为基准。对九个LLM家族的评估显示平均排名一致性为90.3%,在勇气、节制和正义方面差异最大。
当前增强大语言模型推理的方法,如思维链和“等待”提示,主要鼓励模型多思考,但往往未能引导它们走向真相。本文通过研究推理链中的真相几何,提出了DynaSteer框架,一种动态表示编辑方法。该框架利用模式聚类和Fisher-LDA,通过动态监测前瞻熵,选择性地引导和回滚轨迹,在MATH基准和跨领域编码任务上验证了有效性。
IMCBench是一个新的基准测试,用于评估多模态大语言模型在图像辅助的医学对话中的表现。它结合真实临床图像和合成患者档案,模拟多回合医患互动,并从安全性、准确性和不确定性使用三个维度进行评估。结果表明,Claude Opus 4.6以3.61分领先,但所有模型在恶性或罕见疾病上安全性下降,且视觉输入和电子健康记录上下文对安全指导至关重要。
研究人员提出GPTNT基准测试,基于合作游戏《保持通话,无人爆炸》,评估多模态AI智能体在实时协作中的表现。测试发现,当前最先进的模型无一能在实时中成功拆弹,而人类玩家可以。该基准测试通过控制指令手册和伙伴的可用性,将协作从记忆依赖中分离出来,并揭示了模型在状态跟踪、时间压力下的行动效率、歧义处理和错误恢复方面的关键弱点。
一种名为'能力切片'的新方法,通过将评估样本分组(背景条件、任务类型、求解操作和输出约束),填补了大语言模型预训练中评估与数据之间的鸿沟,使从基准测试失败到数据干预的推理变得系统化。两个案例研究验证了其有效性:一是诊断出BBH下降源于掩码EOS损失而非推理能力减弱,二是通过针对性采样将AIME2025/2026的Pass@128从6.67/0.00提升至26.67。
研究人员提出RSEA,一种递归自演化智能体,通过演化压缩的自然语言状态来改进LLM智能体,无需更新权重。它使用严格的保留集选择门,在部分基准测试上超越基线,同时防止性能崩溃。研究表明没有普遍最优的工件,并警告无保护的上下文演化的风险。
2025-2026年间,传统软件开发范式终结。手工编码、死记硬背和狭隘专业化价值归零。新稀缺能力是广泛思考、设定方向、解决未定义问题并与智能体协作。以资历和面试流程招人的公司已过时。未来属于具备判断力、愿景和增强协作能力的“操作者”。我们正在打造连接顶尖操作者与需求方的市场,基于作品而非出身。
这篇综述论文探讨了基于基础模型的智能体中记忆的核心作用,提出了一个从形式、功能和动态三个维度分类记忆的统一框架,并总结了当前研究、基准测试和开源框架,展望了未来方向。
Snap to AI 是一款 macOS 小工具,允许用户通过快捷键截取屏幕并立即发送到 Claude、ChatGPT、Gemini 等 AI 工具。支持原生应用和浏览器,提供终端模式,隐私安全,一次性购买 $9。
这是一个免费的AI工具集,专为桌面角色扮演游戏主持人设计。它能够快速生成故事、NPC、任务钩子、战役剧情等内容,无需注册即可使用,并支持战役记忆功能。