跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

双院模型:并行语言模型间的双向隐藏状态耦合

文章摘要

双院模型通过可训练的神经接口耦合两个冻结的语言模型,实现隐藏状态级别的连续通信,无需文本序列化。在算术、逻辑谜题和数学推理任务上显著提升性能。

来源arXiv Computational Linguistics作者: Cedric Flamant, Udaya Ghai, Kanna Shimizu
双院模型:并行语言模型间的双向隐藏状态耦合
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

当前,多模型协作和工具增强系统普遍采用文本生成作为通信媒介,每个交互步骤都需要将信息序列化为离散词汇。这种串行机制效率低下,且严重限制了信息传输的带宽和丰富度。为了解决这一问题,Cedric Flamant及其合作者提出了双院模型(Bicameral Model),通过一个轻量可训练的神经接口,在两个完全冻结的预训练语言模型的中间隐藏状态之间建立双向耦合,从而实现连续并发的隐藏状态级信息交换。

双院模型的核心由两个并行运行的模型组成:主模型专注于驱动目标任务,而辅助模型则负责操作外部工具(如计算器、约束求解器和Python沙箱)、求解约束或执行代码。在每个生成时间步,两个模型严格同步运行,并通过一个翻译网络(translation network)和一个学习到的抑制门(suppression gate)相互调节彼此的激活值。这个抑制门仅占模型总参数的约1%,却能纯粹从任务损失信号中自主学会一种选择性通信协议,无需任何预先定义的格式或语法。

研究团队在三种不同的工具后端上验证了该方法的有效性。在算术任务中,两个参数规模为0.5B的模型通过隐藏状态耦合与计算器结合,在测试集上的准确率从基线模型的36%大幅提升至96%。在逻辑网格谜题ZebraLogic上,两个0.6B模型耦合Z3约束求解器后,性能达到未增强基线的1.7倍。最令人惊叹的是在数学推理任务中,辅助模型仅通过隐藏状态信号就能生成针对特定问题的Python代码,并且在不接触问题文本的情况下成功执行。这些结果表明,隐藏状态耦合不仅能有效传递任务相关信息,还能让辅助模型在没有文本输入的情况下完成复杂的代码生成任务。

隐藏状态级通信范式从根本上改变了多模型协作的方式。传统方法需要将复杂的高维信息压缩成低维离散文本,这不可避免地导致信息损失。而双院模型允许连续、高维的隐藏状态直接传递,保留了信息的完整性和丰富性。此外,由于主辅两个模型在整个训练过程中保持冻结,仅训练微量的耦合参数,因此训练成本极低,具有很高的实际应用价值。

尽管双院模型目前仍处于概念验证阶段,但它在多个具有挑战性的任务上取得的显著改进强有力地表明,隐藏状态耦合可能成为未来多模型系统和工具增强人工智能的关键使能技术。研究团队已公开论文全文和代码,以鼓励学界进一步探索这一方向。

展开要点与分析

文章情报

工程师进阶

要点

  • 两个冻结的语言模型通过隐藏状态耦合,实现连续并发通信
  • 辅助模型可操作工具、求解约束或执行代码,与主模型同步运行
  • 在算术任务中准确率从36%提升至96%,逻辑谜题性能提升1.7倍
  • 仅需约1%的额外参数,门控机制从任务损失中学习选择性通信协议

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。