跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

AI Mindmeld:一种潜空间互连协议

文章摘要

研究人员提出潜空间互连协议(LIP),通过独立训练的连接器把蛋白质和小分子专家模型的内部表示直接映射进大语言模型内部状态,从而绕过以文本等多模态格式传递信息的瓶颈。他们在冻结的Gemma 3与Kimi K2.6上验证了跨领域零样本迁移和组合能力,同时指出当前LLM尚未针对专家表示进行原生训练,可靠理解与推理仍是主要局限。

来源arXiv Machine Learning作者: Siavash Golkar, Jake Kovalic, Shirley Ho
AI Mindmeld:一种潜空间互连协议
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 10 月 21 日(周三 15:47:56 UTC,1,304 KB)收录了预印本论文《AI Mindmeld: A Latent Interconnect Protocol》(AI 心灵融合:一种潜在互连协议),作者为 Siavash Golkar 及另外两位合著者,编号 arXiv:2610.30215v1,主分类为机器学习(cs.LG),交叉分类包括生物分子(q-bio.BM)与机器学习统计方向(stat.ML)。DOI 为 https://doi.org/10.48550/arXiv.2610.30215,由 DataCite 发放,目前尚待注册。

论文的问题起点是:大语言模型已经可以作为科学智能体,通过调用工具咨询领域专家、运行实验。但专家信息必须以文本、图像、音频或视频等形式进入模型的上下文,这就形成了拥有丰富高维表示的模型之间的瓶颈。作者主张直接的表示交换,即一种“心灵融合”(mindmeld),它传递的不只是单一结果,而是包含许多属性的信息,其中甚至包括 LLM 自己不会想到去请求的信息。作者为该机制提出三项要求:可扩展到新的专家模型;能灵活应对不同问题与任务;以及在多个独立连接的专家之间具备组合性,且无需联合训练。

为此,作者提出潜在互连协议(Latent Interconnect Protocol,LIP),学习将专家表示映射到 LLM 内部状态的连接器(connector),并且只训练连接器。作者强调,这种设计随 LLM 规模增长与迭代演进仍具实用性,因为预训练模型本身无需改动。

实验设置方面,研究者将三个蛋白质专家模型与三个小分子专家模型连接到 Gemma 3(40 亿与 120 亿参数两个版本)以及 Kimi K2.6(总参数 1 万亿、激活参数 320 亿),并冻结所有预训练模型。实验显示,独立训练出的连接器能够提供有用信息,既不改变 LLM,也不影响已有的连接器,并且支持针对未见对象提出熟悉的问题类型与全新的问题类型。作者还展示了在无联合训练条件下向跨领域任务的零样本迁移。总体而言,任务性能与组合性随 LLM 能力提升而改善,零样本任务迁移上的增益尤为明显。

作者也明确列出局限:当前 LLM 并非以专家表示为原生输入训练而成;仅仅获得这些表示的访问权限,并不保证模型能可靠地解释、整合并在推理中使用它们。因此,作者呼吁专家模型开发者提供一致的表示接口,并特别呼吁 LLM 开发者训练模型去接收、组合并基于这类输入进行推理。作者认为,这些努力可以扩展科学智能体可获取的信息,同时保留传统工具的灵活性。数据、预训练连接器以及用于训练、评估和交互式推理的代码已在 https://github.com/PolymathicAI/AI-Mindmeld 公开。

展开要点与分析

文章情报

工程师进阶

要点

  • LIP只训练连接器,冻结全部预训练模型,使方法在LLM持续演进时仍具实用性
  • 将三个蛋白质专家与三个小分子专家接入Gemma 3(4B、12B)和Kimi K2.6(1T总参数、32B激活)
  • 独立训练的连接器可在不联合训练的情况下实现跨领域任务的零样本迁移与组合
  • 局限在于LLM未将专家表示作为原生输入训练,获取信息不等于能可靠解释和推理

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。