跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

将图像风格训练压缩为单次模型前向传播

文章摘要

研究者提出 i2L(image-to-LoRA)框架,可在单次前向传播中根据一到多张参考图像直接预测 LoRA 权重,从而免去每种风格单独优化的过程,并在 Z-Image、FLUX.2 与 Hidream-O1 上提升风格保真度、提示对齐与感知质量。

来源arXiv Computer Vision作者: Zhongjie Duan, Yingda Chen
将图像风格训练压缩为单次模型前向传播
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

基于扩散模型的风格迁移一直面临一个两难:推理效率与风格化保真度难以兼顾。适配器类方法虽然高效,但它们把风格作为外部条件注入,结果要么削弱参考图像特有的外观,要么把参考图像中的语义内容直接复制进生成结果。相比之下,LoRA 这类基于优化的个性化方法能更有效地把风格内化到模型之中,却需要为每一种新风格单独执行一次训练过程。

针对这一矛盾,Zhongjie Duan 与 Yingda Chen 在 2026 年 6 月 11 日提交至 arXiv 的论文中提出了 i2L(image-to-LoRA)框架。其核心思路是把风格 LoRA 的训练过程摊销到单次前向传播中:给定一张或多张参考图像,i2L 直接为文本到图像模型预测对应的 LoRA 权重,使风格可以在无需逐风格优化的情况下即时实例化。

在架构上,i2L 由三部分组成:一个图像编码器负责提取参考图像的表示,一组可学习的 LoRA 查询用于与这些表示交互,以及压缩解码头负责生成适配后的矩阵。这样的设计让模型不必真的执行梯度优化,而是通过学习到的预测器直接输出 LoRA 参数。

训练策略同样是该方法的关键。作者在语义多样的风格对上训练预测器,目的是让模型学会在保留参考图像外观线索的同时,抑制把参考内容本身复制到生成图像中的倾向。这一点正是适配器方法常见的失败模式,因此该设计直接针对已有方法的短板。

实验方面,研究者在 Z-Image、FLUX.2 和 Hidream-O1 三个模型上进行了验证。结果显示,与现有基线相比,i2L 在风格保真度、提示对齐以及感知质量上均有提升。

由于 i2L 产出的是显式 LoRA 权重,它还带来了额外的好处:支持非对称的无分类器引导(asymmetric classifier-free guidance)、多参考图像的风格融合,以及与其他可控生成模块组合使用。论文共 11 页、含 9 幅图,归入计算机视觉与模式识别(cs.CV)分类,编号为 arXiv:2606.13809。

展开要点与分析

文章情报

工程师进阶

要点

  • i2L 将风格 LoRA 训练摊销为一次前向,无需为每种新风格单独训练
  • 架构由图像编码器、可学习 LoRA 查询与压缩解码头组成
  • 在语义多样的风格对上训练,以保留外观线索并抑制参考内容被复制
  • 显式 LoRA 权重支持非对称无分类器引导、多参考风格融合及与可控生成模块组合

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

将图像风格训练压缩为单次模型前向传播 | AI News Hub