生成模型 / ICLR 2025
DisBack
改进扩散模型的蒸馏方法，使模型训练更快收敛。
研究问题
扩散模型通常需要多步采样才能生成图像。蒸馏可以把教师模型的能力迁移到一步生成器，但教师与学生之间的分布差异会影响训练。DisBack 关注如何为学生建立更有效的收敛路径。
研究方法
DisBack 从教师模型到学生生成器的退化过程中记录中间分布，再训练学生沿反向路径回溯。将这一回溯路径用于蒸馏训练，帮助学生生成器更快收敛。
实验结果
实验比较了蒸馏训练的收敛速度与图像生成质量。DisBack 在 ImageNet 64×64 数据集上取得 1.38 的图像生成质量指标 FID（数值越低越好），并可结合已有蒸馏方法使用；论文报告了更快的收敛及相当或更好的生成表现。