机械之心报道

编辑：陈萍

这段时间，大神何恺明真是接连一直地宣布新研究
。

这不，5 月 19 日，他又放出一篇新作！作者团队来自 CMU 以及 MIT
。

论文问题：Mean Flows for One-step Generative Modeling论文地点：https://arxiv.org/pdf/2505.13447v1

文章提出了一种名为MeanFlow的单步天生建？蚣，通过引入平均速率（average velocity）的看法来刷新现有的流匹配要领，并在 ImageNet 256×256 数据集上取得了显著优于以往单步扩散 / 流模子的效果，FID 分数抵达 3.43，且无需预训练、蒸馏或课程学习
。

天生模子旨在将先验漫衍转换为数据漫衍
。流匹配提供了一个直观且看法简朴的框架，用于构建将一个漫衍传输到另一个漫衍的流路径
。流匹配与扩散模子亲近相关，但关注的是指导模子训练的速率场
。自引入以来，流匹配已在现代天生模子中获得普遍应用
。

本文提出了一种名为 MeanFlow 的理论框架，用于实现单步天生使命
。其焦点头脑是引入一个新的 ground-truth 场来体现平均速率，而不是流匹配中常用的瞬时速率
。

文章提出使用平均速率（在时间距离内的位移与时间的比值）来取代流匹配中通常建模的瞬时速率
。然后本文推导出平均速率与瞬时速率之间保存一个内在的关系，从而作为指导网络训练的原则性基础
。

基于这一基本看法，本文训练了一个神经网络来直接建模平均速率场，并引入损失函数来奖励网络知足平均速率和瞬时速率之间的内在关系
。

本文进一步证实，该框架可以自然地整合无分类器指导（CFG），并且在采样时无需特殊本钱
。

MeanFlow 在单步天生建模中体现出了强盛的性能
。在 ImageNet 256×256 数据集上，仅使用 1-NFE（Number of Function Evaluations）就抵达了 3.43 的 FID 分数
。这一效果显著优于之前同类要领的最佳水平，相对性能提升抵达 50% 到 70%（见图 1）
。

别的，MeanFlow 是一个自成一体的天生模子：它完全重新最先训练，没有任何预训练、知识蒸馏或课程学习
。该研究大幅缩小了单步扩散 / 流模子与多步研究之间的差别
。

要领先容

MeanFlow 焦点头脑是引入一个代表平均速率的新场
。

平均速率 u 可体现为：

其中，u 体现平均速率，v 体现瞬时速率
。u (z_t,r,t) 是一个同时依赖于 (r, t) 的场
。u 的场如图 3 所示：

平均速率 u 是瞬时速率 v 的函数，即，它是由 v 诱导的场，不依赖于任何神经网络
。

进一步的，为了获得适合训练的公式，本文将 Eq.(3) 改写为：

然后双方对 t 求导，把 r 看作与 t 无关的变量，获得：

其中左侧的运算接纳乘积规则，右侧的运算接纳微积分
。重新排列项，获得恒等式：

这个方程称为 MeanFlow 恒等式，它形貌了 v 和 u 之间的关系
。

图 1 给出了最小化损失函数的伪代码
。

单步采样

实验效果怎样？

实验是在 256×256 ImageNet 数据集上举行的
。

图 1 中，本文将 MeanFlow 与之前的单步扩散 / 流模子举行了较量，如表 2（左）所示
。总体而言，MeanFlow 的体现远超同类：它实现了 3.43 的 FID，与 IMM 的单步效果 7.77 相比，相对提升了 50% 以上
。

若是仅较量 1-NFE（而不但仅是单步）天生，MeanFlow 与之前的最佳要领（10.60）相比，相对提升了近 70%
。不难看出，本文要领在很洪流平上缩小了单步和多步扩散 / 流模子之间的差别
。

在 2-NFE 天生中，MeanFlow 实现了 2.20 的 FID（表 2 左下）
。这一效果与多步扩散 / 流模子的领先基线模子相当，即 DiT （FID 2.27）和 SiT （FID 2.15），两者的 NFE 均为 250×2（表 2 右）
。

这一效果批注，few-step 扩散 / 流模子可以媲美其多步模子
。值得注重的是，本文要领是自力的，完全重新最先训练
。它无需使用任何预训练、蒸馏或课程学习，就取得了精彩的效果
。

表 3 报告了在 CIFAR-10（32×32）上的无条件天生效果，本文要领与先前的要领相比具有竞争力
。

表 1 为消融实验效果：

最后，展示一些 1-NFE 的天生效果
。

更多详情请参阅原论文
。