2025-05-31 02:04:37 1,589次浏览

新智元报道

编辑：KingHZ

【新智元导读】何恺明团队又一力作！这次他们带来的是「天生模子界的降维攻击」——MeanFlow：无需预训练、无需蒸馏、不搞课程学习 ，仅一步函数评估（1-NFE） ，就能碾压以往的扩散与流模子！

何恺明有新论文了！

全新的天生模子MeanFlow ，最大亮点在于它彻底跳脱了古板训练范式——无须预训练、蒸馏或课程学习 ，仅通过一次函数评估（1-NFE）即可完成天生。

MeanFlow在ImageNet 256×256上创下3.43 FID分数 ，实现从零最先训练下的SOTA性能。

图1（上）：在ImageNet 256×256上从零最先的一步天生效果

在ImageNet 256×256数据集上 ，MeanFlow在一次函数评估（1-NFE）下抵达了3.43的FID分数 ，性能相比此前同类最佳要领有50%到70%的相对提升（见图1左）。

别的 ，MeanFlow训练历程从零最先 ，无需预训练、蒸馏或课程学习。

图1（左）：算力和一次函数评估FID分数

其中iCT、Shortcut和MF都是一次函数评估（1-NFE） ，而IMM则使用了两次函数评估（2-NFE）的指导战略。

详细数值见表2。

表2：ImageNet-256×256上的种别条件天生实验 ，差别模子的参数、FID得分等统计数据

值得一提的是 ，作者共有5位 ，其中4位是华人 ，均来自CMU和MIT两所顶校。

其中一作耿正阳 ，是CMU的博士生 ，在MIT会见时完成了这次研究的部分事情。

论文链接：https://arxiv.org/abs/2505.13447

在新论文中 ，研究者提出了系统且高效的一步天生建？蚣躆eanFlow。

古板Flow Matching依赖建模瞬时速率场 ，而MeanFlow首创性地引入平均速率。∕ean Velocity Field）这一看法。

平均速率是指「位移/时间距离」的比值 ，实质上是对瞬时速率在时间轴上的积分。

仅基于这一界说 ，研究者推导出了平均速率与瞬时速率之间清晰且内在的数学关系 ，这为神经网络训练提供了理论依据。

在这一基本看法之上 ，直接训练神经网络 ，对平均速率场建模。

为此 ，研究者设计了新的损失函数 ，指导网络去知足平均速率与瞬时速率之间的内在关系 ，无需引入特另外启发式要领。

由于保存明确界说的目的速率场 ，理论上最优解与网络的详细结构无关 ，这种属性有助于训练历程越发稳健和稳固。

别的 ，新要领还能自然地将「无分类器指导」（Classifier-Free Guidance ，CFG）融入目的速率场 ，在采样阶段使用指导时不会带来特另外盘算开销。

详细效果

在图1和表2（左侧）中 ，研究者将MeanFlow与现有的一步扩散/流模子举行了较量。

总体来看 ，MeanFlow在同类要领中体现显著优越：

新模子在ImageNet 256×256上实现了3.43的FID分数 ，相比IMM的7.77 ，相对提升凌驾50%；

若是仅较量1-NFE（一次函数评估）的天生效果 ，MeanFlow相比此前的最优要领Shortcut（FID 10.60） ，相对提升靠近70%。

这批注 ，MeanFlow在很洪流平上缩小了一步与多步扩散/流模子之间的性能差别。

在2-NFE（两次函数评估）设定下 ，新要领取得了2.20的FID分数（见表2左下角）。

这个效果已经可以媲美许多多步要领的最优基线。

它们都接纳了XL/2级别的主干网络 ，且NFE抵达250×2（见表2右侧）。

这进一步批注 ，少步数的扩散/流模子已经具备挑战多步模子的潜力。

别的 ，未来还能进一步提升性能。

图5：1-NFE天生效果示例

在CIFAR-10数据集（32×32）上 ，研究职员举行了无条件天生实验 ，效果列在表3中。

使用1-NFE采样时 ，他们使用FID-50K分数作为性能指标。

所有要领均接纳相同的U-Net架构（约5500万参数）。

需要注重的是 ，其他所有比照要领均使用了EDM气概的预处置惩罚器（pre-conditioner） ，而新要领没有使用任何预处置惩罚器。

在CIFAR-10这个数据集上 ，新要领在性能上与现有要领具有竞争力。

表3：CIFAR-10无条件天生效果

前身：流匹配

流匹配（Flow Matching ，简称FM）是一种天生建模范式。

Flow Matching将「一连归一化流」（Continuous Normalizing Flows ，CNFs）与「扩散模子」（Diffusion Models ，DMs）的一些要害头脑相连系 ，从而缓解了这两类要领各自保存的焦点问题。

形式上 ，给定命据x～pdata(x)和先验噪声?～pprior(?) ，可以结构一条流动路径 ，

其中t体现时间 ，a_t和b_t是预设的调理函数。

路径的速率界说为

这个速率被称为条件速率（conditional velocity）。拜见图2左侧部分。

Flow Matching实质上是在对所有可能情形的期望举行建模 ，这种平均后的速率称为边沿速率（marginal velocity）（见图2右侧）：

图2：Flow Matching中的速率场示意图。左图：条件流（ConditionalFlows）。统一个z_t可能由差别的(x,?)组合天生 ，因此会对应差别的条件速率v_t。右图：边沿流（Marginal Flows）。通过对所有可能的条件速率举行边沿化（求平均）获得边沿速率场。这个边沿速率场被作为训练神经网络时的「真实目的速率场」

图例说明：灰点体现从先验漫衍中采样获得的样本 ，红点体现来自真实数据漫衍的样本。

接着 ，学习由参数θ体现的神经网络v_θ ，来拟合这个边沿速率场 ，其损失函数为：

但由于式(1)中的边沿化历程难以直接盘算 ，因此Flow Matching提出使用条件Flow Matching损失来取代：

其中目的速率v_t是条件速率。

可以证实 ，最小化上述两个损失函数是等价的。

一旦获得了边沿速率场v(z_t,t) ，就可以通过求解下面的常微分方程（ODE）来天生样本：

初始值为z_1=? ，上述微分方程的解可以写成积分形式：

其中r体现另一个时间点。

在现实中 ，这个积分通常通过数值要领在离散时间步上举行近似。

值得注重的是 ，即条子件流被设计为「直线流动」（即所谓「校正流」） ，最终获得的边沿速率。ü(1)）往往仍会诱导出弯曲的轨迹（见图2的示意）。

这种轨迹的弯曲不但仅是由于神经网络的近似误差 ，更是源于真实的边沿速率场自己。

当对这些弯曲轨迹使用粗粒度的时间离散化时 ，数值ODE解法往往会爆发较大的误差 ，从而导致天生效果禁绝确。

MeanFlow模子

平均流（Mean Flows）的焦点头脑是：引入一个体现平均速率的新。╲elocity field） ，而古板Flow Matching所建模的是瞬时速率。

平均速率界说

平均速率被界说为两个时间点t和r之间的位移（通过对瞬时速率积分获得） ，再除以时间距离。

形式上 ，平均速率u界说如下：

为了突出看法上的区别 ，统一用u体现平均速率 ，用v体现瞬时速率。

平均速率场u(z_t ，r ，t)同时依赖于起始时间r和终止时间t ，如图3所示。

图3：平均速率场

需要注重的是 ，平均速率u实质上是瞬时速率v的泛函效果。

因此 ，平均速率场是由瞬时速率场决议的 ，并不依赖于任何神经网络。

从看法上讲 ，就像在Flow Matching中 ，瞬时速率v是训练的「真实目的场」 ，在MeanFlow中 ，平均速率u则饰演着类似的角色 ，是学习所依据的「真实速率场」。

MeanFlow模子的最终目的是：用神经网络近似平均速率场。

这样做的优势显著：一旦平均速率被准确建模 ，就可以仅通过一次前向盘算来近似整个流动路径。

换句话说 ，这种要领很是适合一步或少步数的天生使命 ，由于它在推理阶段不需要显式盘算时间积分——这是古板建模瞬时速率要领所必需的办法。

不过 ，在实践中 ，直接使用公式(3)界说的平均速率作为训练网络的「真值」行欠亨 ，由于这要求在训练时就对瞬时速率执行积分 ，盘算本钱高且不可行。

研究职员的要害看法是：可以对平均速率的界说公式举行数学变形 ，从而结构一个更易于训练的优化目的 ，纵然在只能会见瞬时速率的条件下依然可行。

MeanFlow恒等式

为了获得适合训练的形式 ，平均速率的界说公式(3)被重新改写为：

接着 ，对这个等式的双方关于t求导（把r看成常数） ，然后运用函数积的求导规则和微积分基本定理 ，获得：

整理上式 ，即可获得焦点的MeanFlow恒等式：

它描绘了平均速率u和瞬时速率v之间的实质联系。

需要说明的是 ，公式(6)与之前的积分公式(4)是等价的（详见原文附录B.3）。

在MeanFlow恒等式中 ，公式右侧给出了可以作为训练目的的形式 ，可以使用它构建损失函数 ，来训练神经网络展望u(z_t ，r ，t)。

为了构建这个损失函数 ，还需要进一步剖析其中的时间导数项。

时间导数的盘算

要盘算公式(6)右侧第二项全导数（total derivative） ，它可以用偏导数睁开如下：

将导数关系带入后获得：

这提供了另一种表达u和v关系的方法。

使用神经网络自动微分 ，在训练时高效盘算时间导数项。

使用平均速率举行训练

到现在为止 ，上述公式还没有涉及任何网络参数。现在引入可学习的模子u_θ ，并希望它知足MeanFlow恒等式（公式(6)）。

研究者界说如下的损失函数来优化网络参数：

其中 ，u_tgt是通过MeanFlow恒等式结构的训练目的：

这个目的的几个要害点如下：

训练信号来自于瞬时速率v ，不需要积分操作 ，因此相比平均速率界说式(3)更容易实现。

虽然公式中泛起了对u的偏导数 ，但现实训练中使用的是网络输出uθ的梯度（自动微分实现）。

使用了stop-gradient操作（记为sg）：这是为了阻止「二阶反向撒播」 ，从而减小优化的盘算肩负。

需要说明的是 ，纵然在优化中举行了这些近似 ，只要u_θ最终能够使损失为零 ，它就一定知足MeanFlow恒等式 ，从而也知足最初的平均速率界说。

条件速率替换边沿速率

在公式(10)中的v(z_t ，t)是Flow Matching中的边沿速率（见图2右） ，但它难以直接盘算。

因此 ，借鉴Flow Matching已有的做法 ，使用条件速率（见图2左）来替换：

这里vt=at′x+bt′?是条件速率 ，在默认设定下vt=??x。

论文链接：https://arxiv.org/abs/2210.02747

在算法1中 ，jvp操作（Jacobian-vector product）很是高效。

使用MeanFlow模子举行采样很是简朴：只需将时间积分项替换为平均速率即可 ，伪代码详见算法2。

带指导的MeanFlow

新要领能够自然支持无分类器指导（Classifier-Free Guidance ，CFG）。

与古板做法在采样阶段直接应用CFG差别 ，研究者将CFG视为底层「真实速率场」的一部分属性。

这种建模方法可以在保存CFG效果的同时 ，仍坚持采样时的1-NFE性能。

构建真实速率场

研究者界说新的带指导的真实速率场vcfg：

这是一个种别条件。╟lass-conditional field）与无条件。╟lass-unconditional field）的线性组合。

其中 ，种别条件速率（即对给定种别c条件下的边沿速率）、无条件边沿速率 ，界说如下：

接下来 ，我们模拟MeanFlow的方法 ，为vcfg引入对应的平均速率。

凭证MeanFlow恒等式（公式6） ，我们有：

我们再次强调 ，vcfg和ucfg都是理论上的真实速率场 ，与神经网络参数无关。

别的 ，由公式(13)和MeanFlow恒等式导出：

这可以简化盘算。

带指导的训练要领

神经网络ucfg,θ来拟合平均速率场 ，需要结构如下训练目的：

其中目的值为：

这里的右侧第一项是连系指导权重后的速率界说：

其中v_t是样本条件速率 ，默认设定为vt=??x。

若是ω=1 ，即纯种别条件指导 ，则损失函数退化为不含CFG的公式(9)。

stop-gradient操作用于阻断目的对网络参数的反向撒播 ，阻止二蹊径度盘算。

别的 ，为了增强网络对无种别输入的泛化能力 ，以0%概率随机扬弃种别条件。

单NFE下CFG采样

在本要领中 ，网络直接学习的是由指导速率vcfg所诱导的平均速率。

因此 ，在采样阶段 ，无需再举行线性组合盘算 ，只需直接网络挪用即可完成一步采样（见算法2）。

最终 ，新在保存CFG效果的同时 ，依然维持了理想的单步采样性能（1-NFE） ，兼顾了效率与质量。

作者先容

耿正阳（Zhengyang Geng）

耿正阳 ，卡内基梅隆大学（CMU）盘算机科学博士生。

他热衷于研究动态系统 ，致力于识别、明确并开发能够自组织形成重大系统的动态机制。

2020年 ，他结业于四川大学 ，获得盘算机科学与手艺学士学位。

他在北京大学、Meta等机构实习过多次。

参考资料：

https://arxiv.org/abs/2505.13447

https://mlg.eng.cam.ac.uk/blog/2024/01/20/flow-matching.html

尊龙游戏人生就是博

何恺明等降维攻击！彻底倾覆AI生图 ，无需预训练一步到位
何恺明等降维攻击！彻底倾覆AI生图 ，无需预训练一步到位

何恺明等降维攻击！彻底倾覆AI生图 ，无需预训练一步到位

「统计」w3u7903ejky2ywls

2.86MB
版本V6.5.81
下载学校女厕偷拍秘网站装置你想要的应用 更利便 更快捷 发明更多
喜欢 28%好评(81181人)
谈论 41
何恺明等降维攻击！彻底倾覆AI生图 ，无需预训练一步到位截图0 何恺明等降维攻击！彻底倾覆AI生图 ，无需预训练一步到位截图1 何恺明等降维攻击！彻底倾覆AI生图 ，无需预训练一步到位截图2 何恺明等降维攻击！彻底倾覆AI生图 ，无需预训练一步到位截图3 何恺明等降维攻击！彻底倾覆AI生图 ，无需预训练一步到位截图4
详细信息
  • 软件巨细: 27969.27827MB
  • 最后更新: 2025-05-31 02:04:37
  • 最新版本: V2.97971.5
  • 文件名堂: apk
  • 应用分类:ios-Android 咒术回战H婬乱版全文阅读
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 8.49664以上
应用先容
一 ，芙宁娜撕内衣挠奶头视频 ，闲云被❌到爽爆衣
二 ，王心凌被扒内裤露出奶头图片 ，麻豆天美传媒毛片AV88
三 ，女人❌❌❌❌A一级 ，成人国产AV精品㊙️桃色
四 ，www.ypppt.com ，9+1免费版极速版
五 ，森泽佳奈主演的电影在线放映 ，殴美透B拳交
六 ，宋雨琦❌❌喷水好爽69,中国人体祼交❌乂ⅹ ，成人AV精品无码AV视频本子
七 ，bestialitysexvideo另类强奸
【联系尊龙游戏人生就是博】
客服热线：134-2881-646
加载更多
版本更新
V2.3.39
欧美做受❌❌❌高潮电影公交车上
  • 原神㊙️黄😍

    扒開腿灌牛奶🥛調教赵丽颖漫画

    嗟嗟香蕉🍌漫画

    87916.46MB
    109好评

    网曝黑料吃瓜永久国产

  • 许晴被躁120分钟无删减

    裸体爆乳羞羞网站视频

    爽好紧别夹宝贝叫大声点h软件

    40442.66MB
    395271好评

    崩坏H黄污同人18禁

  • 唐舞桐被吸乳脱内内图片

    动漫秘黄二次原动费视频

    PORNO334HD😍

    13.57MB
    317好评

    女女🔞被一堆玩具玩哭动漫

  • 动漫自慰✅免费网站

    撕衣服视频动漫

    免费A站—禁漫天堂

    53.67MB
    273好评

    男生露jiji

  • 红桃视频18

    玉门姑娘初为君开

    无尽❌裸体❌大胸❌游戏

    71.77MB
    701好评

    美女的裸体㊙️免费全站

  • 欧美XX❌⭕️❌⭕️老师下载

    男生露出🐔🐔给别人摸

    ai一键消衣下载黑科技

    83.62MB
    333好评

    🍆❌女生🍑里动漫

  • 攻狂揉受胸吃奶男男

    把🍌伸进女人的🍑公交车

    老妇人泄欲x88AV

    23.75MB
    105好评

    被❌❌❌后喷出水

  • 摸美女全身游戏3d

    国产高清在线视频

    chara娘化泳装

    50.55MB
    925好评

    芙宁娜打开双腿❌❌

  • 大胸女被c🔞黄㊙️❌B站

    r34官方网页版进入

    宁荣荣脱内衣被狂❌的

    83.92MB
    569好评

    女学霸没考好被捏胸大屁股

  • 苍月奥特曼网站入口链接

    секс女♀️人

    日本人做爰大片免费观看一威尼斯

    83.35MB
    754好评

    女性脱👙撒尿

  • 刘浩存裸体大乳

    【咒术回战】爱与欲的漫长盛夏

    娇小另类

    13.16MB
    6240好评

    yy4060高清影院理❤论

  • artists免费观看高清版

    女同被c🔞黄在线网站

    女被❌c🐻黄扒衣服漫画

    54.19MB
    601好评

    千仞雪被唐三摁在床上草

  • 国产做受❌❌❌高潮素材喷水合集

    碧蓝航线裸乳被爆❌白浆的网站

    好爽⋯要高潮了⋯免费漫画

    65.28MB
    744好评

    叉叉漫画纲手的午休时间

  • 巴巴塔被扒开腿做❌同人网站

    白丝jk美女打开双腿❌

    FreePorno💋👙11

    54.28MB
    752好评

    国产做受❌❌❌麻豆

  • 韩国无码成人🔞电影

    柳神双腿被分到最后的命运

    日本❌❌❌❌❌色情初来交

    57.10MB
    685好评

    李玲玉被无套内谢

  • 好看的偷牌自拍943页

    丝袜脚⋯好紧⋯老师别夹视

    女同学裸体趴下光屁股

    24.23MB
    356好评

    欧美极品❌❌❌❌❌丫丫内谢

  • 男男GayGay互吃鳮吧网站

    月婵女裸乳被爆❌白浆的游戏

    免费看裸体网站黑桃

    13.72MB
    311好评

    绝区零裸体18禁❌视频

  • 成人❌❌❌

    丝袜脚好紧老师别夹视

    爽躁多水快深点快百合小说

    84.41MB
    219好评

    老熟女・人妻の亂倫av

  • 男女无遮挡❌大尺度

    云缨裸体被❌羞羞玉足

    18🔞漫画

    45.98MB
    739好评

    小舞❌爆乳❌无遮挡游戏

  • 牡z0Z0交体内谢另类

    ❤️爱情岛论坛入口18禁

    路飞穿汉库克的衣服

    10.41MB
    185好评

    好爽⋯好紧⋯宝贝夹大巴69视频

  • 美女裸体100%无挡视频

    silk-144郗及引引觴木化

    抖m捆绑+口球+系紧+乳夹

    44.11MB
    369好评

    1秒流鼻血的胸片

  • 动漫美女被❌吸乳奶动漫网站

    扒开珍妮❌狂揉❌难受图片

    furry裸体被❌羞羞

    91.70MB
    206好评

    桃屋しょう王元姬汉化

  • 被震蛋器摁住玩弄隐私的羞羞韩漫

    乳欲の馆～无删减在线观看

    美女搡BBB又爽又猛又黄www

    30.95MB
    905好评

    纲手爆乳被❌🔞🔞㊙️

  • 不卡免费视频

    3D不知火舞出捆绑调教挤奶水

    裸体魅魔被❌到爽

    30.96MB
    541好评

    黑料吃瓜不打烊吃瓜爆料

  • 99成人国产精品视频

    午夜成人片毛片东方影库

    少妇把腿扒开让我添6912p

    29.21MB
    124好评

    千仞雪之乱婬h侵犯在线小说

  • 欧美做受❌❌❌高潮图片

    仙逆动漫全集在线观看完整版高清

    双脚穿口球吊在脚底的视频

    70.82MB
    451好评

    美国色情巜做爰狂欲

  • 美国黄色片男生隐私㊙️裸体免费无遮挡 title="http126.com禁漫天堂" class="0v5366j9r7414 app-list-img" src="https://t11.m.mksxm.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    可以设妹妹脚上

    荒野乱斗同人18❌漫画免费

  • 静香被强❌图黄漫视频万库查询番库官网 title="玖辛奈强❌乳喷自慰爽" class="0v5366j9r7414 app-list-img" src="https://t10.m.mksxm.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    国产在线㊙️麻豆精品观看照片

    黑土裸体被❌涩涩动漫

  • 高中生嗟嗟嗟视频素材体育生被绑榨精虐睾调教事件 title="51动漫免费版怎样下载" class="0v5366j9r7414 app-list-img" src="https://t12.m.mksxm.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    少妇洗澡被进3次

    美女裸体❌羞羞拉稀网站

中国产❌❌❌❌ 类似软件

猜你喜欢

相关攻略
包括 饿了么 的应用集
包括 饿了么 的应用集
谈论
  • 女性脱👙给我揉🐻的拉屎小说 5天前
    福瑞涩涩同人❌18禁免费
  • 原神同人动漫18❌AV黄漫 7天前
    男生扒开🍑伸进🍌❌网站
  • 火影忍者小南的婬肉泬被c 5天前
    新斗罗大陆婬乱版游戏
  • 女生吃小头头视频免费 1天前
    Japanese少妇高潮潮喷
  • r34绿色版 9天前
    美女胸又黄又❌❌❌
  • 动漫美女裸体❌❌网站 1天前
    弄得好舒服⋯快⋯高潮了黄漫视频
  • 桃子冰♈瑜伽 1天前
    99撒尿特写XXXⅩ
  • 18禁🍆🍑✗✗✗小便 1天前
    初音未来疯狂❌自慰爽
  • 蒂蒂有话说在线观看完整免费 5天前
    纯子宝库
  • 免费裸体视频网站蓝莓网站 6天前
    国产精品久久久精品四季影院