首个用于加速扩散式大语言模子（diffusion-based Large Language Models, 简称 dLLMs）推理历程的免训练要领。

上海交通大学EPIC Lab团队提出了一种无需训练、即插即用的高效推理缓存机制：dLLM-Cache。

其焦点头脑在于，在一个多步去噪历程中，复用相邻时间步上转变较小的特征，仅更新那些转变较大的特征，从而实现了盘算量的大幅降低，并坚持了原有的天生质量。

图1 差别dLLMs使用dLLM–Cache和不使用dLLM–Cache在速率和质量上的比照

1. 训练无关，即插即用。dLLM-Cache完全在推理历程中事情，无需修改模子参数或重训练。dLLM-Cache可以在完全不损失模子输出质量的条件下，带来最高9.1倍的推理速率提升。

2.通用于主流dLLM架构，如LLaDA、Dream以及LLaDA-V、MMaDA、Dimple等多模态模子。

3. 在推理历程中，首次识别出了prompt部分的Transformer中心层特征（Key、Value、Attention output、FFN output）恒久稳固，而response部分仅有一小部分tokens的特征转变较大，为缓存特征并后续复用提供了理论基础。

4. 独创了以V-verify机制为焦点的选择更新战略。以Value向量的转变为选择基准，乐成识别出了response部分转变较大的那些tokens，通过仅更新这些特征，摒弃了高达75%的冗余盘算。

本论文配合第一作者刘知远和杨奕存是哈尔滨工业大学2022级本科生，现在在上海交通大学EPIC Lab举行科研实习，师从张林峰助理教授，主要研究偏向为高效深度学习，此前曾在CVPR2025上收获满分论文。

基于扩散的大语言模子正成为语言天生领域最受关注的新范式之一。随着模子架构的生长、去噪算法的优化以及Masked Diffusion在语言建模中逐步展现出与自回归模子差别的建模能力，这类模子正在逐步成为挑战 GPT 等主流模子的主要实力。

以LLaDA、Dream为代表的扩散语言模子，基于迭代去噪的天生历程，不再依赖严酷的自回归因果结构，自然支持双向建模、全局依赖和反向推理等能力，已经在“逆转诅咒”、数学推理等使命上展现出领先性能。

然而，这种范式的优势也陪同着重大的价钱。为了确保天生的质量，dLLMs在推理历程中通常需要执行长达数百步的去噪迭代，每一步都需重新盘算attention、FFN等所有层的特征，盘算量相当于多次完整前向撒播。这为dLLMs的推理效率带来了严重的瓶颈，制约了着实际安排。更主要的是，主流的加速手段如用于自回归模子的KV Cache，由于不兼容双向注重力架构，在dLLMs中完全失效。

与古板的自回归语言模子差别，dLLMs不再依赖顺序天生下一个token，而是接纳随机遮蔽(mask) + 逐步还原的方法建模token漫衍，这种机制使得模子具备自然的双向建模能力，理论上能够更好地处置惩罚逆向逻辑、长距离依赖等使命。

LLaDA 等模子已经在多个基准使命中逾越主流ARMs，尤其在“逆转诅咒”上显着胜出。

然而，这种扩散式推理带来一个严重的挑战：为了确保天生质量，dLLMs通常需要上百步的去噪迭代，每一步都需全量盘算Attention、FFN等？，导致其推理速率相比ARMs慢一个数目级，落地本钱高。同时，ARMs 通用的加速要领如KV-Cache因dLLMs的双向注重力设计而无法兼容。这些造成了dLLMs在推理时既慢又缺乏加速手段的征象。这正是 dLLM-Cache所要破解的焦点问题。

本文作者仔细研究了dLLMs推理的中心特征转变历程，发明如下要害征象：

图2 dLLM中两个相邻去噪办法之间的Key、Value、Attention Output和FFN Output的余弦相似度

Prompt tokens的特征在整个去噪历程中基本坚持稳固，每一步都重新盘算这些特征是完全不须要且铺张盘算资源的；

Response tokens大都转变很小，仅少部分转变强烈，全量盘算所有response tokens保存冗余。

由此，问题转化为了怎样高效识别出这些转变强烈的response tokens。

本文作者首创性得提出了V-verify机制。它的提出源于另一项主要的发明：作者量化了response tokens的底层特征（Key, Value向量）的转变与其上层重大特征（Attention Output, FFN Output）的转变之间的关系，效果显示它们保存着极强的正相关性，皮尔逊相关系数最高可达0.944。

这意味着，一个token底层的Value向量是否爆发转变，是其整体状态是否爆发改变的一个极佳的、且盘算本钱极低的“指示器”。

基于以上这些要害的视察，本文作者提出了dLLM-Cache ，详细的框架设计如下：

关于prompt部分，作者设计了长距离Prompt缓存，每隔Kp步（在实验中一样平常设置为100）更新一次prompt的Key、Value、Attention Output、FFN Output，其余办法所有复用先前效果。这样阻止了对稳固稳固的特征的重复盘算，大幅镌汰了盘算量

对天生目的response区域，由于response tokens的特征并不是一直坚持稳固稳固的，作者设计了较短距离的Response缓存，每隔Kr步（在实验中一样平常设置为8左右）全量更新一次response的Key、Value、Attention Output、FFN Output，在其余的办法，作者提出了基于V-verify的自顺应缓存战略

在每个去噪办法，首先盘算所有response tokens最新的Value向量。然后，通过盘算新Value向量与缓存中旧Value向量的余弦相似度，将余弦相似度作为每个response tokens的一个“转变分”。选出“转变分”最高（即相似度最低）的少少数tokens（例如，转变最强烈的25%），将它们标记为“待更新” 。最后，模子只对这些被标记的“待更新”tokens，举行完整的特征重盘算。而其余75%的“稳固”tokens，则继续高效地从缓存中复用其特征

通过这种“长距离”与“自顺应”相连系的缓存战略，dLLM-Cache在Transformer的每一层都实现了盘算量的极致优化，且整个历程无需任何特殊训练，做到了真正的即插即用

本文在 LLaDA 8B和Dream 7B两大代表性的开源dLLM的基础版与指令微调版上，针对数学与科学、通用使命、代码天生三大领域的8个主流基准测试，对dLLM-Cache的有用性举行了严苛的磨练。评估维度不但包括推理速率（TPS）盘算效率（FLOPs），更焦点的是模子性能得分（Score），以确保加速不是以牺牲模子能力为价钱

本文在LLaDA 8B的基础版和指令微调版上都安排了dLLM-Cache，下图的实验效果充分展示了其强盛的加速能力和卓越的天生质量坚持。在险些所有的基准测试中，抵达了5倍以上的加速效果，且在绝大部分情形下，天生质量都没有降低，甚至有稍微的提升。特殊是扑面临LongBench使命时，prompt的稳固性带来了更显著的加速效果，在HotpotQA上实现了高达9.1倍的无损加速

为了进一步证实dLLM-Cache的通用性和鲁棒性，作者将其无缝迁徙至另一款架构略有差别的dLLM——Dream 7B上。下图的实验效果再次印证了dLLM-Cache要领的有用性，充辩白明晰其通用于主流dLLM架构

作者还将dLLM和主流的基于ARM的LLM举行了比照，下图展示了LLaDA 8B与LLaMA3 8B在GSM8K使命上的较量。效果显示，原始的LLaDA在准确率上以近20个点的重大优势领先于LLaMA3，但在推理速率上却远缺乏。然而，在使用了本文的dLLM-Cache之后，LLaDA的推理速率获得了凌驾3.3倍的提升，首次凌驾了LLaMA3的推理速率。这一效果有力地证实，本文提出的dLLM-Cache能够让dLLMs在坚持其显著准确率优势的同时，获得与ARMs相当竞争力的推理速率

论文链接： https://github.com/maomaocun/dLLM-cache/blob/main/asset/paper.pdf代码已开源： https://github.com/maomaocun/dLLM-Cache

尊龙游戏人生就是博

扩散语言模子九倍推理加速！KV Cache并非自回归模子专属

「统计」w3u7903ejky2ywls

100.13MB

版本V3.5.16

下载APK 高速下载

下载成人久久18㊙️免费装置你想要的应用更利便更快捷发明更多

85%好评(77599人)

详细信息

软件巨细: 88929.54601MB
最后更新: 2025-05-31 07:48:15
最新版本: V2.37168.7
文件名堂: apk
应用分类:ios-Android 女同A片18🈲在线观看漫画
使用语言: 中文
: 需要联网
系统要求: 3.41703以上

应用先容

一，青海美露生活美容服务有限公司，成人羞羞视频🔞在线观看
二，亚洲熟妇无码Av无码，米塔被到爽流漫画
三，中国拉屎goshopping站动画，小舞好湿⋯好紧⋯太爽了游戏
四，少年骇客漫画18+，3D黄漫❌18禁漫画视频
五，性XX❌❌❌无遮挡动漫，91在线无码精品㊙️黑桃
六，成人🔞在线观看免费视频,女仆被撕开衣服揉搓双乳，主动把奶头放进男朋友嘴巴里小说
七，18大🈲无遮拦视频高潮
【联系尊龙游戏人生就是博】
客服热线：134-2881-646

加载更多

版本更新

V8.4.43

小心🐤入🍑🍑视频动漫

同性男同yaoi❤♂疯狂做

催眠精牛大正装爸爸的小说

86249.87MB

106好评

Gay青少年自慰飞机网站
b影响全球最大库存

死尸档案1—2部

83012.69MB

320681好评

午夜精品㊙️一区二区三区
男男撅屁股手指探进扩张视频

野外撒尿无遮挡㊙️网站

13.29MB

313好评

景甜被到喷水AI换脸
国产femdom调教1567

憨憨倩被C视频

53.13MB

275好评

巜健身房激情HD中字
好爽⋯要高潮了⋯再深点男男视频

捆绑调教性GAY2022

71.45MB

701好评

91PORNY真实丨国产jk
❌❌❌❌69日本120秒

美女裸体全身㊙️遮挡打屁股

83.27MB

339好评

扒开美女狂揉真人游戏
五姑娘影院在线播放电视剧第3季

紫微被大黑捧着进进出出视频

23.66MB

106好评

脱粪排泄goshopping
两个奶被揉的又硬想被c

蒂法3D同人未删减无修

50.34MB

927好评

被c到高潮婬荡呻吟视频
英雄联盟本子h18资源

老热妇性色506070老热妇

83.55MB

563好评

湿点未增减板台版
美女露出全部隐私㊙️视频

撒尿Free❌㐅❌性HD

83.40MB

754好评

雷电将军被❌喘流白色液体
宁荣荣解开裙子让唐三桶

稀缺小u女呦精品呦视频

88.25MB

7592好评

欧美XXXXXX片免费播放软件
同性男男黄g片APP软件

喷火龙裸体被❌羞羞嗯网站

62.12MB

339好评

美女露出🐻让男生揉不打
在车里女性脱👙给我揉🐻

美女跪床❌❌被🌿游戏

65.44MB

744好评

末发育女学生A片
不戴套进入让少妇高潮

近相亲祖母60集免费

54.80MB

755好评

从领口偷看女同学的奶头
女女H百合大尺度动漫

清漪婬荡高潮呻吟无码小说

57.21MB

684好评

4k初撮り♥完全颜出し☆
国产亚洲精品无码aa在线观看

贪吃的猫女奶油工厂

24.94MB

354好评

日本蜜桃网无码色情AⅤ
姬小满被❌到爽🔞高潮痉挛

Gay Yaoi Hard manga 男男

13.18MB

318好评

噼哩啪哩国语电影在线观看
舞蹈生被体育生❌到爽

火影18同人禁网站免费夕阳红

84.30MB

211好评

裸体小舞被❌吸乳
白丝班长趴下脱了衣服让我抄

XXXX38馃崋馃崋HD

45.53MB

732好评

宁荣荣乳液乱飙🚺👙漫画
91九色丨PORNY丨丝袜

米塔被到爽流漫画免费

10.19MB

181好评

雏田被鸣人扒开腿狂❌视频
斩神红缨的婬乱生活H小说

星穹铁道18+

44.53MB

366好评

小南被脱内衣被动漫视频
成人擼擼社app

嗯灬啊灬把腿张开灬润滑剂视频

91.69MB

209好评

黄瓜视频免费观看www com
夹好了不许穿内裤去上课漫画

黑土被爆❌自慰爽网站

30.31MB

905好评

中国学生⭕⭕⭕⭕XXXX
原神3D同人18❌羞羞动漫

鬼父2全集在线观看策驰影院完整版

30.15MB

542好评

菲谢尔裸体被❌羞羞的图片
老师奖励我挠她30分钟的脚心

末成年🈲美女裸体🔞摆姿势

29.75MB

126好评

绝区零被爆❌黄漫
日韩🈚️码波多野结衣刘亦菲

❌❌❌❌videosHD3D

70.97MB

457好评

女人张开腿㊙️让男生看动漫
花色直播观看 title="师徒强开小嫩苞h文高辣h文" class="0v5366j9r7414 app-list-img" src="https://t11.m.mksxm.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

丝瓜app在线观看免费

九一漫画免费版网站nba下载安装

详情
沦为母畜的富豪千金小说免费阅读 title="男人把🍌放进女人屁股里做运动" class="0v5366j9r7414 app-list-img" src="https://t10.m.mksxm.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

小和尚把腿张开臊烂开荤粗肉视频

黄油羞涩～e❌游戏

详情
成人🔞🈲️视频免费观看 title="㊙️3d网站成人漫画在线" class="0v5366j9r7414 app-list-img" src="https://t12.m.mksxm.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

免费网站成人视频软件

啊哦快射房熟女爱

详情