阿里通义宣布并行盘算新战略：1.6B等效4.4B，内存消耗骤降95%
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
既能提升模子能力，又不显著增添内存和时间本钱，LLM第三种Scaling Law被提出了。
关于1.6B模子，能实现性能靠近4.4B模子，内存占用仅为后者的1/22，延迟增添量为1/6。
并且可直接应用于现有模子（如Qwen-2.5），无需重新训练。
这就是阿里通义团队提出的PARSCALE。
现在LLMs的优化主要有两种思绪：参数扩展（如GPT-4）和推理时间扩展（如DeepSeek-R1），但会增添内存和时间本钱。
阿里通义团队提出的新范式受CFG（无分类器指导）双路径推理机制的启发。
他们将CFG的并行头脑从 “天生阶段的推理优化” 扩展为 “训练和推理全流程的「盘算缩放」”。
让我们来扒一翦绺艺细节。
将CFG的并行头脑扩展到盘算缩放PARSCALE关于CFG双路径的灵感迁徙
CFG 通过同时运行有条件天生（输入提醒词）和无条件天生（不输入提醒词）两条路径，再通过加权平均融合效果，提升天生质量（如文内情关性、图像细节精准度）。
其焦点在于使用并行盘算（两次前向撒播）增强模子决议的多样性和准确性，而无需增添模子参数。
研究职员视察到CFG的有用性可能源于盘算量的增添（两次前向撒播），而非纯粹的条件指导。
由此提出假设：并行盘算的规模（如路径数目）可能是提升模子能力的要害因素，而非仅依赖参数规；蛲评硎奔涞拇欣┱梗ㄈ缣焐鄑oken）。
CFG用2条并行路径提升性能，PARSCALE则将路径数目扩展为P条（如P=8），并通过可学习的输入变换和动态聚合，使并行盘算成为一种可扩展的 “盘算缩放” 范式。下图展示了PARSCALE要领。
PARSCALE刷新的并行盘算框架
1、输入层：可学习的多路径输入变换
焦点刷新是将CFG的牢靠双路径扩展为P条可学习的并行路径，每条路径通过可训练的前缀嵌入天生差别化输入。
前缀嵌入天生：为每个并行路径引入可训练的前缀向量（维度与输入嵌入一致），拼接在原始输入前，形成路径专属输入。KV缓存区分：在Transformer的注重力层中，差别路径的键（K）和值（V）缓存相互自力，确保各路径的盘算互不打搅，增强输出多样性。
2、盘算层：并行前向撒播
并行执行：将P个差别化输入同时输入模子，使用GPU的并行盘算能力，一次性完成P路前向撒播，天生P个输出流。效率优势：通过批量矩阵运算实现P路并行，盘算效率随P线性增添，共享模子主体参数，仅增添前缀嵌入等少量可训练参数。
3、输出层：动态加权聚合
通过多层感知机（MLP）动态盘算各路径输出的聚合权重，替换 CFG 的牢靠权重机制：若某路径输出与目今输入语义匹配度高，MLP 会为其分派更高权重。
PARSCALE更高效
PARSCALE vs. 参数扩展
当P=8时，1.6B参数模子在HumanEval的性能（Pass@1=39.1%）靠近4.4B参数模子（Pass@1=45.4%），但内存占用仅为后者的1/22，延迟增添量为1/6。
在GSM8K数学推理使命中，P=8使1.8B模子性能提升34%（相对基准），显著高于参数扩展的增益。
两阶段训练战略
阶段1：用古板要领预训练模子至收敛（1Ttokens）。
阶段2：冻结主体参数，仅训练前缀嵌入和聚合权重（20Btokens，占总数据的 2%）。
P=8模子在GSM8K上提升34%，且与重新训练效果相当，证实少量数据即可激活并行路径的有用性。且该战略使训练本钱降低约 98%
适配现有模子
研究团队在Qwen-2.5-3B模子上举行一连预训练和参数高效微调（PEFT），仅调解前缀和聚合权重。
效果显示，在代码天生使命（HumanEval+）中PEFT 要领使Pass@1提升15%，且冻结主体参数时仍有用，证实动态调解 P 的可行性。
PARSCALE通过可学习的多路径输入、动态聚合权重、全流程并行优化，将CFG的 “双路径启发” 升级为一种通用的盘算缩放范式。
感兴趣的朋侪可到官方审查更多细节～
论文链接：https://arxiv.org/abs/2505.10475代码地点：https://github.com/QwenLM/ParScale参考链接：https://x.com/iScienceLuvr/status/1923262107845525660
— 完 —
王者荣耀同人动漫,虞姬的新武器在线观看
明日方舟同人涩涩成人向本子
窜天猴隐藏入口永久免费
韩国一级爽婬片A片视频
日本做爰无遮A片免费
あねちじょ♥无修国语bt
神里绫华被掀开乳罩玩弄
丁香花免费高清视频完整版动漫
ATID-476椎冰怜在线播放
女人自慰免费观看A片
被吃奶胸玩乳尖60分钟
高清乱码🔞❌♋三级
美女裸体18禁游戏可触摸
激情校园另类小说合集
美女脱👙让人摸🐻
情侣洗澡㊙️视频网站
将界2雷蕾被打开双腿
(蓬莱山写真-牡丹仙女)
18❌动漫免费网站外国
天穹长老被❌到爽被爆视频
五条悟被裸体玩J
ORNOⅩXXXXHD💋
DH-NVR4116HS-HD
迪丽热巴爆乳18禁🔞动漫视频
永久免费🔞🔞🔞网站
美女裸体㊙️网站
黑土小南小樱泳装
原神人物被❌黄漫免费软件
中国男Gay🔞小蓝GTV
女校🌸脱👙给我揉🐻
美女屁股眼㊙️视频免费
mofos4kvideos⚡⚡
高清🈚码🔞❌♋免费网站
男男GayGays✅免费网站 2022
嗯灬啊灬把腿张开灬A片功能介绍
双腿吊起玩弄小豆豆喷水调教微博
晨勃图片100张
少妇被狂C下部❌羞羞在线观看
男男被爆❌动漫羞羞动漫
强开乳罩摸双乳吃奶羞羞漫画
91在线无吗精品㊙️国产千人斩
小马大车男孩妈妈原版
火影纲手被爆❌3D无尽视频
性BwBwBwBw毛多多
女人裸体❌❌AI去衣一键下载
原神3D同人18video网站
破苞娇小69外国网站
免费被❌到爽羞羞视频软件
日韩⭕⭕⭕⭕XXXX18
深夜看🔞🈲动漫
国产男男Gay黄网站戴套过程好
男生的坤坤躁㊙️
免费无遮挡㊙️视频网站
成人免费看片❌❌❌98欧美
迪丽热巴被C喷了一床
静香被C❌裸体18禁漫画
班长❌开腿让我爽小说
把🍌放进小舞🍑www游戏
粉熟少妇张开腿bbbbb
国产美女白嫩㊙️屁屁网站
cos花火被狂❌到高潮
十八禁🔞网站视频app下载
在教室自慰给学生看h
刘若琳被王强❌黄文免费
TK折磨脚心丨ⅤK
《变态作文》
美女热舞露出隐私㊙️
免费白丝jk爆乳
永久免费🔞🔞🔞未
🌸🌸🌸白丝雪臀榨精
免费看女人隐私❌开腿网站
0verfIOw第一季
男女成人🔞高潮片免费文章
少妇❌❌❌HD善交
91蝌蚪91九色白浆
国产做受69❌❌❌霉霉
AV➕无码➕高潮➕网站
免费无码婬片AAAA片直播深
温迪被下春药调教成肉奴
校花打开让我漫画
日本❌❌奶头动漫巨乳
网友谈论 审查所有谈论>>
