2025-06-05 04:13:21 9,898次浏览

新智元报道

编辑：KingHZ

【新智元导读】原生1bit大模子BitNet b1.58 2B4T再升级！微软宣布BitNet v2，性能险些0损失，而占用内存和盘算本钱显著降低 。

还没过几天，原班人马带着第二代BitNet v2来了！

这次性能险些0损失，但占用内存和盘算本钱显著降低！

论文链接：https://arxiv.org/abs/2504.18415

先前的开创性研究，如BitNet b1.58，已经证实：

纵然将权重量化到1.58位，也能在极大降低推理本钱（延迟、内存占用、吞吐量、能耗）的同时，坚持与全精度模子相当的性能 。

然而，激活值异常点让1比特大语言模子安排变得重大 。

BitNet v2框架，首次实现对1比特LLMs的原生4比特激活值量化 。

针对注重力机制和前馈网络中激活值的异常漫衍问题，在激活值量化前，H-BitLinear ？槭┘釉谙逪adamard变换（Hadamard transformation） 。

图1上半部分：BitNet v2整体架构以及H-BitLinear ？榈母爬

这种变换能将尖锐的激活值漫衍转化为更靠近高斯形态的平滑漫衍，从而适配低比特体现 。

原生4比特盘算

得益于下一代GPU（如GB200）等硬件的前进，深度学习领域正迅速接纳量化和低比特推理手艺 。

新硬件原生支持4比特盘算，为大规模模子带来显著的效率提升 。

盘算机中32、16、8比特浮点数差别的体现要领

然而，只管BitNet b1.58将权重量化为1.58比特，缓解了内存带宽瓶颈，但它的激活值仍坚持8比特精度 。

模子无法充分使用新硬件的4比特盘算能力 。

实现更低比特宽度的激活值关于最大化硬件使用率至关主要，尤其是在批处置惩罚推理场景中，高效的内核设计尤为主要 。

要害问题在于LLM内部激活值的不匀称漫衍 。

虽然注重力机制和前馈网络（FFN）层的输入通常泛起类高斯漫衍，适合量化，但中心状态（最终投影前的输出）往往包括显著的离群值，阻碍了激进的低比特量化 。

图1下半部分：注重力层中输出投影Wo和前馈网络中下投影Wdown的激活漫衍情形

对输入接纳4比特量化和对中心状态使用8比特希罕化，可以解决这一问题 。

只管性能损失较小，但希罕化并不适合批处置惩罚推理场景的最大吞吐量需求，由于硬件更倾向于麋集盘算以提升效率 。

为弥合这一差别并充分验展1.58比特LLM在4比特盘算中的潜力，研究团队提出了BitNet v2框架，实现了模子全流程的原生4比特激活值，框架焦点立异是H-BitLinear 。

BitNet v2：原生4位激活

BitNet v2模子基于类似LLaMA的组件构建，包括RMS归一化、SwishGLU激活函数，并完全移除了偏置项（bias） 。

BitNet v2的整体架构

与先前的BitNet相比，BitNet v2在注重力 ？榈氖涑鐾队癢o和前馈网络（FFN）的下投影Wdown中，引入了H-BitLinear ？，以专门处置惩罚中心状态中泛起的异常通道（outlier channels） 。

BitNet v2的训练流程分为两阶段：

首先，从零最先使用1.58位权重和8位激活（INT8）举行预训练；

随后，在坚持权重量化稳固的基础上,将所有线性层（除输入/输出embedding外）进一步微调为4位激活（INT4） 。

H-BitLinear ？

BitNet v2接纳逐张量平均绝对值量化（per-tensor absmean）战略对权重举行三值量化（也就是{-1, 0, 1}）：

关于低比特激活的问题，已有研究指出：

注重力层和前馈网络中前置线性变换的输入激活，通常泛起高斯漫衍，较适合量化；

而注重力输出（Wo）和FFN下投影（Wdown）的中心状态激活，则往往包括大宗离群通道（outlier channels），且大部分值集中于0周围，严重影响低位量化精度 。

H-BitLinear可以取代注重力机制输出投影和FFN下投影的标准线性层 。

H-BitLinear在激活量化前应用在线哈达玛变换），把中心状态中尖锐、易爆发离群值的漫衍重塑为更易处置惩罚的类高斯漫衍，显著镌汰1.58比特模子中离群值的影响 。

Hadamard变换界说如下：

其中的矩阵乘法接纳快速Hadamard变换算法（Fast Hadamard Transform，FHT），其盘算重漂后为O(nlogn) 。

Hadamard矩阵是一类特殊的正交矩阵 。

它的特点是每个元素只能是+1或-1，并且每行（或每列）之间的内积为0，体现相互正交 。

阿达马矩阵的命名来自于法国数学家Jacques Solomon Hadamard 。

法国数学家：Jacques Solomon Hadamard

如图2和图3所示，引入Hadamard变换后，中心状态的漫衍越发靠近高斯形态 。

这显著镌汰了离群值数目，使其更适合举行4位激活量化（INT4） 。

图2：在使用8位激活时，BitNet b1.58与BitNet v2的激活漫衍比照 。

图3：接纳8比特激活值时，BitNet b1.58与BitNet v2在前馈网络Wdown层和注重力机制Wo层的激活值漫衍比照 。

关于8位激活（INT8）和4位激活（INT4）量化战略，划分接纳下列战略：

综上，H-BitLinear层的整体矩阵运算可体现为：

其中，LN(?)体现层归一化（LayerNorm） 。

研究团队重新最先使用8比特激活值训练BitNet v2，与BitNet b1.58相比性能损失微乎其微 。

随后，通过少量数据高效微调，模子即可适配原生4比特激活值 。

实验效果

实验批注，4比特BitNet v2变体在性能上与BitNet a4.8相当，但在批处置惩罚推理场景中提供更高的盘算效率 。

别的，与后训练量化要领SpinQuant和QuaRot，则险些周全领先 。

比BitNet b1.58更快

BitNet V2与BitNet b1.58比，性能险些0损失 。

BitNet v2及其基线模子的详细实验效果，如表1所示 。

在注重力机制和前馈网络（FFN）层的量化前引入哈达玛变换后，模子的疑心度（perplexity）下降极小 。

关于8比特激活值，BitNet v2相较于BitNet b1.58体现出更高的性能，在1.3B、3B和7B模子规模上，终端使命的平均准确率划分提升了0.16%、0.49%和0.61% 。

别的，BitNet v2支持所有线性层的原生4比特激活值，从而显著提升了批处置惩罚推理的效率 。

在使用INT4（4比特整数）激活值时，BitNet v2的疑心度与BitNet a4.8相当，同时在3B和7B模子的下游使命中展现出更优的性能 。

表1：BitNet v2、BitNet a4.8与BitNet b1.58在终端使命上的疑心度及性能体现

表2和表3划分总结了BitNet v2（8比特激活，a8）和BitNet v2（4比特激活，a4）在低比特注重力机制下的详细效果 。

研究职员对QKV状态接纳了RoPE（旋转位置编码）后的量化要领 。

QKV头通过absmax函数直接量化为无符号整数，无需任何校准数据集 。

如表2和表3所示，接纳3比特KV缓存的BitNet v2在3B和7B模子上的准确率与使用全精度KV缓存的模子相当 。

表2：BitNet v2在终端使命上的零样本准确率，其中激活使用8位，而QKV状态的位宽则有所差别 。

表3：BitNet v2在终端使命上的零样本准确率，其中激活使用4位，而QKV状态的位宽则有所差别 。

与其他后训练量化要领的比照

BitNet v2 (a4)与主流的后训练量化基线要领举行了比照，包括SpinQuant和QuaRot，在1.3B参数规模的模子上举行了评测 。

QuaRot通过引入随机Hadamard变换以缓解特征离群问题，SpinQuant则使用了可学习的旋转矩阵（rotary matrix） 。

随后，这两种要领划分接纳GPTQ和absmax战略，将权重和激活量化到4位 。

由于BitNet b1.58沿用训练时使用的absmean函数举行权重量化，而非使用GPTQ 。

在各项指标上，BitNet v2稳拿第一，详细效果见表4 。

表4：BitNet v2、QuaRot和SpinQuant在各项下游使命上的疑心度（Perplexity）与零样本准确率（Zero-shot Accuracy）比照

另外，在Hadamard变换对差别模子尺寸（1.3B和3B）影响的实验（见表5）中，研究者发明：

没有旋转处置惩罚（No rotation）时，模子直接发散，无法正常训练；

引入Hadamard旋转（无论是权重+激活，照旧仅激活），都能显著稳固低位训练，并提高最终准确率 。

表5：差别规模下H-BitLinear的Hadamard变换的消融研究 。

模子训练、消融实验等其他内容和细节，请参阅原文 。

参考资料：

https://arxiv.org/abs/2504.18415

尊龙游戏人生就是博

微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失
微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失

微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失

「统计」w3u7903ejky2ywls

47.15MB
版本V9.5.12
下载黑寡妇裸爱被❌视频无码装置你想要的应用 更利便 更快捷 发明更多
喜欢 12%好评(12255人)
谈论 47
微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失截图0 微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失截图1 微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失截图2 微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失截图3 微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失截图4
详细信息
  • 软件巨细: 10840.95650MB
  • 最后更新: 2025-06-05 04:13:21
  • 最新版本: V4.59509.8
  • 文件名堂: apk
  • 应用分类:ios-Android 美女扒开腿❌裸体拉屎撒尿
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.35127以上
应用先容
一，成欢阁vfb，美女露100%双乳无遮挡免费
二，taipeinana安慰儿子，小受被多男摁住灌浓精A片小李玉
三，777影院午夜伦不卡偷拍，赵美延的婬奴生活小说
四，看片➕vx，荒唐的姨妈刘梅免费阅读小说
五，英雄联盟梅尔本子，男生无打码勃起照片
六，九一涩漫,丝袜人妻熟女XXXXX网站，成人H动漫无码专区入口破解版
七，少司缘cos自慰裸体免费
【联系尊龙游戏人生就是博】
客服热线：134-2881-646
加载更多
版本更新
V3.3.50
亚洲精品无码18在线
  • 老师用丝袜🔞🔞🔞绑j

    ㊙️秘密成人黄漫

    百度网盘张柏芝与陈冠希

    20166.85MB
    105好评

    小南被❌吸乳羞羞漫画

  • 成人免费观看A片www下网魅影

    女人哭着扒开屁股灌浣肠视频网站

    教练撕掉胸罩揉吮奶头视频

    82773.17MB
    539628好评

    亲嘴脱内衣👙内裤

  • 荫蒂添的全过程视频免费看

    卡尔蜜被扒开腿坐做❌

    国产AV㊙️天美传媒网站

    13.44MB
    311好评

    www深夜成人🔞在线观看

  • 罗德岛的堕落h污文

    欧美超重口sm虐乳折磨网站AV

    小舞用白丝脚帮我脚交

    53.29MB
    273好评

    胡桃3D同人18❌AV网站

  • 女同桌自慰还嗯嗯地叫喷水了

    动漫被❌爽🔞巨乳视频

    18🈲🍆🍆🍆🍆网站"""

    71.13MB
    705好评

    男女自慰✅免费网

  • 蝴蝶忍被强❌自慰爽漫画

    69❌❌❌❌老师视频

    frisk被c到高潮失禁

    83.76MB
    332好评

    日本熟妇无码亚洲成a人片动漫

  • 朱竹清被❌到爽🔞游戏

    大学女s裆下圣水喂男奴视频

    女被❌c🐻游戏模拟器

    23.10MB
    103好评

    粉嫩小雪双乳被❌到喷水18

  • 路娜同人文

    好爽⋯好紧⋯宝贝别夹免费

    布洛妮娅疯狂自慰❌喷水

    50.47MB
    922好评

    女性捆绑免费网站

  • 久久蜜Av精品资源日韩精品无码

    孕育的摇篮之卵安卓版下载

    男警察被两男双龙玩弄

    83.51MB
    563好评

    破苞❌❌娇小❌❌69外国网站

  • 我的世界爆乳28禁视频

    杨钰莹大战黑人性猛交

    好爽⋯好紧⋯女帝别夹H

    83.69MB
    754好评

    禁漫天堂jm

  • 雏田被❌🔞奶头

    美女脱👙给我捏🐻

    绝区零疯狂揉❌难受

    15.71MB
    2173好评

    快灬快灬一下爽喷水

  • 听5分钟会湿的男喘声音频mp3

    用章鱼自慰钻了进去

    动漫美女❌乳液动漫3D

    42.19MB
    259好评

    男同动漫Gay 3D

  • 爱情岛论坛首页永久网址

    尼尔机械纪元3d同人动画怎么看

    鸣人❌佐助18禁漫画免费看

    65.83MB
    741好评

    叶山小百合最美丈母娘

  • 偷拍高中宿舍女洗澡更衣

    火影小南被❌吸乳视频色情

    成人A片无码永久免费游戏

    54.73MB
    756好评

    缅甸XXX性另类free

  • 钟离被爆❌漫画羞羞漫画

    18禁涩涩动漫

    惩罚男生折磨小jiji的方法

    57.22MB
    687好评

    8000块买初一32分钟下载

  • ❤️爱情岛论坛入口18禁

    ai换脸程潇被❌又疼又叫

    主人鞭打调教跪趴

    24.39MB
    351好评

    老师❌开腿让我爽一夜真人版

  • ❌❌❌❌学生XXXX69

    王多鱼韩婧格博雅视频观看

    美女全身裸体㊙️跳舞

    13.56MB
    315好评

    HD❌❌❌sexHD

  • yy4080影院❤旧里番3D梅

    玖辛奈裸体被❌羞羞

    男男Gay做受视频

    84.72MB
    215好评

    台湾GAy无套GayGay无套

  • 美女裸体全身㊙️洗澡

    含羞草❤成人网站hjcn

    哪灬你的鸣巴好大歌曲背后故事

    45.61MB
    736好评

    虐女殖器酷刑惨叫(h)

  • 一家共用一妻最后苏苏的背景故事

    vore🔞baraagnet

    扒开动漫❌狂揉❌羞羞

    10.24MB
    185好评

    刘亦菲一级婬片A片AAA毛

  • 密室调教しんぱらち堕落の羞耻

    美瓷把按在床上顶

    公妇乱婬100集

    44.45MB
    364好评

    鸣人强❌小樱微博

  • 女仆狂揉下部❌羞羞视频

    孕育的摇篮之卵游戏

    浪货看我不🌿你到高潮

    91.89MB
    207好评

    比基尼👙张开腿最小的

  • 北冥雪含精肉臀迎合娇吟

    黄✡️色✡️视💕频在线观看

    免费成人777cos

    30.44MB
    908好评

    美女露出㊙️让男人桶爽

  • 老外做爰全过高潮视频

    把🍌伸进女人的🍑

    凉森玲梦 绝顶 在线播放

    30.44MB
    549好评

    成人性生交大片免费看Vrv66

  • 斗破苍穹同人辱凌系列曹颖

    国内原创人人为我hjd核基地

    邪恶全彩☆堕落媚肉寒天

    29.89MB
    126好评

    XXXLسىكىش女

  • 大雷擦狙狙视频免费观看

    欧美男同Gay🔞戴套

    亚洲17c㊙️一区二区手机

    70.59MB
    458好评

    扒开老师❌狂揉❌难受视频

  • 男同与动人物ZOZ0Al鞠婧祎裸体被羞羞网站 title="当众扒开双腿调教花蒂" class="0v5366j9r7414 app-list-img" src="https://t11.m.mksxm.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    免费看裸体裹动漫

    在线观看无码视频

  • 免费动漫足控脚交漫画色情性黄❌片视频费东北 title="灯草和尚和温碧霞的背景故事" class="0v5366j9r7414 app-list-img" src="https://t10.m.mksxm.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    姨父来我家日娘的背景资料

    男模隐私㊙️网站不遮挡无内裤

  • 亚洲AV无码㊙️小宵虎南色妺妺爽爽影院 title="学长被c哭爬走又被拉回来视频" class="0v5366j9r7414 app-list-img" src="https://t12.m.mksxm.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    91❤国产丝袜脚调教

    韩漫无羞遮无删减H漫画

男人裸j照🔞无遮挡男 类似软件

猜你喜欢

相关攻略
包括 饿了么 的应用集
包括 饿了么 的应用集
谈论
  • 免费涩涩18网站入口下载 6天前
    人与嘼网站色情
  • 小🐔🐔伸进🈲🔞🔞电视 5天前
    王雨露孔头
  • 种公猪配美女 7天前
    سىكىشwwwsexcom
  • 小樱疯狂喷水自慰爽 5天前
    雷电将军裸身被❌羞羞照片
  • www深夜成人🔞网站在线观看 1天前
    性猛交AAAA片免费看直播软件
  • 精品人妻一区二区三区奶水 7天前
    17c国产精品一区二区
  • 牛奶姐妹动漫第一集免费观看 1天前
    扒开米塔❌狂揉下部
  • 校花扒腿让我c视频 7天前
    国外美女的换装瞬间
  • ai换脸宋轶自慰❌❌喷水好爽 5天前
    睡觉抓着小鸡一晚上会怎样
  • 一女被多人伦轩的4P文 1天前
    萌妹社隐藏人口