新智元报道

编辑：KingHZ

【新智元导读】原生1bit大模子BitNet b1.58 2B4T再升级！微软宣布BitNet v2，性能险些0损失，而占用内存和盘算本钱显著降低。

还没过几天，原班人马带着第二代BitNet v2来了！

这次性能险些0损失，但占用内存和盘算本钱显著降低！

论文链接：https://arxiv.org/abs/2504.18415

先前的开创性研究，如BitNet b1.58，已经证实：

纵然将权重量化到1.58位，也能在极大降低推理本钱（延迟、内存占用、吞吐量、能耗）的同时，坚持与全精度模子相当的性能。

然而，激活值异常点让1比特大语言模子安排变得重大。

BitNet v2框架，首次实现对1比特LLMs的原生4比特激活值量化。

针对注重力机制和前馈网络中激活值的异常漫衍问题，在激活值量化前，H-BitLinear？槭┘釉谙逪adamard变换（Hadamard transformation）。

图1上半部分：BitNet v2整体架构以及H-BitLinear？榈母爬

这种变换能将尖锐的激活值漫衍转化为更靠近高斯形态的平滑漫衍，从而适配低比特体现。

原生4比特盘算

得益于下一代GPU（如GB200）等硬件的前进，深度学习领域正迅速接纳量化和低比特推理手艺。

新硬件原生支持4比特盘算，为大规模模子带来显著的效率提升。

盘算机中32、16、8比特浮点数差别的体现要领

然而，只管BitNet b1.58将权重量化为1.58比特，缓解了内存带宽瓶颈，但它的激活值仍坚持8比特精度。

模子无法充分使用新硬件的4比特盘算能力。

实现更低比特宽度的激活值关于最大化硬件使用率至关主要，尤其是在批处置惩罚推理场景中，高效的内核设计尤为主要。

要害问题在于LLM内部激活值的不匀称漫衍。

虽然注重力机制和前馈网络（FFN）层的输入通常泛起类高斯漫衍，适合量化，但中心状态（最终投影前的输出）往往包括显著的离群值，阻碍了激进的低比特量化。

图1下半部分：注重力层中输出投影Wo和前馈网络中下投影Wdown的激活漫衍情形

对输入接纳4比特量化和对中心状态使用8比特希罕化，可以解决这一问题。

只管性能损失较小，但希罕化并不适合批处置惩罚推理场景的最大吞吐量需求，由于硬件更倾向于麋集盘算以提升效率。

为弥合这一差别并充分验展1.58比特LLM在4比特盘算中的潜力，研究团队提出了BitNet v2框架，实现了模子全流程的原生4比特激活值，框架焦点立异是H-BitLinear。

BitNet v2：原生4位激活

BitNet v2模子基于类似LLaMA的组件构建，包括RMS归一化、SwishGLU激活函数，并完全移除了偏置项（bias）。

BitNet v2的整体架构

与先前的BitNet相比，BitNet v2在注重力？榈氖涑鐾队癢o和前馈网络（FFN）的下投影Wdown中，引入了H-BitLinear？，以专门处置惩罚中心状态中泛起的异常通道（outlier channels）。

BitNet v2的训练流程分为两阶段：

首先，从零最先使用1.58位权重和8位激活（INT8）举行预训练；

随后，在坚持权重量化稳固的基础上,将所有线性层（除输入/输出embedding外）进一步微调为4位激活（INT4）。

H-BitLinear？

BitNet v2接纳逐张量平均绝对值量化（per-tensor absmean）战略对权重举行三值量化（也就是{-1, 0, 1}）：

关于低比特激活的问题，已有研究指出：

注重力层和前馈网络中前置线性变换的输入激活，通常泛起高斯漫衍，较适合量化；

而注重力输出（Wo）和FFN下投影（Wdown）的中心状态激活，则往往包括大宗离群通道（outlier channels），且大部分值集中于0周围，严重影响低位量化精度。

H-BitLinear可以取代注重力机制输出投影和FFN下投影的标准线性层。

H-BitLinear在激活量化前应用在线哈达玛变换），把中心状态中尖锐、易爆发离群值的漫衍重塑为更易处置惩罚的类高斯漫衍，显著镌汰1.58比特模子中离群值的影响。

Hadamard变换界说如下：

其中的矩阵乘法接纳快速Hadamard变换算法（Fast Hadamard Transform，FHT），其盘算重漂后为O(nlogn)。

Hadamard矩阵是一类特殊的正交矩阵。

它的特点是每个元素只能是+1或-1，并且每行（或每列）之间的内积为0，体现相互正交。

阿达马矩阵的命名来自于法国数学家Jacques Solomon Hadamard。

法国数学家：Jacques Solomon Hadamard

如图2和图3所示，引入Hadamard变换后，中心状态的漫衍越发靠近高斯形态。

这显著镌汰了离群值数目，使其更适合举行4位激活量化（INT4）。

图2：在使用8位激活时，BitNet b1.58与BitNet v2的激活漫衍比照。

图3：接纳8比特激活值时，BitNet b1.58与BitNet v2在前馈网络Wdown层和注重力机制Wo层的激活值漫衍比照。

关于8位激活（INT8）和4位激活（INT4）量化战略，划分接纳下列战略：

综上，H-BitLinear层的整体矩阵运算可体现为：

其中，LN(?)体现层归一化（LayerNorm）。

研究团队重新最先使用8比特激活值训练BitNet v2，与BitNet b1.58相比性能损失微乎其微。

随后，通过少量数据高效微调，模子即可适配原生4比特激活值。

实验效果

实验批注，4比特BitNet v2变体在性能上与BitNet a4.8相当，但在批处置惩罚推理场景中提供更高的盘算效率。

别的，与后训练量化要领SpinQuant和QuaRot，则险些周全领先。

比BitNet b1.58更快

BitNet V2与BitNet b1.58比，性能险些0损失。

BitNet v2及其基线模子的详细实验效果，如表1所示。

在注重力机制和前馈网络（FFN）层的量化前引入哈达玛变换后，模子的疑心度（perplexity）下降极小。

关于8比特激活值，BitNet v2相较于BitNet b1.58体现出更高的性能，在1.3B、3B和7B模子规模上，终端使命的平均准确率划分提升了0.16%、0.49%和0.61%。

别的，BitNet v2支持所有线性层的原生4比特激活值，从而显著提升了批处置惩罚推理的效率。

在使用INT4（4比特整数）激活值时，BitNet v2的疑心度与BitNet a4.8相当，同时在3B和7B模子的下游使命中展现出更优的性能。

表1：BitNet v2、BitNet a4.8与BitNet b1.58在终端使命上的疑心度及性能体现

表2和表3划分总结了BitNet v2（8比特激活，a8）和BitNet v2（4比特激活，a4）在低比特注重力机制下的详细效果。

研究职员对QKV状态接纳了RoPE（旋转位置编码）后的量化要领。

QKV头通过absmax函数直接量化为无符号整数，无需任何校准数据集。

如表2和表3所示，接纳3比特KV缓存的BitNet v2在3B和7B模子上的准确率与使用全精度KV缓存的模子相当。

表2：BitNet v2在终端使命上的零样本准确率，其中激活使用8位，而QKV状态的位宽则有所差别。

表3：BitNet v2在终端使命上的零样本准确率，其中激活使用4位，而QKV状态的位宽则有所差别。

与其他后训练量化要领的比照

BitNet v2 (a4)与主流的后训练量化基线要领举行了比照，包括SpinQuant和QuaRot，在1.3B参数规模的模子上举行了评测。

QuaRot通过引入随机Hadamard变换以缓解特征离群问题，SpinQuant则使用了可学习的旋转矩阵（rotary matrix）。

随后，这两种要领划分接纳GPTQ和absmax战略，将权重和激活量化到4位。

由于BitNet b1.58沿用训练时使用的absmean函数举行权重量化，而非使用GPTQ。

在各项指标上，BitNet v2稳拿第一，详细效果见表4。

表4：BitNet v2、QuaRot和SpinQuant在各项下游使命上的疑心度（Perplexity）与零样本准确率（Zero-shot Accuracy）比照

另外，在Hadamard变换对差别模子尺寸（1.3B和3B）影响的实验（见表5）中，研究者发明：

没有旋转处置惩罚（No rotation）时，模子直接发散，无法正常训练；

引入Hadamard旋转（无论是权重+激活，照旧仅激活），都能显著稳固低位训练，并提高最终准确率。

表5：差别规模下H-BitLinear的Hadamard变换的消融研究。

模子训练、消融实验等其他内容和细节，请参阅原文。

参考资料：

https://arxiv.org/abs/2504.18415