论文第一作者谭宇乔来自中国科学院自动化研究所的自然语言处置惩罚和知识工程研究组，导师为何世柱先生。现在研究偏向主要在使用大语言模子参数知识增强盛模子能力。

1 跨规模参数知识迁徙 PKT 的周全剖析

人类的头脑是非透明的，没有继续的影象，因此需要通过语言交流的情形来学习。人类的知识转达恒久依赖符号语言：从文字、数学公式到编程代码，我们通过符号系统将知识编码、解码。但这种方法保存自然瓶颈，好比信息冗余、效率低下等。

现现在，大语言模子（LLM）就主要模拟这一套范式来学习和转达知识。然而，与人脑不可知和不透明的特征差别，开源 LLM 的可会见参数和信息流则像一个透明的大脑，直接编码了事实知识，已有的研究对其举行了系统剖析、准确定位和有用转移。因此研究职员提出疑问：大模子能否像《阿凡达》中的人类和纳威人之间建设转达知识的训练？其中在自然保存的较大 LLM 和较小 LLM 对之间睁开，将参数知识作为前言。

最近，中国科学院自动化所提出对 Parametric Knowledge Transfer (PKT，参数知识迁徙) 的周全剖析。一句话总结：跨规模大模子之间的体现相似和参数结构相似度都极低，这对实现有用的 PKT 提出了极大的挑战。

论文问题：Neural Incompatibility: The Unbridgeable Gap of Cross-Scale Parametric Knowledge Transfer in Large Language Models论文地点：https://arxiv.org/abs/2505.14436Github 地点：https://github.com/Trae1ounG/Neural_Incompatibility

2 新的 Pre-Align PKT 范式：定位后对齐 LaTen

论文首先通过简朴的前置实验，挖掘出参数空间的对齐是实现参数知识迁徙的须要条件。现有的参数对齐要领Seeking通过梯度定位部分较大 LLM 参数以适配较小 LLM 张量形状，将其初始化为 LoRA 矩阵通事后续微调实现迁徙，称之为后对齐参数迁徙要领（Post-Align PKT）。论文为了更周全探索 PKT 是否可行，凭证对齐时机提出先对齐知识迁徙（Pre-Align PKT）新范式，接纳定位后对齐（Locate-then-Align，LaTen）要领实现参数对齐。

图表 1：展示了基于语言的知识迁徙和基于参数的知识迁徙范式的差别

该要领的焦点理念是首先通过神经元级别的归因剖析，识别出与特定使命相关的参数，然后使用训练适当的超网络，将较大 LLM 的知识映射到较小 LLM 上。

详细而言，LaTen 要领分为两个阶段：

知识提。和ㄌ龃竽Ｗ拥牟问，识别出与目的使命相关的知识。这一历程使用静态神经元归因要领，盘算出每个神经元在使命中的主要性，从而选择出最具信息量的参数举行迁徙。参数对齐：一旦确定了主要参数，接下来通过轻量级的超网络举行对齐，确保这些参数能够有用整合到小型模子中。参数注入：这一历程强调在对齐后直接注入参数，镌汰了后续逊需的资源和时间。

通过上述流程，就可以将较大模子中的参数知识转换为在较小模子中可受用的知识进而举行注入，以阻止参数空间的差别性导致的性能丧失。

3 对齐实验剖析

在实验部分，研究者针对多个基准数据集，涵盖天下知识（MMLU），数学推理（GSM8K）和代码能力（HumanEval 和 MBPP）举行了详细评估。

图表 2：展示 Post-Align PKT 和 Pre-Align PKT 在差别数据集上的性能体现

实验结论：

关于 Post-Align PKT，论文将其同使用 SVD 从模子自身获取 LoRA 的 PiSSA 要领比照，效果发明 PiSSA 在相同设置下优于 Seeking，证实从较大模子抽取的参数知识不如使用模子自身知识作为 LoRA 初始化，进一步嫌疑其可行性。关于 Pre-Align PKT，效果显示，只需要少少的训练步数和数据开销，LaTen 能有用取得性能提升。可是 Pre-Align PKT 通过训练实现参数对齐的方法受到极大限制，无法逾越较大 LLM 的能力上界，同时训练不太稳固，没有显着收敛。

别的，论文从另一个方面来验证现在阶段的 PKT 是否有用。既然假设迁徙的参数知识中包括了有用的特定使命的知识，那么在特定使命上体现更好的模子，理应在迁徙后能让小模子的性能更好。因此，研究者在代码使命上开展了这一探索实验：

图表 3：基于更强的较大 LLM 向较小 LLM 转达知识，左图为 Post-Aligh PKT 实验效果，右图为 Pre-Align PKT 实验效果

实验效果证实晰两种 PKT 在这种设置下的失败，让人疑惑为什么跨规模 PKT 无法有用实现？

4 为什么跨规模 PKT 失败？

PKT 的焦点使命在于对齐（Align），不管是通事后续训练照旧提前通过超网络实现，是否能有用实现对齐是 PKT 乐成的要害。从现有实验效果来看，PKT 并没有有用实现对齐，那么阻碍的要害在哪？

论文从体现相似度（representation similarity）和参数相似度（parametric similarity）出发，剖析跨规模大模子在行为方法和内部参数结构的相似度是否会导致跨规模 PKT 的失败，称为神经不兼容性（Neuron Incompatibility）。

图表 4：跨规模大模子之间的体现相似度剖析

关于体现相似度的剖析，论文接纳了中心核对齐（Centered Kernel Alignment, CKA）要领，该要领基于 Hilbert-Schmidt 自力性准则（HSIC），用于盘算神经网络中特征体现的相似性。该指标评估了两个模子之间行为的相似性，可以视为大语言模子的行为相似性。

如图 4 所示，Llama2-7B 和 13B 之间的相似性较低，尤其是在多头自注重力（MHSA）？橹，该？樵谛畔⒄现惺窝葑胖凉刂饕慕巧。有趣的是，上投影层的相似性较高，这可能是由于它们作为要害影象，捕获特定的输入模式，而这些模式通常在差别模子间是一致的？绻婺４竽Ｗ又涞牡拖嗨菩砸糙故土宋未油骋荒Ｗ友苌 LoRA 体现更好，由于它与模子的内在行为更为贴合。证实跨规模大语言模子之间的体现相似性较弱是导致神经不兼容性的要害因素之一，这使得理想的参数知识转移乐成变得难题。

5 总结与展望：理想的 PKT 尚待实现

人类从牙牙学语到学贯古今，通过语言和文字在历史长河中一直罗致知识，通过吸收和迭代实现知识的传承。

然而，我＠硐肽苁迪，类似科幻小说中三体人直接通过脑电波转达所有知识，或使用一张链接床就能把人类的意识输入到纳威人体内，这是一种更理想的知识转达方法，而开放的大模子参数正有可能实现这一点。

通过将 PKT 凭证 Align 举行划分，我们完成了对现有阶段 PKT 的周全研究，找出了实验效果欠佳的背后是差别规模大模子之间参数知识实质上的行为和结构的差别。

但仍期望，在未来大模子之间的交流不再局限于语言这种有损的压缩方法，而去实验更高效直接的迁徙要领。

语言，或许是人类知识的起点，但纷歧定是大模子的终点。