新智元报道

编辑：KingHZ

【新智元导读】重磅开源！新一代最强小模子SmolLM3横空出生：30亿参数，支持128k长上下文！并且训练、对齐、架构、数据等全链路，Hugging Face这次100%开放——堪称真「Open AI」
。

重磅开源！

刚刚，Hugging Face推出了现在最强的30亿参数模子SmolLM3：

· 双推理模式：think，no_think

· 超长上下文：最长可达128k

· 多语言支持：英语、法语、西班牙语、德语、意大利语、葡萄牙语

· 完全开源：数据、代码、构建要领

基础模子: https://hf.co/HuggingFaceTB/SmolLM3-3B-Base

指令和推理模子: https://hf.co/HuggingFaceTB/SmolLM3-3B

小模子认真人Loubna Ben Allal云云评价SmolLM3：「强盛、小巧的推理模子」
。

SmolLM3性能很强：

逾越Llama3.2-3B和Qwen2.5-3B

迫近40亿参数模子（如Qwen3和Gemma3）

主要的是，它果真了完整的构建要领！100%开源，极大镌汰了反向工程的时间，为小模子开发提供了难堪的参考范本
。

SmolLM3不但展示了完整的「训练-微调-对齐」开源范式，也在提醒：

模子规模不是唯一谜底，工程细节才是制胜要害！

预训练

在模子架构和数据混淆战略方面，SmolLM3做出了显著优化
。

先从架构设计与训练设置提及
。

模子架构与预训练阶段

在Llama架构的基础上，SmolLM3引入多项要害刷新，以提升效率和长上下文处置惩罚能力
。

要害架构优化一览：

GQA机制：将古板多头注重力替换为4组Grouped Query Attention，性能相当但大幅降低KV缓存开销，推理更高效
。

NoPE编码：每隔4层移除旋转位置编码（RoPE），显著提升长文本处置惩罚能力，而随笔本使命不受影响
。

文档内注重力屏障：统一训练序列中差别文档的token相互隔离，提升训练稳固性和长文本学习能力
。

稳固性优化：借鉴OLMo 2，去除嵌入层权重衰减，使参数收敛更稳，对模子性能无负面影响
。

相关论文：

论文链接：https://arxiv.org/abs/2501.18795

论文链接：https://arxiv.org/abs/2501.00656

基于相同架构举行的消融实验，验证了上述所有改动，确保各项优化步伐在提升或坚持性能的同时，带来了特殊优势
。

训练设置如下：

漫衍式训练设置，见下图
。

除了架构层面的刷新，团队也系统性的实验与优化了训练系统
。

数据混淆战略与训练阶段

延续SmolLM2所接纳的多阶段训练要领，SmolLM3使用的训练数据总量达11.2万亿个token，训练接纳三阶段战略
。

团队混淆了网页文本、数学内容与代码数据，还凭证训练进度，调解种种数据的比例
。

为了确定最优的数据组成与配比，在多个3B模子上，他们举行了大宗消融实验，训练数据量涵盖从500亿到1000亿token
。

预训练包括以下三个阶段：

· 阶段1：为模子打下通用基础

· 阶段2：引入更多高质量专业数据

· 阶段3：重点提升数学与编程能力

各阶段混淆数据配比和泉源，如下：

通过上述数据混淆战略，在多个使命上，训练出的基础模子体现优异
。

别的，在主预训练完成后，研究团队还举行了专门的中心训练阶段，以进一步增强模子在长文本处置惩罚和重大推理使命中的体现
。

中期训练（Mid-training）

长上下文顺应和推理顺应被称为「中期训练」
。

与主预训练相比，这些训练阶段要短得多，但仍然具有通用性
。

长上下文扩展

在主预训练完成后，特殊训练了SmolLM3，进一步扩展模子的上下文处置惩罚能力
。

该阶段共使用了1000亿个token，分为两个阶段，各使用500亿token，刷新如下表所示：

这两个阶段均过采样了数学、代码和推理相关数据，增强了模子的长文本明确与推理能力
。

在RULER和HELMET等长上下文基准测试中，研究职员发明：

进一步增添特定类型的长文本数据，并不可带来特殊性能提升
。

这批注：在64k长度的上下文使命中，仅使用NoPE编码、更长的训练序列以及更高的RoPE的theta值，已足以让模子取得优异体现
。

别的，借鉴Qwen2.5，在推理阶段，这次接纳YARN手艺，将上下文窗口从训练时的64k外推至128k，上下文扩展了2倍
。

推理中心训练阶段

为了进一步注入通用推理能力，尚有一项训练：推理中心训练
。

与预训练和后续微调差别，这一阶段不面向任何特定领域，而是着重作育模子的通用推理能力
。

此阶段使用了总计350亿个token数据，主要来自两个泉源：

OpenThoughts3-1.2M，以及Llama-Nemotron-Post-Training-Dataset-v1.1数据集中的一个子集，其中包括R1标注的推理轨迹
。

为了镌汰对模子结构的显式指导，这次接纳ChatML名堂的对话模板，并通过packing手艺压缩了数据
。

总训练量约为1400亿token
。

最终模子的checkpoint将用于后续的指令微调（SFT）阶段
。

后训练

随着DeepSeek R1等推理模子的推出，推理为模子带来的强概略现已获业界公认
。

但至今缺乏构建双指令模子（同时支持推理与非推理模式）的完整开源计划
。现有要领多依赖重大强化学习流程与私有数据，严重阻碍研究职员复现与再开发
。

此次，Hugging Face果真了双模式指令模子的完整构建计划
。

训练流程从注入通用推理能力的中心训练起步，融合合成数据监视微调（SFT），再通过基于DPO刷新的Anchored Preference Optimization（APO）实现偏好对齐
。

这套全心设计的多阶段流程，在推理与非推理模式间，乐成告竣了性能平衡
。

谈天模板设计

SmolLM3双模式模子通过谈天模板与用户交互，允许用户准确控制推理模式
。（和Qwen3一样）

用户可以用/think或/no_think切换推理与非推理模式
。

别的，SmolLM3支持工具挪用
。

谈天模板还包括默认系统新闻和元数据（如日期、知识阻止时间、推理模式），并允许用户自界说或禁用元数据显示，无邪适配差别场景
。

监视微调

在完成中心训练后，团队继续对SmolLM3举行监视微调，以增强其在推理与非推理两种模式下的综合能力
。

目的笼罩数学、编程、通用推理、指令追随、多语言处置惩罚以及工具挪用等使命
。

焦点挑战在于：部分使命领域缺乏带有推理轨迹（reasoning traces）的标注数据
。

为填补这一空缺，他们使用Qwen3-32B以推理模式重新天生了非推理数据集的提醒，从而构建出合成推理数据
。

在整个监视微调历程中，还对种种数据举行详尽调配，以确保模子坚持稳健的性能
。

在大宗消融实验的基础上，最终构建的SFT数据集中共有18亿token，比例泉源如下

为增进社区的研究与实践，他们将开源这套数据配例如案与完整训练剧本
。

离线战略模子对齐

在完成监视微调后，模子进一步通过偏勤学习举行了对齐训练
。

非推理模式和推理模式部分，划分接纳了Tulu3的果真偏好数据集、Qwen3-32B和Qwen3-0.6B合成的一批偏好对
。

在构建偏好数据时，他们选取Qwen3-32B的回覆作为偏好对中的「选中谜底」（chosen），而Qwen3-0.6B的回覆作为「被拒绝谜底」（rejected），并接纳APO要领举行对齐训练
。

对齐流程进一步统一了差别模式下的气概与偏好选择，为后续使命涤讪了优异基础
。

Anchored Preference Optimization(APO)是Direct Preference Optimization(DPO)的变体，但提供了更为稳固的优化目的
。

在DPO中，在训练历程中，奖励函数rθ(x,y)权衡了模子天生序列的概率与训练初期参考模子之间的对数比值：

其中，β参数控制优化模子相关于参考模子的转变幅度
。

DPO损失函数主要通过优化由提醒x、选中回覆y_w和被拒绝回覆y_l组成的三元组来实现模子的刷新
。

与DPO相比，APO目的在训练历程中越发稳固
。

虽然在下游评估中，数学、科学、指令追随、编程、对话和多语言使命均有显著提升，但在长上下文基准（如 RULER）上的体现却有所下降
。

为此，团队追溯到推理中心训练阶段，发明模子长上下文处置惩罚能力有所损失
。

别的，APO训练数据的上下文限制24k token
。

为相识决这一问题并缓解性能下降，团队最先探索模子合并
。

模子合并

在不增添集成盘算开销或无需特殊训练的情形下，使用MergeKit合并APO检查点与长上下文训练checkpoint（权重0.9:0.1），兼顾推理对齐与长文本能力
。

通过这种合并要领，在多个使命中，获得的模子坚持了优异的体现
。

接下来，请审查该模子与基础模子的评估效果
。

评估

在推理模式和非推理模式下，团队划分评估了基础模子和指令模子的体现
。

基础模子

在各项使命中，SmolLM3始终优于其他3B模子，并且在与4B模子比照时也展现了强劲的竞争力
。

在知识和推理类基准测试中，SmolLM3取得了第一或第二名，数学和编程能力也体现不俗
。

关于长上下文使命，在Ruler 64k基准测试中，SmolLM3体现突出
。

在五种主要欧洲语言的基准测试中，它也展现了强盛的能力，涵盖Global MMLU、MLMM HellaSwag、Flores-200和Belebele，内容包括知识、知识推理、文本明确和翻译能力
。

这批注在英语之外的语言中，SmolLM3同样坚持了一致的优异体现
。

总体而言，基础模子在多个领域展示了卓越的体现
。接下来，让我们看看这些优势怎样转化到指令模子的体现上
。

双模式指令/推理模子

SmolLM3同时支持指令模式和推理模式，需要划分评估其体现，并与具备相同能力的其他模子做较量
。

非推理模式评估

SmolLM3与其他3B非推理模子举行了较量，并在多个基准测试中，与Qwen3推理模子在无推理模式下举行比照
。

正如下图所示，SmolLM3在推理能力和效率之间找到了最佳平衡点
。

在盘算本钱较低的情形下，SmolLM3显著逾越Qwen3 1.7B，并靠近4B模子的性能，领先于测试的其他3B非推理模子
。

指令模子在性能和本钱之间找到了最佳平衡点
。

扩展推理评估

在启用扩展推理后，继续评估了SmolLM3的推理体现
。

与非推理模子相比，SmolLM3在大大都基准测试中取得了显著希望
。

在一些具有挑战性的使命中，研究职员视察到了显著提升，例如AIME 2025（36.7%比照9.3%）、LiveCodeBench上的竞争性编程（30.0%比照15.2%）以及GPQA Diamond上的研究生级推理（41.7%比照35.7%）
。

只管在推理和非推理模式下，Qwen3-4B通常能够获得最高分数，但SmolLM3在3B参数类中依然展现出了竞争力，特殊是在数学推理和重大问题解决使命中体现突出
。

最后一个问题是：怎样使用这个模子？

怎样在外地运行

SmolLM3的模子代码已在transformers v4.53.0中宣布，确保您已升级到该版本的transformers
。

还可以通过最新版本的vllm加载该模子，vllm使用transformers作为后端
。

启用和禁用扩展推理模式

默认情形下，扩展推理模式已启用，因此上述示例会天生带有推理轨迹的输出
。

要启用或禁用推理模式，在系统提醒中使用/think或/no_think标记，如下所示
。

天生带扩展推理的代码办法相同，唯一的区别在于系统提醒应为/thin而不是/no_think
。

智能体使用

SmolLM3支持工具挪用！

只需将工具列表转达到xml_tools（标准工具挪用）或python_tools（挪用如Python函数的工具）参数中
。

参考资料：

https://x.com/LoubnaBenAllal1/status/1942614508549333211

https://HuggingFace.co/blog/smollm3