Overview of Nemotron series

Author

Updated

Sep, 09, 2026

Category

LLM

Introduction

ModelYearParametersAttentionFFNTraining Tokens
Nemotron 3 Nano2025.1230B-A3BGQA + MambaMoE25T
Nemotron 3 Super2026.04120B-A12BGQA + MambaLatent MoE25T
Nemotron 3 Ultra2026.6550B-A55BGQA + MambaLatent MoE20T

架构细节如下表所示

ModelNemotron 3 NanoNemotron 3 SuperNemotron 3 Ultra
num layers5288108
hidden size268840968192
num attention heads323264
num key-value heads222
head dim128128128
mamba state dim128128128
mamba groups888
mamba heads64128256
mamba head dim646464
expert hidden size185626885120
total experts128512512
activated experts62222
shared experts222
MoE latent size-10242048
MTP layers-22

Nemotron 3 Nano

Nvidia 在 25 年 12 月发布了 Nemotron 3 Nano (NVIDIA et al., 2025), 一个基于 Mamba-2 (Dao & Gu, 2024) 和 GQA (Ainslie et al., 2023) 混合注意力，以及 MoE 架构的大语言模型。 其中，MoE 模块包含 128 个专家，激活 6 个专家，参数量为 31.6B-A3.2B.

Architecture

Nemotron 3 Nano 的架构基于 Nemotron-H 和 Nemotron 2 Nano,

Data

Pre-training Data

Pre-training data 包括以下几个部分：

  1. Nemotron-CC-Code-v1: 基于 Nemotron-CC-Math pipeline 构建了高质量 code pre-training corpus, 使用了 Lynx + LLM pipeline 来进行过滤和优化，最终包含 428B tokens.
  2. Nemotron-Pretraining-Code-v2: 基于 Nemotron 2 Nano 从 Github 构建了 source-code corpus. 还基于 Nemotron-H 的策略使用 Qwen3-32B 来合成 QA pairs. 作者还是用了 code-rewriting 来提高代码数据的质量
  3. Nemotron-CC-v2.1: 基于 Nemotron-CC recipe 来构建 CC web crawl data, 加入了 2.1T 新 token.
  4. Nemotron-Pretraining-Specialized-v1: 包括 Wikipedia, Math Textbook, Scientific Coding, cross-domain code, STEAM reasoning 和一些 SFT 风格的数据，作者使用了 Nemo Data Designer 来实现 data generation pipeline.

最终，pre-training 2 个 phase 的数据配比如下图所示，其中 phase 1 的数据占比为 94%94\%.

Nemotron 3 Nano Pre-training Phase 1
Nemotron 3 Nano Pre-training Phase 2

SFT

SFT 阶段的数据包含以下部分：

  1. math and code: 基于 Nemotron 2 Nano
  2. tool use
  3. long context: 128k
  4. formal proof: 基于社区数据，包含 300k samples
  5. multilingual: 基于 Nemotron 2 Nano
  6. terminal use: 基于 Terminal Bench 构造，作者还使用了 SWE-Smith 的数据
  7. general chat: LMSYS 和 WildChat
  8. instruction following: 基于 Tulu3 和 IFEval, IFBench
  9. safety: Nemotron Content Safety v2, Gretel Safety Alignment v1, Harmful Tasks 和 Red-Team-2K
  10. SWE: 使用 SWE-Gym 和 R2E-Gym 数据集，基于 OpenHands, SWE-Agent 和 Mini-SWE-Agent 来蒸馏轨迹
  11. Science: 基于 Nemotron 2 Nano
  12. GenSelect
  13. CUDA: 基于 HuggingFace Transformers 和 Kernelbook 进行合成

最终 SFT 阶段一共包括 18M samples, 数据配比如下图所示

Nemotron 3 Nano SFT

为了提高模型的动态思考能力，作者采用了与 Nemotron 2 Nano 类似的方法：将 10%10\% reasoning 数据的 CoT 丢弃掉，将 3%3\% reasoning 数据根据不同的 reasoning budget 进行截断。

RL

作者使用了 unified RL 的训练方式，数据包括：

RLHF 的训练数据主要来原始 HelpSteer3

Training

Pre-training

Pre-training 阶段作者使用了 Warm-Stable-Decay learning rate (8.4B warmup, 20T stable, 5T decay), context length 为 8192, batch size 为 3072.

与 Nemotron 2 Nano 一致，作者加入了一个 long-context phase 来提高模型的长上下文能力，该阶段的数据配比为, document QA: long context data: phase 2 data = 20: 1: 79. 这个阶段使用了 121B tokens.

Post-training

Post-training 分为 SFT 和 RL 两个阶段。 作者将 reasoning flow 进行了如下修改：

  1. 对于 multi-step 场景，保留模型的 reasoning token
  2. 对于 multi-turn 场景，一旦用户输入了新的内容，则会将之前的 reasoning content 丢弃掉

这个上下文管理方式与 DeepSeek-V3.2 一致。

对于工具调用，作者使用了 XML 风格的 tags 来减少 character escaping.

RL 阶段训练时，作者使用了 LLaMA-Nemotron 动态调整问题难度的方法。作者将 pass-rate 建模为一个 Gaussian function, 随训练进行逐渐调整问题难度。

RL 的算法为 synchronous GRPO 算法，作者还是用了 MIS 来解决训练推理不一致性。

对于 RLHF, 作者使用了 GenRM 来训练 reward model. 训练时的 reward 包括 ranking difference, helpfulness score, format score.

训练时，作者提出了 group relative length control 机制来减少 redundant thinking.

作者还提出了 PTQ 来进行量化，作者发现基于 post-training reasoning SFT dataset 来进行 calibration 效果更好。

作者通过实验发现，self-attention layers 最敏感，因此作者使用了 BF16 精度。对于 model weights, activations, KV cache, 作者使用了 FP8 精度。

Infra

RL 的训练基于 Nemo RL 和 Nemo Gym.

Experiments

  1. Ainslie, J., Lee-Thorp, J., de Jong, M., Zemlyanskiy, Y., Lebron, F., & Sanghai, S. (2023). GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. The 2023 Conference on Empirical Methods in Natural Language Processing. https://openreview.net/forum?id=hmOwOZWzYE
  2. Dao, T., & Gu, A. (2024). Transformers are SSMs: generalized models and efficient algorithms through structured state space duality. Proceedings of the 41st International Conference on Machine Learning.
  3. NVIDIA, :, Blakeman, A., Grattafiori, A., Basant, A., Gupta, A., Khattar, A., Renduchintala, A., Vavre, A., Shukla, A., Bercovich, A., Ficek, A., Shaposhnikov, A., Kondratenko, A., Bukharin, A., Milesi, A., Taghibakhshi, A., Liu, A., Barton, A., … Yan, Z. (2025). Nemotron 3 Nano: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning. https://arxiv.org/abs/2512.20848

Nemotron 3 Super

NVIDIA 在 2026年 4 月 提出了 Nemotron 3 Super, 一个基于 Mamba-2 (Dao & Gu, 2024) 和 GQA (Ainslie et al., 2023) 混合注意力，以及 MoE 架构的大语言模型。 其中，MoE 模块包含 512 个专家，激活 24 个专家，参数量为 120B-A12B.

相比于 Nemotron 3 Nano, Nemotron 3 Super 主要有三点改进：

  1. 基于 NVFP4 精度进行预训练
  2. MoE 架构采用了 LatentMoE
  3. 使用了 MTP 来实现 speculative decoding

Architecture

Nemotron 3 Super 的 Attention 采用了 Mamba 和 GQA 的混合架构，FFN 采用了 LatentMoE 架构。 与其他主流模型一致，MTP 也被用于提高 decoding 效率

关于 LatentMoE, 详情见 LatentMoE.

针对 MTP, Nemotron 3 Super 主要提出了在不同的 MTP heads 之间共享参数来实现变长 speculative decoding 的目标，实验结果发现模型的 acceptance length 比 DeepSeek-R1 (Guo et al., 2025) 和 Qwen3-Next (Team, 2025) 高。

关于 attention, Nemotron 3 Super 将 GQA 作为 global anchor 来提高模型的上下文交互能力

不同模块的精度如下表所示

Layer TypeFormatRationale
All Linear Layers Unless Otherwise NotedNVFP4
Final 15% of NetworkBF16Promote training stability at scale
Latent ProjectionsBF16Strategically kept in BF16 as step-time impact is negligible
MTP LayersBF16Preserves multi-token prediction capabilities
QKV & Attention ProjectionsBF16Maintain fidelity of few attention layers
Mamba Output ProjectionMXFP8Mitigates high incidence of underflows observed when quantizing this layer to NVFP4 at smaller scales
Embedding LayersBF16

Data

Pre-training Data

预训练数据在 Nemotron 3 Nano 的基础上额外增加了

  1. code concepts, 基于 HumanEval 提取 91 code concepts, 然后使用 GPT-oss 来生成相应的编程问题，得到 14M problems, 再生成多样化的答案，得到 23M problem-solution pairs, 最后对数据进行过滤得到 15M problems.
  2. unconditional algorithmic data, 作者使用一些简单的问题来让模型生成 leetcode 风格的问题以及答案，最终得到 0.2B tokens
  3. economics, 合成了一批 MCQ 数据
  4. formal logic
  5. MCQ, 合成了 3.5M MMLU-style 的 MCQ samples, 大约有 1.6B tokens.

最终，pre-training 2 个 phase 的数据配比如下图所示，其中 phase 1 的数据占比为 80%80\%.

Nemotron 3 Super Pre-training Phase 1
Nemotron 3 Super Pre-training Phase 2

最终 Nemotron 3 Super 的预训练使用了 25T token.

Post-training Data

SFT 阶段的数据也基于 Nemotron 3 Nano

  1. SWE, 从 SWE-Gym, R2E-Gym 和 SWE-rebench 数据集中收集 issue, 使用 Qwen3-Coder 在 Openhands agent harness 中来收集轨迹
  2. agentic programming, NeMo Data Designer 收集 20k queries, 使用 GPT-oss 120b 过滤任务，得到 15k tasks, 增加了 3k 的 SWE 相关任务和 10k web development 相关任务
  3. long context, concatenate documents 并合成 multi-hop reasoning QA
  4. financial reasoning, 565 seed questions
  5. CUDA, 100K samples
  6. safety, 在 Nemotron 3 Nano 的基础上使用了一个两阶段的 response
  7. search, 基于 wikidata knowledge graph, 然后合成 search problems
  8. terminal use, 基于 Nemotron-Terminal 合成了 84k samples.
  9. SQL, 96.5k records
  10. conversational tool use, 279k samples
  11. general tool use, 1.5M samples

最终 SFT 阶段包括 7M samples, 80B tokens, 其中 stage 1 占比 85%85\%, 数据配比如下所示

Nemotron 3 Super SFT

RLVR 阶段的数据基于 Nemo Gym 合成得到，最终，作者在 37 个不同的数据集和 21个 environments 上进行训练

SWE-RL 阶段，作者使用 OpenHands 来生产 code patch, 为了提高 harness 多样性，作者还在 OpenHands 中实现了 Codex, OpenCode 等 agent.

Training

Pre-training

作者在预训练阶段探究了使用 model merge 来提高模型的表现，结果发现在 WSD stable stage, 使用 model merge 可以有效提高模型的表现，但是在 decay stage, model merge 的效果提升有限。

在 Phase 2 结果之后，与 Nemotron 3 Nano 一样，作者也加入了一个 long-context phase, 训练数据中 QA 数据占比 20%20\%, 来源于 LC data, 其余 80%80\% 来自 phase 2 data, 最终一共训练了 17B tokens.

Post-traning

Post-training 分为 SFT, RL, MTP healing 三个阶段。

在 SFT 阶段，作者将训练分为了两个 phase, 其中, phase 1 主要是提高模型的 reasoning 能力， phase 2 用于提高模型的对话质量，防止出现过长的输出。

phase 1 的损失函数为 token level NLL loss:

Ltok=∑c∈B∑t∈Ocℓt∑c∈B∣Oc∣\mathcal{L}_{tok} = \frac{\sum_{c\in\mathcal{B}}\sum_{t\in\mathcal{O}_c}\ell_t}{\sum_{c\in\mathcal{B}}|\mathcal{O}_c|}

phase 2 的损失函数为 sample level NLL loss:

Lsam=1∣B∣∑c∈B∑t∈Oc1∣Oc∣ℓt\mathcal{L}_{sam} = \frac{1}{|\mathcal{B}|}\sum_{c\in\mathcal{B}}\sum_{t\in\mathcal{O}_c}\frac{1}{|\mathcal{O}_c|}\ell_t

其中 B\mathcal{B} 为 global batch, Oc\mathcal{O}_c 为 response token, ℓt=−log⁡pθ(yt∣x,y<t)\ell_t=-\log p_{\theta}(y_t\mid x,y_{<t}) 为 NLL loss.

训练时，作者使用了三个 reasoning modes: reasoning-off, regular 和 low-effort, reasoning-off samples 通过 strip CoT 得到。

RL 的训练分为了 4 个阶段：1. RLVR; 2. SWE-RL; 3. RLHF; 4. MTP Healing

RLVR 训练时使用了 21 个 environments, 且根据难度进行了过滤。 训练过程中，作者还加入了 2%2\% 左右的 low-effort reasoning data 来提高模型的 reasoning efficiency.

SWE-RL 阶段，作者在 OpenHands 中实现了 OpenCode, Codex agent classes 来提高 tool diversity.

RLHF 阶段，与 Nemotron 3 Nano 一样，作者训练了一个 GenRM model 来提供 supervision.

RL 训练时，作者使用了 async RL, inference engine 的 staleness 设置为 1 step.

作者还使用了 MIS 来解决 training-inference mismatch 问题

在 agentic RL 训练过程中，作者使用了 PivotRL 策略，训练的 domain 包括 agentic programming, search, terminal use 和 conversational use.

RL 的训练基于 Nemo Gym 和 Nemo RL

Inference

作者使用了 PTQ 来得到 FP8 和 NVFP4 checkpoint, FP8 量化策略如下

ConfigurationFP8 CheckpointBF16 Baseline
EmbeddingBF16BF16
Attention GEMM (QKV and Out Projection)BF16BF16
KV Cache + Attention BMM1FP8FP8
Attention BMM2BF16BF16
MoE GEMM (Sparse Experts and Shared Experts)FP8BF16
MoE Latent Projection GEMMBF16BF16
RouterFP32FP32
Mamba GEMMFP8BF16
Mamba SSM CacheFP16FP32
Mamba 1D ConvBF16BF16
Output LayersBF16BF16

NVFP4 量化策略如下

以下是根据图片内容转换的 Markdown 表格：

ConfigurationAutoQuantize Searched?NVFP4 CheckpointBF16 Baseline
EmbeddingNoBF16BF16
Attention QKV Projection GEMMYesBF16BF16
Attention Output Projection GEMMYesFP8 / BF16BF16
KV Cache + Attention BMM1NoFP8FP8
Attention BMM2NoBF16BF16
Sparse Expert (Routed) GEMMYesNVFP4BF16
Shared Expert GEMMYesNVFP4 / FP8 / BF16BF16
MoE Latent Projection GEMMYesFP8 / BF16BF16
RouterNoFP32FP32
Mamba Projection GEMMYesFP8 / BF16BF16
Mamba 1D ConvNoBF16BF16
Mamba SSM CacheNoFP16FP32
Output LayersNoBF16BF16

为了提高 decoding 阶段读取 Mamba state cache 的速度，作者在读取/写入 cache 时，使用 FP16 精度，计算时使用 FP32 精度

  1. Ainslie, J., Lee-Thorp, J., de Jong, M., Zemlyanskiy, Y., Lebron, F., & Sanghai, S. (2023). GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. The 2023 Conference on Empirical Methods in Natural Language Processing. https://openreview.net/forum?id=hmOwOZWzYE
  2. Dao, T., & Gu, A. (2024). Transformers are SSMs: generalized models and efficient algorithms through structured state space duality. Proceedings of the 41st International Conference on Machine Learning.
  3. Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., Zhu, Q., Xu, R., Zhang, R., Ma, S., Bi, X., Zhang, X., Yu, X., Wu, Y., Wu, Z. F., Gou, Z., Shao, Z., Li, Z., Gao, Z., Liu, A., … Zhang, Z. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature, 645(8081), 633–638. 10.1038/s41586-025-09422-z
  4. Team, Q. (2025). Qwen3-Next: Towards Ultimate Training & Inference Efficiency. https://qwen.ai/blog?id=4074cca80393150c248e508aa62983f9cb7d27cd&from=research.latest-advancements-list

Nemotron 3 Ultra

NVIDIA 在 26 年 6 月提出了 Nemotron 3 Ultra (NVIDIA et al., 2026), 一个 550B-A55B 的 MoE 大语言模型，Nemotron 3 其他模型一样，attention 也采取了 mamba-softmax 的 hybrid 架构

Architecture

Nemotron 3 Ultra 和 Nemotron 3 Super 的架构基本一致，

Data

Pre-training Data

  1. code: 作者新增了 173B tokens
  2. MCQ: 足者新增了 Nemotron-Pretraining-Multiple-Choice 和 Nemotron-Pretraining-Generative 两个与 MCQ 和 open ended QA 相关的数据集
  3. Fact seeking: 作者基于 Finewiki 构建了 fact seeking 数据
  4. Moral Scenarios
  5. Legal

最终，pre-training 阶段两个 phase 的数据配比如下图所示

Nemotron 3 Ultra Pre-training Phase 1
Nemotron 3 Ultra Pre-training Phase 2

Post-training Data

SFT SFT 阶段，作者使用 GPT-OSS-120B 的 medium-effort mode 以及随机 truncate reasoning traces 来构建动态思考数据。 作者还基于 OpenResearcher 构建了 21.7K search SFT data.

对于 terminal use, 作者基于 OpenCodeReasoning, OpenMathReasoning, SWE-Bench, SWE-Fixer-Train-110K, SWE-rebench 构建了 seed instructions, 然后基于 Nemotron-Cascade 和 DeepSeek-V3.2 合成了一批 task, 最后基于 harbor 来生成轨迹。通过这个流程，做和手机到了 370K multi-turn conversations.

对于 SWE 任务，作者基于 SWE-Gym, R2E-Gym, SWE-rebench, SWE-rebench-V2 来构建数据集，然后使用 MiniMax-M2.5 (thinking) 和 Qwen3-Coder-480B-A35B-instruct 来在 OpenHands, SWE-agent, mini-swe-agent 和 Opencode 这些 harness 中收集轨迹。 轨迹收集完之后，作者基于 submission integrity, disallowed git operations, edit test loop anti patterns, lost-in exploration, tool-call hygiene, debug-artifact detection in the final patch 这些策略来过滤数据

对于 math reasoning, 作者使用了 Nemotron-Cascade-2 的数据，对于 non-proof math data, 作者收集了 1.8M tool-calling, 1.9M non-tool calling; 对于 proof data, 作者从 Nemotron-Math-Proofs-v1 的 AOPS split.

对于 code, 作者基于 Nemotron-Cascade-2, 使用 GPT-OSS-120B 来收集轨迹，最终得到了 1.2M python, 1.0M C++14, 1.3M python tool-calling reasoning traces.

对于 CUDA, 作者构建了包含 100K samples 的数据集；对于 RTL, 作者构建了 1.2M training samples

最终，SFT 阶段数据共包含 40B token, 配比如下图所示

Nemotron 3 Ultra SFT (B)

Training

Pre-training

Pre-training 时, Nemotron 3 Ultra 使用了 NVFP4 进行训练，为了提高训练稳定性和表现，作者将最后 15% 的网络使用更高精度进行训练。

训练时，作者使用了两阶段的数据编排策略，前 75% 的 token 主要关注 diversity, 后 25% 的数据主要关注 quality.

作者发现，使用低精度进行预训练存在如下问题：

  1. 在使用 MTP 进行预训练时，如果采用低精度，MTP block 的 wgrad 对 shared output layer 几乎没有贡献，这严重影响了训练稳定性，因此作者采用了 FP32 gradient reduction 来解决这个问题
  2. MoE experts 的 load balance 可能与训练不稳定性有关，通过观测 experts 的负载可以分析模型训练是否崩溃。

预训练结束之后，作者还加入了一个 long context phase, 将模型的 context length 提升到 1M. 并行策略为 32CP+8TP+128EP+2PP.

long context data 由合成数据与 phase 2 data 融合得到，最后 8% iterations 作者使用 4k context length 来进行训练避免模型短文本能力缺失。

Post-training

Nemotron 3 Ultra 的 post-training 包含：SFT, RLVR, MOPD, MTP boosting 四个阶段

SFT 阶段包括 2 个 phase:

  1. phase 1, context length 294k, 204K samples
  2. phase 2, context length 512k, 19K samples

MOPD 训练阶段，作者采用了 async MOPD 的实现方式，另采样策略为 πbehav\pi_{\mathrm{behav}}, 参照策略为 πprox\pi_{\mathrm{prox}} (Fu et al., 2026), TiT_i 为 prompt qq 对应的 domain expert, 则对应的 importance sampling ratio 和 advantage 分别为

A^t=sg[log⁡πTi(yt∣midq,y<t)πprox(yt∣midq,y<t)],rt(θ)=πθ(yt∣midq,y<t)πprox(yt∣midq,y<t)\hat{A}_t =\mathrm{sg}\left[\log \frac{\pi_{T_i}(y_t|mid q, y_{<t})}{\pi_{\mathrm{prox}}(y_t|mid q, y_{<t})}\right], r_t(\theta) = \frac{\pi_{\theta}(y_t|mid q, y_{<t})}{\pi_{\mathrm{prox}}(y_t|mid q, y_{<t})}

最终损失函数为

L(θ)=Eq∼Di,y∼πbehav[∑t=1Tmtctmin⁡(rt(θ)A^t,clip(rt(θ),1−ϵ,1+ϵ)A^t)]\mathcal{L}(\theta) = \mathbb{E}_{q\sim\mathcal{D}_i,y\sim\pi_{\mathrm{behav}}}\left[\sum_{t=1}^Tm_tc_t\min\left(r_t(\theta)\hat{A}_t,\mathrm{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat{A}_t\right)\right]

其中 mtm_t 时 IcePop 的 token-level masking [@IcePop].

接下来是 experts 的训练：

  1. SWE teacher: SFT, single-turn RL (PivotRL), multi-turn RL
  2. Office teacher: 基于 GDPval 构建任务
  3. Search teacher: 主要使用了 discard-all resets 和 summary-based compression 两种 context management 策略
  4. Code reasoning teacher: 14K competition problems, 4k OpenCodeReasoning problems

最终，一共训练得到了 10 多个 experts, 部分 experts 会基于训练出来的 student 重新初始化进行第二轮 experts 的训练。

在 MOPD 训练过程中，作者发现直接进行 MOPD 效果比较差，作者猜测原因是不同的教师模型 SFT 训练数据不同，因此其行为也各不相同。 为了解决这个问题，作者提出了 MOPD warmup, 也就是在对应 domain 的 OPD 训练之前，先进行轻量化的 SFT, 来对齐学生和教师的输出分布。

最后，作者提出了 MTP boosting 来解决 MTP 的训练推理不一致性问题，具体做法就是冻结 backbone, 只训练 MTP heads, 每个 head 的输入都从 MTP heads 输出的 hidden states 中随机进行选取，来模仿 inference 阶段不完整的上下文。

  1. Fu, W., Gao, J., Shen, X., Zhu, C., Mei, Z., He, C., Xu, S., Wei, G., Mei, J., Wang, J., Yang, T., Yuan, B., & Wu, Y. (2026). AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning. https://arxiv.org/abs/2505.24298
  2. NVIDIA, :, Blakeman, A., Thomas, A., Jhunjhunwala, A., Gupta, A., Khattar, A., Rajfer, A., Renduchintala, A., Asif, A., Vavre, A., Miranda, A. F., Bilal, A., Zaman, A., Hotchandani, A., Shukla, A., Bercovich, A., Ficek, A., Gronskiy, A., … Wertheimer, Z.-A. (2026). Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning. https://arxiv.org/abs/2606.15007

Nemotron-cascade

NVIDIA 在 25 年 12 月提出了 cascaded RL 以及训练得到的模型 Nemotron-Cascade (Wang et al., 2026), 模型包含 instruct 以及 thinking 两种模式。 cascaded RL 使用了 sequential, domain-wise RL 来提高模型的数学和代码能力。

现有的 RLHF 主要分为了 RLHF 和 RLVR 两种范式，前者用于提高模型的 alignment 能力，后者用于提高模型的 reasoning 能力。

但是提高模型的 reasoning 能力涉及到多个 domain, 每个 domain 的 verification 方式不一致，比如 math reasoning 依赖 symbolic rule-based verification, code generation 依赖于 execution based verification, alignment 依赖与 reward model based score.

在 AceReason-nemotron 中，作者提出了使用 Cascade RL 的方式来提高模型的数学和代码能力，作者发现这样做有以下优势：

  1. rule-based math verification 比 execution based verification 效率更高，可以在训练早期提高模型训练效率
  2. math reasoning 能力可以泛化到其他 domain 上
  3. math RL 之后，我们可以通过 code RL 提高模型的 code 能力而不损失模型的 math reasoning 表现

因此，在本文中，作者基于 Qwen3 (Yang et al., 2025) 的 Qwen3-8B-Base 以及 Qwen3-14B-Base 构建了一个开源的 post training recipe.

本文贡献如下：

Data

SFT

stage 1 数据构造

stage 2 数据构造

RLHF

reward model 训练数据包括 82k preference pairs: HelpSteer2 (10k), HelpSteer3 (36K)

数据合成：使用 stronger LLM 生成 bad response, weaker LLM 生成 good responses.

RLHF 训练数据与 reward model 一致，并过滤掉 code 和 math reasoning prompts.

IF RL

数据包括

  1. LLaMA-Nemotron, 包括 40k samples,
  2. LMSYS-Chat-1M: 40K samples
  3. IF-RLVR training data
  4. Tulu3-SFT

domain-RL

Training

SFT

SFT 包含了两个阶段，分别覆盖 reasoning domain 和 general domain.

对于 chat template, 作者使用了 ChatML 格式，然后使用了 /think 和 /no_think 两个 flag 来控制是否进行思考。 作者通过实验发现，Qwen3 的 explicit flags 效果更好，并且可以覆盖所有场景，因此，作者舍弃了 <think></think> block. 作者还用了 <tools></tools>, <tool_call></tool_call> tags 来表明可用工具以及模型的工具调用

训练的超参数如下所示

RLHF

reward model 训练数据集为 D={(x,y+,y−)}\mathcal{D}=\{(x,y^+,y^-)\},

P(y+≻y−∣x)=exp⁡(rθ(x,y+))exp⁡(rθ(x,y+))+exp⁡(rθ(x,y−))P(y^+\succ y^-\mid x) = \frac{\exp(r_{\theta}(x,y^+))}{\exp(r_{\theta}(x,y^+))+\exp(r_{\theta}(x,y^-))}

损失函数为

L(θ)=E(x,y+,y−)∼D[log⁡P(y+≻y−∣x)]\mathcal{L}(\theta) = \mathbb{E}_{(x,y^+,y^-)\sim \mathcal{D}}\left[\log P(y^+\succ y^-\mid x)\right]

setup: batch size 256, lr 2e−62e-6, 1 epoch.

RLHF

基于 GRPO 进行训练，发现模型在下游任务上，除了 instruction following 之外，都有提升，作者认为这是由于 RLHF 要求模型输出较短的，符合人类偏好的回答，而 IF 则严格要求模型遵循输出格式。

IF-RL

两个阶段：第一个阶段关注 IFEval 相关数据，第二个阶段关注 IF-Bench-Train 相关数据。

  1. unified models: apply IF-RL only in the non-thinking mode
  2. thinking model: IF-RL with combined reward function

domain-RL

math-RL 训练包括三阶段：

  1. 24k, compression: 压缩 SFT checkpoint 输出长度
  2. 32k, extension: 扩展模型的输出长度和表现
  3. 40k, long reasoning stage: 提升模型解决复杂问题的难度

Code RL 训练使用了 async reward computation.

SWE RL reward function 定义为 generated patch p^\hat{p} 和 ground truth p∗p^* 之间的相似性

r(p^,p∗)={1, if slex(p^,p∗)=10, if p^ is identical to the original code snippet−1, if p^ cannot be parsedssem(p^,p∗), otherwiser(\hat{p},p^*) = \begin{cases} 1,&\text{ if } s_{lex}(\hat{p},p^*)=1\\ 0,&\text{ if } \hat{p}\text{ is identical to the original code snippet}\\ -1, &\text{ if } \hat{p}\text{ cannot be parsed}\\ s_{sem}(\hat{p},p^*), &\text{ otherwise} \end{cases}

其中 slex(p^,p∗)s_{lex}(\hat{p},p^*) 是基于 Unidiff library 的 lexical similarity, ssem(p^,p∗)s_{sem}(\hat{p},p^*) 是 LLM 给出的语义相似度。

训练包括 2 个阶段, 第一阶段将输入初始化为 16k 作为 warmup, 第二阶段将输入扩展到 24k.

Experiments

作者对比了 Qwen3 提出的 Qwen3-8B, Qwen3-14B, 表现如下表所示

BenchmarkQwen3 8BQwen3 14BNemotron Cascade-8BNamotron Cascade 14B-Thinking
MMLU83.084.983.785.1
MMLU-Pro75.177.675.777.0
GPQA-Dimond62.064.066.569.6
ArenaHard85.891.787.989.5
IFEval85.085.490.281.9
IFBench34.433.740.841.7
AIME 202476.079.389.589.7
AIME 202567.370/480.183.3
LiveCodeBench v561.265.274.377.5
SWE-verified20.527.437.243.1

Analysis

reward model:

  1. benchmark score 低的表现一定差，但是高也不一定好
  2. 小模型更关注输出的风格而不是质量
  3. 使用 pre-trained reward model 和基于 SFT model 表现差不多
  4. reasoning model 比 instruction model 表现差

RLHF

  1. RLHF 可以降低模型输出重复的概率和 verbosity
  2. RLHF 可以提高模型在 math 和 code benchmark 上的表现

作者认为 cascaded RL 没有灾难性遗忘的原因：

  1. Wang, B., Lee, C., Lee, N., Lin, S.-C., Dai, W., Chen, Y., Chen, Y., Yang, Z., Liu, Z., Shoeybi, M., Catanzaro, B., & Ping, W. (2026). Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models. https://arxiv.org/abs/2512.13607
  2. Yang, A., Li, A., Yang, B., Zhang, B., Hui, B., Zheng, B., Yu, B., Gao, C., Huang, C., Lv, C., Zheng, C., Liu, D., Zhou, F., Huang, F., Hu, F., Ge, H., Wei, H., Lin, H., Tang, J., … Qiu, Z. (2025). Qwen3 Technical Report. https://arxiv.org/abs/2505.09388