On-Policy Distillation 的发展和应用

在线策略蒸馏（On-Policy Distillation, OPD）经历了从基础理论提出到多样化变体涌现这一经典发展轨迹。可以将这一时间线分为四个主要阶段：

1. 理论根基与前哨（2011 年—2023 年初）

在 OPD 正式成为 LLM 领域的热点之前，其核心思想源于强化学习和模仿学习：

  • DAgger (2011): OPD 的理论基石。Ross 等人提出数据集聚合（Dataset Aggregation）算法，通过在学习者访问的状态下查询专家来减少复合误差。
  • Policy Distillation (2015): Rusu 等人将其作为深层 Q 网络（DQN）的压缩技术，主要应用于 Atari 游戏等视觉领域。
  • DistillSpec (2023): 探索了将在线 KD 用于改进投机采样（Speculative Decoding）中的草稿模型。
  • Lion (2023): 较早的黑盒蒸馏尝试，通过教师识别学生弱点并生成更难的指令，形成对抗式闭环。

2. 经典 OPD 框架的确立（2023 年—2024 年）

这一阶段确立了 LLM 在线策略蒸馏的标准范式：

  • GKD (2023/2024): 核心基础论文。Agarwal 等人正式提出了 通用知识蒸馏 (Generalized Knowledge Distillation) 框架，将蒸馏视为模仿学习问题，支持在前向 KL、逆向 KL 和 JSD 之间切换。
  • MiniLLM (2023/2024): 关键转折点。Gu 等人将逆向 KL（Reverse-KL）用于在线语言模型蒸馏，使学生更集中于教师分布中的主要模式，并在生成式指令遵循任务上取得了优于传统 KD 的结果。
  • f-Divergence KD (2023): Wen 等人通过 f-散度统一了序列级蒸馏的理论框架。
  • DistiLLM (2024): 提出了 Skew-KL 与自适应离策略训练方法，通过复用学生生成的样本，在改善蒸馏目标的同时提高训练效率。
  • Gemma 2 (2024): 在工业级模型训练中展示了大规模预训练知识蒸馏的效果；公开报告没有说明其训练前缀由学生在线生成，因此不宜将它直接归为严格的 OPD。

3. 多元化与混合架构的扩张（2025 年）

随着推理模型（System 2 Thinking）的兴起，OPD 开始与强化学习（RL）深度融合：

  • RLKD / KDRL (2025): 将 RL 的结果导向奖励与蒸馏的密集 token 级信号相结合，用于提升数学推理能力。
  • AlignDistil (2025): 证明在采用 DPO 隐式奖励时，RLHF 目标可以等价改写为 token 级策略蒸馏，从而把偏好对齐转化为密集的分布学习。
  • SuperCorrect (2025): 先蒸馏教师的分层解题模板，再针对学生实际产生的错误，用跨模型 DPO 学习教师的定位、分析与纠正轨迹。
  • Qwen3 (2025): 在轻量模型后训练中采用“离线响应蒸馏 + 在线 logit 蒸馏”；Qwen3-8B 的受控实验中，在线蒸馏以约十分之一的 GPU 时取得了优于直接 RL 的结果。
  • SCoRe (2025): 面向模型的内生自我纠错，使用在线多轮 RL 训练“首次作答—检查—修正”的行为；它不是知识蒸馏，也不是依赖外部反馈的 Agent 纠错。

4. 推理、Agent 与效率的全面爆发（2026 年）

2026 年见证了 OPD 论文数量的激增和技术的精细化：

  • Lightning OPD (2026): 在满足“教师一致性”的条件下，预先计算教师在固定 SFT 轨迹上的 log-probability，训练期间不再运行教师服务器；Qwen3-8B 实验中的训练效率提高 4 倍。
  • OPSD (2026): 确立了特权信息自蒸馏范式：同一个模型分别作为学生和教师，教师额外看到标准答案或参考推理，并在学生轨迹上提供 token 级监督。
  • SCOPE (2026): 按回答正确与否分流：错误轨迹优先相信教师有把握的纠正信号，正确轨迹重点强化学生尚不熟练的稀有解法，以兼顾纠错与推理多样性。
  • TCOD (2026): 针对多轮交互 Agent，通过**时间课程（Temporal Curriculum）**逐步延长学生负责的轨迹，缓解误差累积导致的轨迹级 KL 不稳定。
  • G-OPD / ExOPD (2026): 将 OPD 解释为一种带稠密隐式奖励的 KL 约束 RL，并通过奖励外推放大教师相对参考模型的能力增量。
  • OVD (2026): 提出评分式蒸馏（Verbal Distillation），用教师给出的 0—9 分替代全词表 token 概率匹配，降低显存开销并兼容黑盒教师。
  • DeepSeek-V4（2026 年）： 以全词表多教师逆向 KL，将数学、代码、Agent 和指令遵循等十多个领域专家合并进统一模型，展示了 OPD 在超大规模 MoE 后训练中的应用。

总体来看，OPD 并不是一条严格按论文顺序展开的单线演进，而是由几条路线逐渐汇合：GKD 建立通用的学生侧采样框架，MiniLLM 系统研究逆向 KL，随后又扩展到与 RL 奖励结合、利用特权信息进行自蒸馏，以及面向 Agent 和大规模模型家族的知识整合。

理论根基与前哨（2011 年—2023 年初）

DAgger（Dataset Aggregation，数据集聚合）算法的理论基础旨在解决序列决策任务中的 协变量偏移（Covariate Shift）和曝光偏差（Exposure Bias）问题。其核心数学推导证明了通过交互式模仿学习，可以将复合误差的增长界限从平方级降低到线性级 。

1. 行为克隆（BC）的误差界限：$O(T^2)$

在传统的模仿学习（如行为克隆）中，模型仅在专家诱导的状态分布 $d_{\pi_e}$ 下进行训练。然而，由于学生模型 $\pi_\theta$ 是不完美的，其在推理时会产生微小误差 ϵ。

  • 假设
    • 学生策略在训练分布下的每步误差有界，即 $\mathbb{E}{s \sim d{\pi^}}\left[\mathbb{I}\left(\pi_\theta(s) \neq \pi^(s)\right)\right]\leq \epsilon$
  • 推导
    • 随着时间步 T 的增加，这些误差会使模型进入训练期间从未见过的状态空间。
    • Ross 等人（2011）证明，在学生自身分布 $d_{\pi_{\theta}}$ 下，轨迹的总期望误差随长度 T 呈平方级增长：$\mathbb{E}{s \sim d{\pi_\theta}}\left[\sum_{t=1}^{T} L(s_t)\right]\leq O(\epsilon T^2)$
    • 这种二次方级别的误差累积对于长程任务（如 LLM 生成数千个 Token）是灾难性的。

2. DAgger 的误差界限：$O(T)$

DAgger 通过在由学习者自身行为诱导的状态下查询专家反馈，改变了训练期望的分布。

  • 核心机制
    • 在迭代 $i$ 中，使用混合策略 $\beta_i\pi_e + (1-\beta_i)\pi_{\theta_i}$ 生成轨迹，其中 $\beta_i$ 随训练逐渐衰减至 0。
  • 证明结论
    • 通过将学生暴露于其可能犯错的状态并由专家实时纠正，DAgger 成功将复合误差的增长界限降低到了线性级别： $\text{Expected Error} \le O(\epsilon T)$
    • 这证明了交互式查询是实现稳健策略恢复的关键。

3. 无悔在线学习（No-regret Online Learning）的转化

  • 数据集聚合
    • 在每轮迭代中，算法收集状态$s \sim d_{\mu_i}$并请求专家提供动作标签 $a_e \sim \pi_e(\cdot|s)$。
  • 目标函数
    • 新的策略参数$\theta_{i+1}$通过在聚合数据集 $D_{i+1}$上最小化监督损失（如交叉熵）获得： $\theta_{i+1} = \arg\min_{\theta} \mathbb{E}{(s, a_e) \sim \mathcal{D}{i+1}} [ \ell(\pi_\theta(\cdot|s), a_e) ]$
    • 在策略类具有足够表达能力、在线学习算法具有较低遗憾等条件下，该框架能够找到一个在学习者自身状态分布上表现接近策略类中最佳模仿策略的模型。它降低了分布偏移带来的误差累积，但并不保证学生能够完美复制专家。

4. 统一后训练视角下的 DAgger 数学形式

下面的公式不是 DAgger 原论文中的写法，而是将其放入现代 LLM 后训练框架后的一种统一重写。它用于突出“状态从哪里来、监督动作由谁提供、样本如何加权”这三个要素：

$$ \theta_{i+1} = \arg\max_\theta \mathbb{E}{s \sim \text{sg}(p_s), a \sim \text{sg}(p_a)} [ \text{sg}(w(s, a)) \log \pi\theta(a|s) ] - \lambda \Omega_i(\theta) $$

对于 DAgger 及其变体：

  • 状态分布 $p_s$
    • 采用混合策略诱导的分布 $d_i^{\text{turn}}$（回合级混合）或 $d_{i}^{traj}$（轨迹级混合）。
  • 标签分布 $p_a$
    • 始终来源于专家策略 $\pi_e$，确保了监督信号的高质量。
  • 评分函数 $w(s,a)$
    • 恒等于 1，这意味着它对所有专家提供的纠正动作进行等权重学习，而不像强化学习那样依赖稀疏的奖励信号。

总结

DAgger 的理论揭示了分布匹配（在学生状态下训练）与密集监督（使用专家标签）相结合的力量。在损失有界、在线学习具有低遗憾等标准假设下，它可以把行为克隆中最坏情况下随轨迹长度二次累积的代价，改善为线性量级。

Policy Distillation（Rusu 等，2015）

Policy Distillation 是将蒸馏技术应用于深度强化学习（DRL）的开创性工作，其核心实验和结论如下：

主要实验内容

该研究主要围绕 Deep Q-Networks (DQN) 智能体的压缩与能力整合展开，实验场景集中在 Atari 游戏 等视觉领域：

  1. 模型压缩实验 (Single-Task Compression)：
    • 实验设计： 将一个高容量、已训练好的“教师”DQN 智能体的复杂行为模式，迁移到一个规模显著更小的“学生”模型中。
    • 实现手段： 在教师经历过的状态集上，通过最小化教师和学生动作分布之间的 KL 散度（Kullback-Leibler Divergence） 来实现，让学生学习教师的“软概率”输出（即 Logit 蒸馏），而不仅仅是硬标签。
  2. 多专家能力整合实验 (Multi-Task Consolidation)：
    • 实验设计： 尝试将针对不同 Atari 游戏训练的多个特定任务专家（Task-specific experts）的能力，整合进一个单一的、多任务的学生策略模型中。

实验结论

  1. 极高的压缩比： 实验证明，学生网络可以在不损失性能的情况下，实现高达 15 倍 的模型压缩。这证明了 DRL 智能体的行为分布具有很高的冗余度，可以被高效迁移。
  2. 学生可超越教师： 在多任务整合实验中，学生模型由于整合了多个专家的知识，在某些情况下表现甚至优于单个教师模型。
  3. 固定教师数据带来的潜在局限：
    • 其主要压缩实验使用固定教师产生的状态与 Q 值训练学生。教师执行时也包含少量随机探索，因此这些数据并不是所谓的“完美教师轨迹”，但状态分布仍主要由教师而非学生决定。
    • 这意味着学生不会系统地在自己诱导的状态上接受教师纠正，因而仍可能面临协变量偏移。需要注意的是，这是从后来交互式模仿学习和 OPD 视角作出的局限性分析，并不是该论文直接验证的主要实验结论。

总结： Rusu（2015）的工作证明了强化学习策略可以被压缩、整合，甚至在训练期间跟踪不断变化的教师。不过，它并未采用后来 LLM OPD 所强调的“学生生成轨迹、教师在学生前缀上提供监督”。因此，它更适合作为策略蒸馏的早期基础，而不是 OPD 的直接前身或完整形态。

DistillSpec（Zhou et al., 2023）

DistillSpec 的核心原理是利用在线策略知识蒸馏（On-Policy KD）来优化投机采样（Speculative Decoding）中的“草稿模型”（Draft Model），使其输出分布与“目标模型”（Target Model）更加一致，从而提高 Token 的接受率并加速推理。

以下是其详细的数学与工程原理：

1. 投机采样的背景

投机采样的效率高度依赖于草稿模型与目标模型之间的匹配程度。

  • 流程： 草稿模型（小模型）先预测一组 Token 块，目标模型（大模型）并行验证这些 Token。
  • 瓶颈： 如果草稿模型预测的 Token 经常被目标模型拒绝，就会导致频繁的回退，降低加速效果。

2. DistillSpec 的核心原理：在线对齐

传统的蒸馏通常是离线的（Off-policy），即学生在教师生成的数据上学习。而 DistillSpec 采用了在线策略（On-policy）范式：

  • 学生自采样（On-policy Sampling）： 草稿模型（学生）根据其当前的策略生成自己的序列轨迹。
  • 教师实时反馈： 目标模型（教师）对草稿模型生成的这些自身路径（Rollouts）计算 Logits（概率分布）作为监督信号。
  • 缓解曝光偏差（Exposure Bias）： 这种方式让草稿模型在推理时实际会访问的前缀（Prefixes）上接受指导，减少训练前缀与部署前缀之间的差异。

3. 数学目标：让草稿分布更接近目标分布

DistillSpec 在草稿模型自身生成的前缀上，使草稿分布 $\pi_D$ 接近目标分布 $\pi_T$。论文并未把训练目标固定为一种 KL，而是比较了前向 KL、逆向 KL、JSD 和总变差距离（TVD）等选择，可以统一写成：

$$ \mathcal{L}

\mathbb{E}{y \sim \pi_D} \left[ \sum_t \mathcal{D} \left( \pi_T(\cdot\mid x,y{<t}), \pi_D(\cdot\mid x,y_{<t}) \right) \right] $$

其中 $\mathcal{D}$ 的最佳选择与任务和解码设置有关。对投机采样而言，单个草稿 token 的期望接受率可以写成 $1-D_{\mathrm{TVD}}(\pi_D,\pi_T)$，因此 TVD 与接受率具有最直接的理论关系；KL 和 JSD 则可以作为更易优化或具有不同分布偏好的替代目标。

4. 实验结论与收益

  • 推理加速： 通过显著提高 Token 接受率，DistillSpec 相比于标准的投机采样，实现了 10%–45% 的额外推理加速。
  • 性能提升： 在 XSum 和 CNN/DM 等任务上证明了该方法的有效性。
  • 系统价值： 它展示了 OPD 不仅能用于模型压缩，还能作为一种系统级优化手段，通过提升草稿模型的质量来榨取硬件的并行推理能力。

总结： DistillSpec 的本质是针对推理场景的量身定制——它不要求草稿模型在所有任务上都接近目标模型，而是通过在线蒸馏，提高两者在实际解码前缀上的分布一致性，从而减少拒绝与回退。

Lion

Lion 是一项早期的学生反馈驱动的黑盒对抗式蒸馏工作，其全称为《Lion: Adversarial Distillation of Proprietary Large Language Models》。它与 OPD 的思想相邻，但并不属于严格的 token 级在线策略蒸馏：学生输出用于暴露弱点和驱动教师生成更难的指令，而训练监督仍来自教师生成的文本，并不在学生 token 前缀上匹配教师 logits。

由于当时的顶级模型（如 ChatGPT）仅通过 API 提供服务（即“黑盒”状态），学生模型无法获取教师的概率分布（Logits）进行传统的散度匹配。针对这一挑战，Lion 提出了以下核心内容：

1. 三阶段对抗式闭环

Lion 模型通过构建一个循环的对抗过程，让教师模型（ChatGPT）动态地识别并攻击学生模型（LLaMA）的弱点：

  • 模仿阶段 (Imitation)： 学生模型首先在教师模型对初始指令的回复上进行监督微调（SFT），建立初步能力。
  • 辨别/诊断阶段 (Discrimination)： 教师模型作为一个“裁判”，通过对比学生生成的回答与自身回答，识别出学生表现较差、逻辑有误或能力薄弱的特定指令区域。
  • 生成/进化阶段 (Generation)： 教师模型发挥其“课程设计者”的作用，针对发现的弱点，生成难度更高、更具挑战性的新指令。这些新指令被加入训练集，引导学生进入下一轮学习。

2. 核心技术特征

  • 对抗式课程学习： 这种闭环过程形成了一种自然的难度递增课程，通过不断把计算资源集中在学生最弱的能力项上，逐步缩小生师差距。
  • 无需鉴别器训练： 与传统的生成对抗网络（GAN）或 GAD（Generative Adversarial Distillation）不同，Lion 直接利用教师模型自身的判断力作为评估信号，省去了训练额外判别器的不稳定性，但代价是增加了对教师 API 的调用次数。
  • 黑盒兼容性： 它证明了在无法获取模型内部权重的条件下，仅通过文本交互也能实现高效的能力迁移。

3. 实验结论与成果

  • 高效性： Lion-13B 仅使用了约 70k 个训练样本，就在 BIG-Bench Hard 和 AGIEval 等复杂推理基准测试中达到了极具竞争力的性能。
  • 模型配对： 该论文主要实验了以 ChatGPT 为教师，LLaMA-7B/13B 为学生的蒸馏路径。

总结： Lion 的意义在于将蒸馏从单纯的“答案模仿”提升到了“弱点对齐”。它利用教师模型的认知能力来诊断学生，并主动寻找学生分布中的盲区进行补强，为后来复杂的 Agent 场景和黑盒模型对齐奠定了方法论基础。

经典 OPD 框架的确立（2023 年—2024 年）

GKD（Generalized Knowledge Distillation）

GKD 是由 Agarwal 等人在 2024 年（早期版本为 2023 年）提出的在线策略蒸馏（OPD）奠基性框架。其核心思想是将大型语言模型（LLM）的蒸馏视为一个交互式模仿学习问题，通过让学生模型在自己生成的轨迹上接受教师监督，缓解训练与推理之间的前缀分布偏移。

以下是 GKD 框架的具体内容：

1. 核心动机：缓解曝光偏差

传统的离线蒸馏主要使用固定数据或教师生成的序列，训练前缀与学生自由生成时实际访问的前缀可能不同。学生一旦偏离训练轨迹，就可能进入较少获得监督的状态并产生复合误差（Compounding Errors）。GKD 让学生在自身生成的前缀上接受教师分布监督，从训练分布层面缓解这一问题。这里的 $O(T^2)$ 与 $O(T)$ 可以作为 DAgger 式模仿学习的理论直觉，但 GKD 论文没有单独证明语言生成误差必然满足这一严格界限。

2. 采样策略：混合策略 $\pi_{\text{mix}}$

GKD 引入了一个可配置的混合采样比例 $\lambda$ ，用于平衡“探索”与“稳定”：

  • 机制：在每个训练步骤中，以概率$\lambda$ 从学生模型当前的策略 ( $p_\theta$) 中采样轨迹，以 $1-\lambda$从原始训练数据集 ($\mathcal{D}$) 中采样。
  • 灵活性：当 $\lambda = 0$ 时，只在固定数据前缀上进行 token 级知识蒸馏；这仍然使用教师的完整概率分布，因此不等同于只学习硬标签的普通 SFT。当 $\lambda \to 1$ 时，训练主要使用学生生成的前缀，接近纯在线蒸馏。

3. 统一的数学目标

GKD 的优化目标是在学生生成的轨迹上最小化生师分布之间的散度：

$$ \mathcal{L}{\text{GKD}}(\theta) = \mathbb{E}{y \sim \pi_{\text{mix}}} \left[ \sum_{t=1}^{|y|} \mathcal{D}f \left(p_T(\cdot \mid x, y{<t}), p_\theta(\cdot \mid x, y_{<t})\right) \right] $$

  • 停止梯度（Stop-gradient）：在计算梯度时，GKD 不会通过采样过程回传梯度，而是将采样得到的前缀视为常量，这大大提升了训练的稳定性和效率。

4. 多样化的散度选择（Divergence Choice）

GKD 支持在三种主要的 $f$-散度之间切换，以适应不同的任务需求：

  • 前向 KL (Forward KL)：具有“众数覆盖”（Mode-covering）特性。它要求学生覆盖教师分布的所有可能，适合对多样性要求较高的开放式生成任务，但容易在低容量学生模型中引起幻觉。
  • 逆向 KL (Reverse KL)：具有“众数寻求”（Mode-seeking）特性。它促使学生锁定在教师分布的主要峰值上，减少无效噪声，特别适合数学推理、代码生成等逻辑确定性任务。
  • JSD (Jensen-Shannon Divergence)：一种有界、对称的折中选择，可以在众数覆盖与众数寻求之间调节。GKD 并没有把 JSD 设为所有任务的统一默认项：论文在不同任务和解码设置下采用的最佳散度并不相同。

5. 实验结论

  • 性能跨越：实验证明，GKD 在摘要生成、机器翻译和数学推理任务上均显著优于传统的序列级 KD（SeqKD）和 SFT 基准。
  • 模型压缩：GKD 将约 3B 参数的 T5-XL 教师蒸馏到 T5-Small（约 77M）、T5-Base（约 250M）和 T5-Large（约 800M）等不同规模的学生模型中。
  • 实验范围：论文主要在 XSum 摘要、WMT14 英德翻译和 GSM8K 数学推理上验证方法，覆盖开放式生成、翻译和可验证推理三类设置。

总结：GKD 的意义在于为现代 OPD 提供了一个支持不同数据混合比例与散度选择的通用框架。MiniLLM 与 GKD 在 2023 年几乎同期公开，二者分别从逆向 KL 优化和通用蒸馏框架的角度推动了 OPD，不能简单理解为 MiniLLM 是在 GKD 基础上的后续改进；DistiLLM 等后续工作则进一步研究了散度设计和采样效率。

MiniLLM（Gu et al., 2023/2024）

MiniLLM 是在线策略蒸馏（OPD）领域具有里程碑意义的工作，其核心贡献在于将蒸馏目标从传统的“众数覆盖”转向了“众数寻求”。

1. 采用逆向 KL 散度（Reverse-KL）作为默认目标

MiniLLM 发现传统蒸馏使用的前向 KL（Forward-KL）具有**“众数覆盖” (Mode-covering)** 特性，会强制学生模型覆盖教师分布的所有可能模式。

  • 解决幻觉问题：低容量的学生模型无法记住教师庞大的全分布，盲目覆盖会导致概率质量散布在无效区域，产生逻辑不通的“平均化”表达或幻觉。
  • 众数寻求 (Mode-seeking)：逆向 KL 促使模型锁定在教师分布的主要峰值（Mode）上，虽然牺牲了多样性，但显著提升了回答的自信度、准确性和逻辑连贯性。

前向 KL 与逆向 KL 的分布差异

前向 KL 与逆向 KL 的分布差异

2. 将蒸馏形式化为强化学习（RL）问题

由于逆向 KL 的期望分布由学生策略 $\pi_{\theta}$ 决定，且参数 $\theta$ 同时出现在期望和对数比例中，MiniLLM 将其转化为一个序列级强化学习任务。

  • 优化算法：采用 REINFORCE（策略梯度） 算法进行更新。

MiniLLM 逆向 KL 损失的策略梯度推导

MiniLLM 逆向 KL 损失的策略梯度推导

$$ \begin{aligned} \nabla_{\theta}\mathcal{L}(\theta) &=-\nabla_{\theta}\mathbb{E}{x\sim p_x,,y\sim q{\theta}(\cdot\mid x)} \left[\log\frac{p(y\mid x)}{q_{\theta}(y\mid x)}\right] \ &=-\nabla_{\theta}\int p_x(x),q_{\theta}(y\mid x) \log\frac{p(y\mid x)}{q_{\theta}(y\mid x)},\mathrm{d}y,\mathrm{d}x \ &=-\int p_x(x),q_{\theta}(y\mid x) \nabla_{\theta}\log\frac{p(y\mid x)}{q_{\theta}(y\mid x)},\mathrm{d}y,\mathrm{d}x \ &\quad-\int p_x(x)\log\frac{p(y\mid x)}{q_{\theta}(y\mid x)} \nabla_{\theta}q_{\theta}(y\mid x),\mathrm{d}y,\mathrm{d}x \ &=\int p_x(x),q_{\theta}(y\mid x) \nabla_{\theta}\log q_{\theta}(y\mid x),\mathrm{d}y,\mathrm{d}x \ &\quad-\int p_x(x),q_{\theta}(y\mid x) \log\frac{p(y\mid x)}{q_{\theta}(y\mid x)} \nabla_{\theta}\log q_{\theta}(y\mid x),\mathrm{d}y,\mathrm{d}x \ &=-\mathbb{E}{x\sim p_x,,y\sim q{\theta}(\cdot\mid x)} \left[\left(\log\frac{p(y\mid x)}{q_{\theta}(y\mid x)}-1\right) \nabla_{\theta}\log q_{\theta}(y\mid x)\right] \ &=-\mathbb{E}{x\sim p_x,,y\sim q{\theta}(\cdot\mid x)} \left[\sum_{t=1}^{T}\left( \sum_{t’=1}^{T}\log\frac{p(y_{t’}\mid y_{<t’},x)} {q_{\theta}(y_{t’}\mid y_{<t’},x)}-1\right) \nabla_{\theta}\log q_{\theta}(y_t\mid y_{<t},x)\right] \ &=-\mathbb{E}{x\sim p_x,,y\sim q{\theta}(\cdot\mid x)} \left[\sum_{t=1}^{T}\left( \sum_{t’=t}^{T}\log\frac{p(y_{t’}\mid y_{<t’},x)} {q_{\theta}(y_{t’}\mid y_{<t’},x)}-1\right) \nabla_{\theta}\log q_{\theta}(y_t\mid y_{<t},x)\right]. \end{aligned} $$

  • 密集奖励信号：将教师模型的对数概率视为一种“奖励”，定义每步优势为教师与学生对数概率之差：$r(x, y) = \log p_T(y \mid x) - \log p_\theta(y \mid x)$。

3. 创新的方差缩减技术

策略梯度算法通常伴随极高的方差，MiniLLM 引入了针对 Token 级别的优化手段：

  • Token 级分解：将序列级奖励分解为单步奖励和未来回报，利用 Token 级 Baseline（基准线）来减少梯度噪声。
  • 训练稳定性：这种设计弥补了 RL 估计器不稳定的缺陷，使得在大规模词表空间下的蒸馏成为可能。

4. 混合教师采样策略 (Teacher-Mixed Sampling)

为了防止学生模型在探索过程中完全脱离正确路径或陷入 Reward Hacking，MiniLLM 在轨迹采样（Rollout）时采用了混合模式：

  • 干预机制：以特定概率（如 $\alpha = 0.2$）从教师模型中抽取 Token，其余则从学生当前策略采样。
  • 作用：这确保了模型既能暴露在学生可能犯错的状态分布下，又能得到及时的正面示范引导。

5. 缓解曝光偏差（Exposure Bias）

与传统的离线监督微调（SFT）不同，MiniLLM 通过在线策略采样 (On-Policy Sampling)，让学生模型在自己生成的、可能包含错误的上下文（Prefixes）中接受指导。

  • 贴近部署分布：这使训练前缀更接近学生在自由生成时实际访问的分布。论文实验显示 MiniLLM 具有更低的曝光偏差，但并未给出“复合误差严格从 $O(T^2)$ 降为 $O(T)$”的理论证明。

最终，MiniLLM 的损失函数为：

$$ \nabla L(\theta) = -\mathbb{E}{x\sim p_x, y\sim \tilde{p}(\cdot|x)}\Bigg[ \sum{t=1}^{T} w_t \Bigg[\underbrace{\nabla \sum_{y’ \in V} q_\theta(y’|y_{<t}, x) \log \frac{p(y’|y_{<t}, x)}{q_\theta(y’|y_{<t}, x)}}{(\nabla L){\text{Single}} \text{ part}}+ \underbrace{R^{\text{Norm}}{t+1} \frac{\nabla q\theta(y_t|y_{<t}, x)}{q_\theta(y_t|y_{<t}, x)}}{(\nabla L)^{\text{Norm}}{\text{Long}} \text{ part}}\Bigg] \Bigg] $$

其中，$R^{\text{Norm}}{t+1} = \frac{1}{T - t - 1} \sum{t’=t+1}^{T} \log \frac{p(y_{t’} \mid y_{<t’}, x)}{q_\theta(y_{t’} \mid y_{<t’}, x)}$。

总结： MiniLLM 的意义在于把 Reverse-KL、策略梯度式优化和学生侧采样系统地结合起来，并在论文测试的生成式指令遵循任务上表现出比传统 KD 更低的曝光偏差和更好的长回答生成能力。它是后续在线语言模型蒸馏的重要参考，但不能据此直接推断逆向 KL 在所有长程推理或逻辑任务上都占优。

f-Divergence KD（2023）

该工作的全称为《f-Divergence Minimization for Sequence-Level Knowledge Distillation》，是由 Wen 等人在 2023 年发表于 ACL 会议的一篇具有重要理论价值的论文。

该研究的核心内容可以概括为以下几个方面：

1. 统一的理论框架

该研究提出了一套统一的 $f$-散度（$f$-Divergence）最小化框架，用于序列级的知识蒸馏（Sequence-Level KD）。在此之前，不同的蒸馏方法往往独立研究各自的损失函数（如 KL 散度或 JSD），而该论文通过数学手段将这些方法全部纳入到一个通用的 $f$-散度视角下进行分析。

2. 涵盖多种主流散度

该框架证明了 LLM 蒸馏中常用的多种目标函数其实都是 $f$-散度的特例，包括：

  • 前向 KL 散度（Forward KL）

    $$ D_{\mathrm{KL}}(p \parallel q_\theta)

    \mathbb{E}{Y \sim p} \left[ \log p(Y)-\log q\theta(Y) \right] $$

    学生分布 $q_\theta$ 在分母上。若学生给教师生成的 token 分配了极低的概率，损失会趋向无穷。这迫使学生的分布向所有方向铺开以覆盖教师的支撑集，导致模式平均（mode averaging）。

  • 逆向 KL 散度（Reverse KL）

    $$ D_{\mathrm{KL}}(q_\theta \parallel p)

    \mathbb{E}{Y’ \sim q\theta} \left[ \log q_\theta(Y’)-\log p(Y’) \right] $$

    反过来，若学生在教师概率低的地方分配了较高概率，损失会变大，因此学生倾向于“钻”进教师分布的高概率峰里，导致模式坍缩（mode collapsing）。

  • Jensen-Shannon 散度（JSD）

    $$ D_{\mathrm{JS}}(p \parallel q_\theta)

    \frac{1}{2}D_{\mathrm{KL}}(p \parallel m) + \frac{1}{2}D_{\mathrm{KL}}(q_\theta \parallel m), \qquad m=\frac{1}{2}(p+q_\theta) $$

    JSD 使用对称的中间分布，并且数值有界，因此通常比单向 KL 更温和。它仍然会惩罚教师与学生之间的分布不匹配，只是在众数覆盖与众数寻求之间提供了更折中的行为，而不是对“覆盖全部支撑集”或“只守一个峰”完全不加惩罚。

  • Total Variation Distance（TVD）

    $$ D_{\text{TVD}}(p \parallel q_\theta)

    \frac{1}{2}\sum_Y \left|q_\theta(Y)-p(Y)\right| $$

    TVD 采用两个分布之间 L1 距离的均值作为衡量标准。

其中，JSD 和 TVD 都可以在工程实现上通过对 Teacher 样本进行离线采样来提高训练速度。

3. 行为模式的几何直觉

该研究深入探讨了不同 f-生成函数（convex generator function f）如何决定学生模型的学习行为：

  • 众数覆盖 (Mode-covering)：例如前向 KL，强制学生覆盖教师分布的所有可能，在低容量模型中容易导致“幻觉”。
  • 众数寻求 (Mode-seeking)：例如逆向 KL，促使学生锁定在教师分布的主要峰值上，产生更连贯、更自信的回答。

前向 KL 与逆向 KL 蒸馏的典型分布

前向 KL 与逆向 KL 蒸馏的典型分布

4. 与 OPD 的关系

这篇论文首先是一项序列级知识蒸馏的理论工作，而不是专门为 OPD 提出的算法。它为前向 KL、逆向 KL、JSD 和 TVD 等目标提供了共同的分析语言，也帮助后来的 OPD 工作讨论不同散度会怎样改变学生的生成行为。将它称为 OPD 的相关理论基础是合理的，但不宜说所有蒸馏本质上都只是在学生分布下优化。

总结： f-Divergence KD（2023）并不是一种单一的算法，而是一项基础理论研究。它告诉我们，无论是追求多样性（前向 KL）还是追求准确性（逆向 KL），都可以被看作是在同一个数学框架下选择不同的“生成函数”。这让开发者能够更科学地根据任务需求（如数学推理 vs. 开放式对话）来调整模型生成的行为模式。

多元化与混合架构的扩张（2025 年）

KDRL（Knowledge Distillation and Reinforcement Learning）

KDRL 是 Xu 等人在 2025 年提出的推理模型后训练框架。它针对知识蒸馏和强化学习的互补性展开：知识蒸馏能够利用教师监督快速提升学生能力，但可能受教师能力上限约束；强化学习允许学生自主探索，却常因难以采样到高奖励轨迹而效率较低。

KDRL 让学生进行在线采样，并同时接收两类信号：规则验证器提供结果奖励，教师模型通过逆向 KL（RKL）提供 token 级监督。论文将其中的在线逆向 KL 蒸馏部分称为 KD-RKL，并将它与 GRPO 组合为以下联合目标：

$$ \mathcal{J}_{\mathrm{KDRL}}(\theta)

\mathcal{J}_{\mathrm{GRPO}}(\theta)

\beta D_{\mathrm{KL}}^{k2}(\pi_\theta\parallel\pi_T) $$

其中，$\beta$ 控制自主探索与教师模仿的相对强度。论文也尝试过将教师信号直接加入任务奖励，但这种 reward shaping 方式在其实验设置下出现了早期训练不稳定；相比之下，使用独立蒸馏损失的联合目标更加稳定。

什么是 $k2$ 近似？

直接估计逆向 KL 时，需要比较教师和学生对已采样 token 的概率。论文首先定义二者的对数概率差：

$$ R_{i,t}

\log \frac{ \pi_T(o_{i,t}\mid q,o_{i,<t}) }{ \pi_\theta(o_{i,t}\mid q,o_{i,<t}) } $$

其中，$\pi_T$ 和 $\pi_\theta$ 分别表示教师与学生给当前 token 分配的概率。两者越接近，$R_{i,t}$ 越接近 0。直接使用这个对数概率差训练时，梯度方差可能较大，因此 KDRL 采用论文称为 $k2$ 的平方对数概率差近似：

$$ D_{\mathrm{KL}}^{k2} \approx \mathbb{E}\left[\frac{1}{2}R_{i,t}^{2}\right] $$

直观地说，它把教师与学生的概率差异转换成始终非负的平方惩罚：两者接近时损失很小，差异越大，惩罚增长越快。虽然 $k2$ 对 KL 数值本身是有偏估计，但其梯度能够无偏地估计对应的逆向 KL 梯度；在论文实验中，它也比 $k3$ 和 Top-$K$ 等近似方式表现得更稳定。

从教师模仿逐步转向奖励探索

蒸馏权重 $\beta$ 决定教师模仿与奖励探索的相对强度。训练早期使用较大的 $\beta$，可以借助教师指导帮助学生更快找到有效的推理路径；但如果蒸馏信号持续过强，回答长度可能快速增长，并带来更多截断，也会限制学生根据奖励自主改进。

因此，KDRL 让 $\beta$ 随训练线性衰减，使模型从早期的“以模仿为主”逐步过渡到后期的“以奖励探索为主”。此外，它采用奖励引导的蒸馏屏蔽：对于已经答对的响应，不再施加教师约束，让蒸馏集中在学生尚未掌握的样本上，从而减少梯度冲突和不必要的推理长度。

总结： KDRL 的核心是用教师蒸馏提高探索效率，同时保留强化学习突破单纯模仿的空间。在论文的数学推理实验中，它取得了比单独使用 GRPO 或在线逆向 KL 蒸馏更好的性能与 token 效率平衡。

AlignDistil：将偏好对齐转化为 token 级策略蒸馏

AlignDistil 是 Zhang 等人在 ACL 2025 提出的语言模型对齐方法。它关注传统 RLHF 和 DPO 中的一个问题：奖励或偏好标签通常作用于整段回答，但一段回答中可能同时包含高质量和低质量 token。使用同一个序列级信号更新所有 token，可能错误地惩罚正确内容或强化不理想内容。

从 RLHF 到策略蒸馏

DPO 可以用“对齐后的 DPO 模型相对于参考模型的对数概率变化”表示隐式奖励。AlignDistil 证明，在使用这种 DPO 奖励时，带 KL 约束的 RLHF 目标可以等价改写为一个 token 级逆向 KL 蒸馏目标：

$$ \mathcal{L}_{\mathrm{AlignDistil}}

\mathbb{E}\left[ \sum_t \beta_t D_{\mathrm{KL}} \left( \pi_\theta(\cdot\mid s_t) \parallel \pi^*(\cdot\mid s_t) \right) \right] $$

其中，$\pi_\theta$ 是当前学生策略，$\pi^*$ 是根据偏好信息构造的合成教师分布。这样，原本稀疏的整段奖励就被转化为每个 token 位置上的完整概率分布监督。与只给 token 一个标量奖励相比，学生不仅知道“当前选择好不好”，还可以看到整个词表中哪些候选更符合偏好。

需要注意的是，这种等价关系建立在 DPO 隐式奖励的设定下，并不意味着任意奖励模型驱动的 RLHF 都能直接改写为蒸馏。

对比式 DPO 奖励

普通 DPO 模型能够学习哪些回答更受偏好，但其隐式奖励未必足够准确。AlignDistil 因此同时训练两个方向相反的模型：

  • 正向 DPO 模型 $\pi_{\mathrm{dpo}}$：使用正常的偏好顺序训练，学习高质量回答的特征；
  • 反向 DPO 模型 $\pi_{\mathrm{dpo}}^{-}$：交换优选与劣选回答进行训练，学习低质量回答的特征。

两者的 logit 差异可以看作 token 级的“偏好方向”。AlignDistil 沿这个方向从正向 DPO 模型继续外推，构造更强的合成教师：

$$ z_t^*

z_t^{\mathrm{dpo}} + \alpha_t \left( z_t^{\mathrm{dpo}}

z_t^{\mathrm{dpo}-} \right) $$

直观地说，它不是让学生简单复制 DPO 模型，而是强化正向模型与反向模型分歧最大的偏好特征。

token 级自适应外推

如果所有 token 都使用相同的外推强度，可能出现两种问题：权重太小时对齐不足，权重太大时又容易过度优化，表现为策略偏离过远或回答异常变长。AlignDistil 因此根据正向与反向 DPO 分布之间的总变差距离（TVD），为每个位置计算不同的 $\alpha_t$：

  • 两个模型分歧较大，说明该 token 对偏好判断可能更关键，因此采用更强的外推；
  • 两个模型比较接近，则使用较弱的外推，避免对普通 token 过度调整。

该方法同时支持在线和离线训练。在线版本在学生自己生成的前缀上进行蒸馏，更符合 OPD 范式；离线版本则可以直接使用已有的 prompt-response 数据，训练成本更低。

总结： AlignDistil 的核心贡献是把 DPO 所学习到的偏好转化为 token 级、分布式的教师信号，并通过正反 DPO 模型的差异决定“每个 token 应该朝哪个方向、调整多大幅度”。在论文针对 1.5B 参数模型的偏好对齐实验中，在线和离线版本整体优于 DPO、PPO 等基线，token 级分布监督也表现出更快的收敛速度。

SuperCorrect：从解题模板蒸馏到跨模型纠错

SuperCorrect 是 Yang 等人在 ICLR 2025 提出的数学推理训练框架。它关注一个常见现象：小模型不仅容易在复杂推理中犯错，也往往无法准确定位自己的第一个错误；如果错误位置判断错了，后续“自我反思”甚至可能把原本正确的步骤改坏。

为此，SuperCorrect 不只让学生模仿教师的最终答案，而是分两个阶段迁移教师的解题结构与纠错能力。

第一阶段：分层思维模板蒸馏

传统 CoT 数据通常只给出一条完整解题过程，学生容易记住具体步骤，却不一定理解哪些环节最关键，也难以迁移到相似问题。SuperCorrect 因此让教师模型根据题目和标准解答生成一种分层思维模板，主要包含：

  • 一般步骤： 按顺序给出完整的解题过程；
  • 关键步骤： 对困难或容易出错的环节补充更细致的解释；
  • 高层模板： 总结可迁移到同类问题的通用解题思路；
  • 最终答案： 明确区分推理过程与答案。

这些结构化轨迹被用于分层思维监督微调（Hierarchical Thought-based SFT，HSFT）。它教给学生的不只是“这道题怎样做”，还包括“这类题通常如何拆解，以及哪些步骤值得重点检查”。

第二阶段：跨模型协作 DPO

完成第一阶段后，学生在数学题上自主生成解题轨迹。系统筛选出回答错误的样本，并由教师逐步检查，定位第一个错误步骤。针对同一段正确前缀，分别产生两种纠错轨迹：

  • 学生自我纠错轨迹： 学生尝试分析错误原因并修改，作为 rejected 样本；
  • 教师跨模型纠错轨迹： 教师给出准确的错误原因和修正方法，作为 chosen 样本。

随后使用 DPO 提高教师纠错轨迹的相对概率，降低学生原有错误纠正方式的相对概率。优化单位不再是整段答案，而是“错误定位—原因分析—具体修正”这一段纠错过程。论文还使用额外的检查模型对教师轨迹进行验证和迭代修订，以减少错误监督。

这里的“自我纠错”容易产生误解：训练时仍然需要大模型提供外部纠错信号；训练完成后，学生才在推理阶段独立复现学到的错误定位与修正方式。

与经典 OPD 的关系

SuperCorrect 不属于严格的 logit 级在线策略蒸馏：它没有在学生轨迹上逐 token 匹配教师概率分布。它与 OPD 的联系主要体现在，第二阶段的数据由学生实际生成的错误轨迹驱动，教师针对学生访问到的具体错误状态提供反馈。因此，它更适合被归为学生分布驱动的轨迹级蒸馏与偏好学习。

总结： SuperCorrect 将能力迁移分成“先教会学生如何组织推理，再教会学生如何发现并修正自己的错误”。论文在 Qwen2.5-Math-7B、DeepSeekMath-7B 和 Llama-3.1-8B 等模型上进行数学实验；其中最佳模型在 MATH 和 GSM8K 上取得明显提升，自我纠错步骤还能在原有结果上进一步提高约 5%—6%。不过，其证据主要来自具有标准答案的数学任务，向开放式推理和通用对话扩展仍需进一步验证。

Qwen3：大规模模型家族中的在线 logit 蒸馏

Qwen3 技术报告给出了 OPD 在工业级模型家族中的一次代表性实践。Qwen3 的旗舰模型经历长思维冷启动、推理强化学习、思维模式融合和通用强化学习等完整后训练流程；如果每个轻量模型都重复这些阶段，成本会非常高。因此，团队改为让轻量模型直接学习已经完成对齐的旗舰模型。

两阶段强模型到弱模型蒸馏

Qwen3 将轻量模型的训练分成两个阶段：

  1. 离线响应蒸馏： 先收集教师在 /think 和 /no_think 两种模式下生成的回答，用监督微调教会学生基本的推理方式，以及何时进行长思考、何时直接回答。
  2. 在线 logit 蒸馏： 再由学生自行选择模式并生成回答。教师不是重新生成一份标准答案，而是在学生实际产生的每个前缀上给出下一 token 的概率分布；训练通过最小化师生分布之间的 KL 散度，使学生在自己会访问到的状态上对齐教师。

第二阶段之所以重要，是因为离线数据只覆盖教师曾经生成的轨迹，而部署时学生会进入不同的推理分支。在线蒸馏把监督移到学生自己的分布上，并用完整的教师概率分布提供比“最终答案对或错”更密集的信号。它既能告诉学生当前 token 是否合适，也能展示其他候选 token 的相对偏好。

效果与边界

报告在同一个离线蒸馏检查点上，对 Qwen3-8B 进行了直接 RL 与在线蒸馏的受控比较。在线蒸馏使用约 1,800 GPU 小时，直接 RL 使用约 17,920 GPU 小时；前者在 AIME 2024、AIME 2025、MATH-500、LiveCodeBench 等评测上均取得更高结果。例如，AIME 2025 的 Pass@1 从 RL 的 55.5 提升到 65.5，LiveCodeBench 从 52.9 提升到 60.3。这个结果说明，在教师明显强于学生且可访问 logits 时，OPD 可以用密集监督显著提高后训练效率。

不过，这只是 Qwen3-8B 数学与代码训练设置下的对比，不能推导出蒸馏在所有任务上都优于 RL。公开报告也没有披露 KL 的具体方向、温度、词表截断和稳定化策略等实现细节，因此它更适合作为 OPD 可规模化落地的工业证据，而不是一份可以逐项复现的训练配方。

总结： Qwen3 的关键不是提出新的散度，而是把“先用教师回答建立能力，再让教师在学生轨迹上持续纠偏”做成了模型家族级训练流程。它展示了 OPD 在存在强教师时，可以替代轻量模型的一部分昂贵 RL 过程。

SCoRe：用在线多轮强化学习训练自我纠错

SCoRe（Self-Correction via Reinforcement Learning）研究的是一种更严格的自我纠错：模型先独立给出第一次回答，收到“请检查并修正”的提示后再回答一次；推理时没有教师、答案验证器或其他外部反馈。训练目标不仅是让第二次答案更好，还要让模型真正学会发现并改正自己的错误。

为什么直接模仿纠错轨迹不够

论文指出，使用离线纠错数据进行 SFT 容易遇到两个问题：

  • 分布偏移： 训练数据中的错误来自基础模型，但微调后的模型会犯不同的错误；模型学到的纠错方式未必适用于自己的新错误。
  • 行为坍缩： 模型倾向于把能力都用在第一次回答上，第二次只做表面修改甚至完全不改。即使普通多轮 RL 能同时提高两次回答的准确率，也不一定提高“第二次相对第一次的改进幅度”。

SCoRe 因此使用模型自己实时生成的两轮轨迹进行在线 RL，使训练始终面对当前策略实际产生的错误；同时用两阶段设计避免模型走向“第一次尽量答对、第二次不纠错”这一捷径。

两阶段训练

  1. 阶段一——解耦两次回答： 固定住第一次回答的行为，用较强的 KL 约束使其接近基础模型；训练重点放在提高第二次回答的奖励。这样有意保留第一轮中的错误，为模型创造学习纠错的机会，并让第二轮不再只是第一轮的复制。
  2. 阶段二——联合优化并奖励进步： 同时优化两次回答，在常规正确性奖励之外，为“第一次错误、第二次正确”的转变增加奖励；如果第二次回答比第一次更差，也会受到相应影响。模型因此被鼓励学习真正的纠错策略，而不是只提高首次作答能力。

论文在 Gemini 1.0 Pro 和 Gemini 1.5 Flash 上进行数学与代码实验，相对基础模型的自我纠错能力分别在 MATH 和 HumanEval 上提高 15.6 和 9.1 个百分点。消融实验也表明，去掉第一阶段或进步奖励都会削弱第二次回答相对第一次的提升。

与 OPD 的关系

SCoRe 不是知识蒸馏方法：它没有教师模型，也不匹配教师 logits；训练奖励来自可验证的标准答案。它与 OPD 的共同点在于都强调在线数据——训练必须跟随当前模型实际访问的状态，才能缓解离线数据带来的分布偏移。区别是，OPD 用教师分布告诉学生“在这个状态下应该怎样做”，SCoRe 则用结果奖励告诉同一个模型“这次修改是否真的带来了进步”。

总结： SCoRe 将自我纠错从提示工程变成了一个两轮策略学习问题。它证明“让模型再想一次”并不会自然产生纠错能力；只有同时处理策略分布变化和不愿修改答案的行为坍缩，第二轮推理才可能稳定优于第一轮。其验证仍集中在具有可靠答案检查器的数学与代码任务，而且只研究了一次修正，不应直接等同于开放环境中的长程 Agent 纠错。

推理、Agent 与效率的全面爆发（2026 年）

Lightning OPD：不常驻教师服务器的离线近似

Lightning OPD 是 NVIDIA 提出的一种高效蒸馏方法。标准 OPD 要不断用当前学生生成新轨迹，再请教师计算每个 token 的概率。训练学生的同时还要常驻一个更大的教师服务，不仅占用大量 GPU，也会让训练速度受教师推理延迟限制。Lightning OPD 试图回答一个看似矛盾的问题：能否把教师信号提前算好，在训练时离线复用，同时保留 OPD 的主要效果？

1. 标准 OPD 与 Lightning OPD 差在哪里

设教师为 $\pi_T$，当前学生为 $\pi_\theta$，完成 SFT 的初始学生为参考策略 $\pi_{\mathrm{ref}}$。对于回答

$$ x=(a_1,a_2,\ldots,a_T), \qquad s_t=(q,a_1,\ldots,a_{t-1}), $$

论文定义每个 token 的 OPD 优势为：

$$ A_t(\theta)

\log\pi_T(a_t\mid s_t)

\log\pi_\theta(a_t\mid s_t). $$

如果教师比学生更确信当前 token，$A_t>0$，策略梯度会提高这个 token 的概率；如果学生比教师更确信，$A_t<0$，更新会压低它。实际计算梯度时，$A_t$ 被当作常量并停止梯度，即它充当 token 级权重，而不是让梯度继续穿过优势的计算过程。

标准 OPD 在当前学生分布上采样：

$$ J_{\mathrm{on}}(\theta)

\mathbb{E}{ q\sim p,, x\sim\pi\theta(\cdot\mid q) } \left[ \sum_{t=1}^{T}A_t(\theta) \right]. $$

Lightning OPD 则固定使用 SFT 参考模型的轨迹：

$$ J_{\mathrm{off}}(\theta)

\mathbb{E}{ q\sim p,, x\sim\pi{\mathrm{ref}}(\cdot\mid q) } \left[ \sum_{t=1}^{T}A_t(\theta) \right]. $$

两者使用完全相同的 token 级师生概率差，真正的区别只有采样分布：标准 OPD 的轨迹随 $\pi_\theta$ 每一步变化，Lightning OPD 始终复用 $\pi_{\mathrm{ref}}$ 预先生成的固定轨迹。

2. 教师信号如何离线化

Lightning OPD 先让同一个教师 $\pi_T$ 生成 SFT 数据，并将基础模型训练成 $\pi_{\mathrm{ref}}$。随后由 $\pi_{\mathrm{ref}}$ 在 OPD 提示集上生成固定回答，教师只运行一次，为每个回答 token 保存 log-probability：

$$ \mathcal{D}_{\mathrm{OPD}}

\left{ \left( q^j,, x^j,, \left{ \log\pi_T(a_t^j\mid s_t^j) \right}{t=1}^{T_j} \right) ;\middle|; x^j\sim\pi{\mathrm{ref}}(\cdot\mid q^j) \right}. $$

正式训练时，教师项 $\log\pi_T(a_t\mid s_t)$ 直接从数据集中读取，只需用当前学生在线计算 $\log\pi_\theta(a_t\mid s_t)$，再得到 $A_t$。因此训练阶段不再需要常驻教师服务器。

3. 为什么固定轨迹还能近似在线 OPD

定义轨迹级重要性比率和单轨迹梯度：

$$ w(x;\theta)

\frac{\pi_\theta(x\mid q)} {\pi_{\mathrm{ref}}(x\mid q)}, \qquad f(x;\theta)

\sum_t A_t(\theta) \nabla_\theta \log\pi_\theta(a_t\mid s_t). $$

标准在线梯度可以改写成在参考策略数据上的重要性加权期望：

$$ \nabla J_{\mathrm{on}}(\theta)

\mathbb{E}{x\sim\pi{\mathrm{ref}}} \left[ w(x;\theta)f(x;\theta) \right], $$

而 Lightning OPD 相当于把重要性权重固定为 $w=1$：

$$ \nabla J_{\mathrm{off}}(\theta)

\mathbb{E}{x\sim\pi{\mathrm{ref}}} \left[ f(x;\theta) \right]. $$

因此，它不是严格无偏地复现在线 OPD，而是依赖一个关键事实：OPD 阶段的学生通常不会迅速远离 SFT 初始策略。论文给出的梯度差上界为：

$$ \left| \nabla J_{\mathrm{on}}(\theta)

\nabla J_{\mathrm{off}}(\theta) \right|2 \leq G,\sigma_A \sqrt{ \chi^2 \left( \pi\theta \parallel \pi_{\mathrm{ref}} \right) }. $$

这里 $G$ 是策略梯度范数的上界，$\sigma_A$ 控制累计 token 优势的大小，$\chi^2(\pi_\theta\parallel\pi_{\mathrm{ref}})$ 衡量当前学生偏离参考策略的程度。初始化时 $\pi_\theta=\pi_{\mathrm{ref}}$，所以 $\chi^2=0$，两种更新完全一致；学生漂移越大，离线近似误差的上界也越大。

在线与离线梯度还满足：

$$ \nabla J_{\mathrm{off}}(\theta)

\nabla J_{\mathrm{on}}(\theta)

\operatorname{Cov}{\pi{\mathrm{ref}}} \left[ w(x;\theta),f(x;\theta) \right]. $$

论文将这个协方差修正项解释为一种隐式 trust region：当学生开始偏离固定数据分布时，离线更新会自然变得更保守，从而抑制策略漂移。不过，这是一种由固定数据带来的隐式正则效果，并不意味着它在所有设置下都优于显式 KL 约束。

4. 教师一致性为什么关键

论文发现，离线近似能否成立的关键不是“数据是否实时生成”，而是 SFT 教师和 OPD 教师必须是同一个模型。如果学生先模仿教师 A 的回答，随后却用教师 B 的分布进行蒸馏，两个教师的行为差异会产生无法通过延长训练消除的梯度偏差；这一问题也会影响标准在线 OPD，只是在离线训练中更加明显。

设 SFT 和 OPD 阶段的教师分别为 $\pi_T^{\mathrm{SFT}}$ 和 $\pi_T^{\mathrm{OPD}}$，定义 token 级教师差异：

$$ \Delta_t

\log\pi_T^{\mathrm{SFT}}(a_t\mid s_t)

\log\pi_T^{\mathrm{OPD}}(a_t\mid s_t). $$

用 $\sigma_\Delta$ 表示整条轨迹上教师差异的规模后，梯度差上界变为：

$$ \left| \nabla J_{\mathrm{on}}

\nabla J_{\mathrm{off}} \right|2 \leq G \left( \sigma_A+\sigma\Delta \right) \sqrt{ \chi^2 \left( \pi_\theta \parallel \pi_{\mathrm{ref}} \right) }. $$

更重要的是，教师不一致还会额外产生一个与策略漂移无关、上界为 $G\sigma_\Delta$ 的持续偏差。只有当

$$ \pi_T^{\mathrm{SFT}}

\pi_T^{\mathrm{OPD}} \quad\Longrightarrow\quad \Delta_t=0,\ \sigma_\Delta=0 $$

时，这个偏差项才会消失。这就是所谓的教师一致性（Teacher Consistency）。

5. “共享最优点”需要什么条件

标准在线目标可以写成：

$$ J_{\mathrm{on}}(\theta)

-D_{\mathrm{KL}} \left( \pi_\theta \parallel \pi_T \right) \leq 0. $$

如果教师分布可以由学生策略类表示，即 $\pi_T\in\Pi_\Theta$，最优点满足 $\pi_{\theta^}=\pi_T$，此时所有 $A_t(\theta^)=0$，在线与离线更新共享同一个固定点。如果学生容量不足、无法完整表示教师，论文不能保证两者严格拥有同一最优点，只能说明当 $\pi_\theta$ 没有偏离 $\pi_{\mathrm{ref}}$ 太远时，二者的梯度仍然接近。

6. 实验效果与边界

Qwen3-8B 实验中，Lightning OPD 用 30 GPU 小时达到 AIME 2024 的 69.9%，相对于标准 OPD 的 120 GPU 小时实现 4 倍训练效率；在 Qwen3-4B 上则从 72 GPU 小时降到 20 GPU 小时，约为 3.6 倍。它还在单个 8×H100 节点上完成了 Qwen3-30B-A3B 的训练，在 AIME 2024 和 LiveCodeBench v5 上分别达到 71.0% 和 60.8%。

总结： Lightning OPD 并不是严格意义上“每一步都跟随当前策略”的在线蒸馏，而是用 SFT 学生的固定分布近似后续学生分布。它能够成立依赖两个条件：学生在训练中不能过快偏离 $\pi_{\mathrm{ref}}$，并且 SFT 与 OPD 必须使用同一个教师。它的价值是把 OPD 从“训练时同时部署师生模型”改造成“教师一次预计算、学生独立训练”的数据流程；它减少的是教师服务和重复 rollout 成本，而不是取消 token 级蒸馏本身。

OPSD：让同一个模型借助标准答案教自己

传统 OPD 的教师通常比学生更大。OPSD（On-Policy Self-Distillation）换了一个角度：生成正确答案很难，但看到标准答案后解释“为什么这样做”相对容易。因此，不必另外部署大教师，可以让同一个模型在两种信息条件下扮演师生：

  • 学生视图： 只看到题目，并自主生成当前策略下的推理轨迹；
  • 教师视图： 使用相同模型参数，但额外看到标准答案或经过验证的参考推理；
  • 训练信号： 师生共同评估学生生成的同一段前缀，学生逐 token 对齐拥有特权信息的教师分布。
    OPD总览

    OPD总览

“自蒸馏”不等于模型凭空产生新知识。教师之所以更强，是因为训练时获得了部署阶段没有的特权信息。标准答案没有被直接当成 SFT 目标，而是先被模型理解、合理化，再转化为学生自己轨迹上的密集概率监督。这样即使学生最终答错，中间每个 token 仍能获得学习信号。

论文在 Qwen3-1.7B、4B 和 8B 的竞赛数学任务上进行实验。以 1.7B 模型为例，三个评测的平均分由 37.1 提高到 43.4，高于同设置下 GRPO 的 37.7。OPSD 每题只生成一条、最多 1,024 token 的训练轨迹，并在 100 步内收敛；论文中的 GRPO 设置则每题生成 8 条、每条最多 16K token。这里体现的是特定实验设置下的 token 效率，并非所有 OPSD 都固定快 4—8 倍。

总结： OPSD 将“教师优势”从参数规模差改成了信息差，省去了外部教师，却仍保留学生轨迹和 token 级监督。它特别适合有可靠标准答案的推理数据；如果任务没有可用的特权信息，或者模型即使看到答案也无法合理解释，教师视图就未必能提供有效指导。

SCOPE：按信号质量分配蒸馏强度

标准 OPD 往往对所有学生轨迹一视同仁，但教师信号并不总是可靠。学生已经生成一段严重错误的前缀时，教师也可能被带入陌生状态；反过来，学生已经答对时，继续强制贴近教师又可能压制少见但有效的推理路线。SCOPE 因此先按最终答案是否正确，把轨迹分成两条训练路径。

SCOPE 概览图

SCOPE 概览图

错误轨迹：看教师有没有把握

对于错误回答，SCOPE 继续使用教师 KL 蒸馏，但根据教师困惑度调整权重。教师对整段轨迹困惑度低，说明它理解当前前缀，更可能给出可靠的后续纠正信号；困惑度高，则说明学生已经进入教师也不熟悉的区域，这类监督会被降权。

正确轨迹：强化尚未掌握的解法

对于正确回答，SCOPE 不再要求学生模仿教师，而是使用加权 MLE 强化学生自己的答案。学生困惑度越高，说明这条正确路径越罕见、越接近能力边界，权重就越大；已经反复出现的主流解法则少强化一些。这样可以缓解 Pass@1 上升、Pass@k 反而下降的多样性退化现象。两条路径都在同一题目的样本组内归一化，避免题目难度不同导致权重尺度失控。

论文在六个数学推理基准上报告，相对竞争基线的 Avg@32 和 Pass@32 平均相对提升分别为 11.42% 和 7.30%，并补充了代码任务实验。

总结： SCOPE 的核心不是简单增加教师信号，而是判断“这条轨迹更适合纠错，还是更适合保留”。它需要可自动验证的最终答案来完成分流，因此当前证据主要来自数学与代码；在开放式对话中，如何可靠判断轨迹正确与否仍是难点。

TCOD：从短轨迹逐步学习长程 Agent

单轮推理中，学生只需在一段固定上下文里模仿教师；多轮 Agent 则会不断执行动作、接收环境反馈，再决定下一步。早期一个小错误会改变后续环境状态，使学生逐渐离开教师熟悉的分布。论文把随轮数增长而不断升高、并伴随成功率下降的 KL 称为轨迹级 KL 不稳定。

TCOD（Temporal Curriculum On-Policy Distillation）的思路很直观：不要一开始就要求弱学生负责完整长轨迹，而是先蒸馏较短、较稳定的交互片段，再逐渐扩大它需要负责的时间范围。

  • F2B（Forward-to-Backward）： 学生先负责轨迹前几步，训练过程中逐渐延长到完整任务。它始终从真实初始状态开始，最贴近学生自己的分布。
  • B2F（Backward-to-Forward）： 教师先沿成功轨迹把环境带到接近完成的状态，再交给学生处理最后几步；随着训练推进，交接点不断前移，直到学生能独立完成全程。教师前缀只负责导航，不参与梯度更新。

论文在 ALFWorld、WebShop 和 ScienceWorld 上测试四组师生模型。TCOD 相比普通 OPD 最高提升约 18 个成功率点，并将总训练时间最多降低约 32%；在部分 ALFWorld 困难任务上，学生还超过了教师自身的采样成功率。

总结： TCOD 把 Agent 蒸馏中的长程难题改造成课程学习问题：先站在“离成功更近”或“误差尚少”的状态学习，再逐渐承担完整轨迹。超过教师的结果来自环境交互和跨任务泛化，并不意味着学生在所有状态上的策略分布都比教师更强。

G-OPD / ExOPD：从模仿教师到外推教师的能力增量

G-OPD 从理论上重新解释了 OPD。设教师为 $\pi^*$、参考模型为 $\pi_{\mathrm{ref}}$，两者的对数概率差

$$ r(x,y)=\log\frac{\pi^*(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)} $$

可以理解为教师相对于参考模型学到的隐式稠密奖励。标准 OPD 等价于：一边追求这项奖励，一边用 KL 防止学生偏离参考模型，而且两者权重固定为 1:1。

G-OPD 增加奖励缩放系数 $\lambda$，把“学习多少教师增量”变成可控参数：

  • $0<\lambda<1$ 时，学生在参考模型和教师之间插值；
  • $\lambda=1$ 时，退化为标准 OPD；
  • $\lambda>1$ 时，沿“参考模型 → 教师”的概率变化方向继续外推，这一版本称为 ExOPD。

这里的“超过教师”并不是无条件创造新能力。在论文的多专家合并实验中，各领域教师都由同一个基础模型经过数学或代码等领域 RL 得到；ExOPD 将这些专家相对共同基础模型的变化放大，并合并回统一学生，因此可能在综合评测上超过任一单独专家。对于大教师到小学生的强弱蒸馏，使用“大教师做 RL 之前的基础版本”作为参考模型还能得到更准确的能力增量，但需要额外访问并运行这个模型。

总结： G-OPD 揭示 OPD 不只是“把学生拉向教师”，还可以看成“提取教师相对参考模型学到了什么”。ExOPD 进一步放大这一方向，但外推过远也可能放大教师偏差；论文的超越结论主要成立于数学、代码和同源领域专家合并设置。

OVD：用离散评分代替全词表 logits

经典 OPD 需要在学生生成的每个 token 位置上读取教师的完整词表分布，并通过 KL 散度进行匹配。设每批有 $B$ 个问题，每个问题采样 $N$ 条轨迹，轨迹长度为 $L$，词表大小为 $V$；如果框架同时保存 FP32 和 BF16 logits，论文将相关显存近似写为：

$$ \mathcal{M}_{\mathrm{token}}

B,N,L,V,(d_{32}+d_{16})

1.5,B,N,L,V,d_{32}, $$

其中 $d_{32}=4$ 字节、$d_{16}=2$ 字节，因此显存复杂度为 $\mathcal{O}(NLV)$。OVD（On-policy Verbal Distillation）不再保存每个位置上的 $V$ 维教师分布，而是让教师在 $v=10$ 个评分 token——${0,1,\ldots,9}$——上输出概率。若一条轨迹包含 $K$ 个推理步骤，评分存储降为 $\mathcal{O}(NKv)$；通常 $K\ll L$ 且 $v\ll V$。

OVD 总览图

OVD 总览图

1. 教师如何给出“语言化评分”

给定问题 $x$，学生策略 $\pi_S$ 在线生成由多个推理步骤组成的轨迹：

  • [^1] $$ y=(s_1,s_2,\ldots,s_K), \qquad y\sim\pi_S(\cdot\mid x). $$

教师可以对单个步骤 $s_k$ 评分，也可以对完整轨迹 $y$ 评分。它输出的不是一个确定标签，而是评分词表上的概率分布：

$$ q_{\mathcal E}(z\mid x,y), \qquad z\in{0,1,\ldots,9}, \qquad S(y)\sim q_{\mathcal E}(\cdot\mid x,y). $$

也就是说，训练时从教师的评分分布中采样 $S(y)$，而不是始终取最高分 token。这保留了教师判断的不确定性，也允许相近质量的轨迹以不同概率通过筛选。“Verbal”在这里主要指这种可由黑盒模型直接生成的离散评分 token，并不要求教师提供整段自然语言批评。

2. Verbal Rejection Sampling

OVD 使用阈值 $\theta$ 判断是否接受学生轨迹：

$$ a(y)

\mathbf{1}!\left[S(y)\geq\theta\right]. $$

  • 若 $a(y)=1$，保留学生自己探索出的高质量轨迹；
  • 若 $a(y)=0$，拒绝该轨迹，并由教师生成完整的替代轨迹用于训练。

第 $t$ 轮学生轨迹的接受率为：

$$ \alpha_t

\mathbb{E}_{y\sim\pi_S^{(t)}} \left[ \mathbf{1}!\left[S(y)\geq\theta\right] \right]. $$

因此，实际训练数据可以直观地看成一个动态混合分布：

$$ p_{\mathrm{train}}^{(t)}(y)

\alpha_t, p_S^{(t)}!\left(y\mid S(y)\geq\theta\right) + (1-\alpha_t),\pi_T(y). $$

训练早期学生较弱，$\alpha_t$ 较小，数据更多来自教师；随着学生质量提高，更多自主轨迹通过阈值，$\alpha_t$ 随之增大，训练自然转向学生侧探索。这形成了一种不需要手工设定混合比例的课程学习。

3. 区分教师评分与任务奖励

教师的 0—9 分首先用于筛选轨迹；在论文给出的主训练目标中，组相对策略优化还使用可验证的任务结果奖励。对于 Web 问答和数学推理，分别定义为：

$$ R(y)

\begin{cases} \mathrm{F}_1(y,y^), & \text{Web Q&A},\ \delta(y,y^), & \text{数学推理}, \end{cases} $$

其中 $y^$ 是参考答案，$\delta(y,y^)\in{0,1}$ 表示经过数值容差和代数归一化后的数学等价判断。前者提供部分正确的软奖励，后者提供严格的结果正确性奖励。

从更一般的框架看，教师的步骤级反馈也可以参与信用分配，为每一步提供不同的回报 $R_k$；若只使用轨迹级结果奖励，则令所有步骤共享 $R_k=R(y)$。相应的基础策略梯度目标为：

$$ \mathcal{L}_{\mathrm{PG}}

-\mathbb{E}{x,y} \left[ \sum{k=1}^{K} R_k \log\pi_S(s_k\mid x,s_{<k}) \right]. $$

4. 使用组相对优势稳定训练

具体优化采用类似 GRPO 的组内标准化。对于问题 $x_i$ 的第 $j$ 条轨迹，先计算：

$$ A_i^{(j)}

\frac{ R!\left(y_i^{(j)}\right)-\mu_i }{ \sigma_i+\epsilon }, $$

其中 $\mu_i$ 和 $\sigma_i$ 是同一问题下多条采样轨迹奖励的均值和标准差。随后使用 PPO 式裁剪目标：

$$ \mathcal{L}_{\mathrm{RL}}

-\mathbb{E} \left[ \min \left( \rho A,, \operatorname{clip} \left(\rho,1-\epsilon_c,1+\epsilon_c\right)A \right) \right], $$

$$ \rho

\frac{\pi_S(y\mid x)} {\pi_S^{\mathrm{old}}(y\mid x)}. $$

裁剪限制了单次策略更新幅度。最终训练批次同时包含通过评分阈值的学生轨迹和替换低分样本的教师轨迹，二者统一按照任务奖励参与优化。

5. 方法收益与边界

OVD 不要求师生词表一致，也不需要访问教师完整 logits，因此兼容黑盒教师，并允许学生在 token 层面自由探索。论文在 Web 问答和数学推理上测试该方法，报告 Web 问答平均 EM 最高绝对提升 12.9 个百分点；在特定的单样本扩展设置下，数学评测最高提升 25.7%。

总结： OVD 更接近“教师评分负责筛选、结果奖励负责优化”的在线策略学习，而不是经典 logit 蒸馏。它用较粗但便宜、可解释且兼容 API 的教师信号换取更长轨迹和更大采样规模，适合长程搜索和工具交互；代价是无法保留教师词表分布中的细微信息，而且评分阈值与教师校准质量会直接影响学生轨迹和教师轨迹的混合比例。

DeepSeek-V4：用多教师 OPD 合并十多个领域专家

DeepSeek-V4 把 OPD 从“大模型教小模型”扩展为一种工业级能力合并机制。其后训练不再直接对一个统一模型进行混合领域 RL，而是分成两个阶段：

  1. 从同一个基础模型出发，分别为数学、代码、Agent、指令遵循等领域进行 SFT 和 GRPO，得到一组各有所长的专家模型；
  2. 让统一模型作为学生生成自己的轨迹，再根据任务类型匹配相应专家，通过多教师 OPD 把各领域能力合并回同一组参数。

对于第 $i$ 个专家 $\pi_{E_i}$，训练使用加权逆向 KL：

$$ \mathcal{L}_{\mathrm{OPD}}

\sum_{i=1}^{N} w_i D_{\mathrm{KL}} \left( \pi_\theta \parallel \pi_{E_i} \right) $$

其中 $w_i$ 体现不同专家对当前任务的重要性。报告称最终阶段使用了十多个领域教师。与直接平均模型权重相比，这种方法是在学生真实访问的状态上合并行为分布；与混合 RL 相比，各领域可以先使用最合适的奖励独立优化，再统一整合，减少不同奖励相互干扰。

为什么坚持全词表逆向 KL

许多 OPD 实现只比较学生实际采样到的 token，以节省计算，但这种估计方差较大。DeepSeek-V4 直接保留全词表分布来计算逆向 KL，以获得更稳定的梯度。为承受十多个超大教师的成本，系统将教师权重按需从分布式存储加载，只缓存教师最后一层隐藏状态，训练时再通过对应输出头重建完整 logits；每个批次只让一个教师输出头驻留显存。

DeepSeek-V4-Pro 为 1.6T 总参数、每 token 激活 49B 的 MoE，DeepSeek-V4-Flash 则为 284B 总参数、激活 13B。这里的重点不是 OPD 把小模型压缩到 1.6T，而是它把多个同规模领域专家的能力整合进最终通用模型。

总结： DeepSeek-V4 展示了一条“先把 RL 做专，再用 OPD 做全”的后训练路线。其贡献既包括多教师全词表逆向 KL，也包括让超大教师按需调度的工程系统。不过，技术报告没有单独给出“有无 OPD”的完整消融，因此最终能力提升不能全部归因于蒸馏，还同时受到专家训练、模型架构、数据和基础设施的影响。