DAPO

https://arxiv.org/abs/2503.14476 This is mostly generate by Gemini 3-pro

这部分主要交代了背景和动机。

现状： Test-time scaling（如 OpenAI o1, DeepSeek R1）通过强化学习激发了 LLM 的推理能力（Long CoT）。
问题： 关键的 RL 细节被隐藏了。社区尝试用朴素的 GRPO 复现，结果很差。作者自己在 Qwen2.5-32B 上跑朴素 GRPO，AIME 只有 30 分，而 DeepSeek 报告是 47 分。
分析： 朴素 GRPO 存在三大问题：
1. Entropy Collapse（熵坍缩）： 模型过早收敛，失去探索能力
2. Reward Noise（奖励噪声）： 主要是截断（Truncation）导致的。
3. Training Instability（训练不稳定）。
贡献： 提出了 DAPO 算法，并在 verl 框架上开源了代码和数据。结果是 50 分，且训练步数只需 DeepSeek 的 50%

2.1 PPO： 经典回顾。核心是 Clip 机制限制策略更新幅度。
2.2 GRPO (Group Relative Policy Optimization)：
- 核心： 去掉了 Value Function (Critic)，节省显存。
- 优势计算：通过采样一组 $G$ 个输出来计算 Group 内部的相对优势： $$\hat{A}{i,t}=\frac{r-mean({R_{i}}_{i=1}^{G})}{std({R_{i}}_{i=1}^{G})}$$
- 关键伏笔： 传统的 GRPO 是 Sample-level 的 Loss 计算（先对每个样本内的 token loss 求平均，再对样本求平均）7。这一点在后面会被 DAPO 批判。
2.3 Removing KL Divergence (去掉了 KL 散度)：
- Insight： 在 RLHF 中，我们需要 KL 来防止模型偏离“人话”。但在 Long-CoT 推理任务中，模型分布必须显著偏离 SFT 模型（因为要产生新的推理模式），所以作者去掉了 KL 惩罚项。
2.4 Rule-based Reward： 只看最终答案是否正确（1 或 -1），不搞复杂的 Process Reward Model，避免 Reward Hacking。

这是论文最精华的部分，详细解释了如何解决 Section 1 提出的问题。

compare to GRPO

问题： 实验发现 Policy Entropy 掉得太快（熵坍缩），模型不仅不探索，而且不同采样的输出变得一模一样。

熵: $H (π) = - \sum p_{i} \log p_{i}$ , 在信息论中，熵衡量的是不确定性或混乱程度。在 RL 里的 Policy 上，熵代表了模型输出的多样性（探索能力）。
原因分析： PPO 的 Clip 机制通常是 $[1 - ϵ, 1 + ϵ]$ （默认 0.2）。
- 对于高概率 Token（Exploitation），比如 $p = 0.9$ ，上限 $1.2$ 对它没啥限制。
  - 理论上新概率 $p_{n e w}$ 可以达到 $0.9 \times 1.2 = 1.08$ 。
- 对于低概率 Token（Exploration），比如 $p = 0.01$ ，上限变成 $0.012$ 。这意味着低概率的探索性 Token 很难通过梯度更新被“提拔”上来。

PPO 的 Clip 机制对低概率 Token 的“提拔”限制太死，导致那些一开始概率低的“潜力股”很难翻身，模型最终只能选择一开始概率就高的“平庸股”，导致熵坍缩

DAPO 方案： 解耦 Clip 范围。
- 保持 $ϵ_{l o w} = 0.2$ （防止概率降到 0 导致采样空间坍缩）。
- 提高 $ϵ_{h i g h} = 0.28$ 。
- 效果： 允许低概率 Token 有更大的上升空间，从而维持了 Exploration。

问题： 随着训练进行，很多 Prompt 的准确率变成了 100%（全对）或 0%（全错）。
- 在 GRPO 中，如果一组采样 ${o_{i}}$ 的奖励全是一样的（全 1 或全 -1），那么 Advantage 全是 0。
- 这意味着这些样本对梯度没有任何贡献，导致 batch 内有效样本数减少，梯度方差变大，训练效率低。
DAPO 方案： Buffer 机制 + 过滤。
- 在采样阶段，如果是全对或全错的 prompt，直接扔掉。
- 不断采样，直到填满一个 Batch 的有效样本（Advantage 不为 0 的样本）。
效果： 虽然采样时间变长了，但训练步数大幅减少，总收敛时间反而变快了。

问题： 原版 GRPO 是 Sample-level Averaging。
- 假设 Response A 长 1000 tokens，Response B 长 100 tokens。在 Sample-level 下，它们对 Loss 的贡献权重是一样的（各占 1/BS）。
- 这导致长 CoT（往往包含更复杂的推理）中的 token 被“稀释”了。
- 这也导致模型倾向于生成长而无意义的废话（Gibberish），因为在 Sample-level 下这些废话没有受到足够的惩罚 17。
DAPO 方案： 改为 Token-level Summation。
- 公式分母变成 $\sum | o_{i} |$ （所有 token 总数），而不是样本数 $G$ 18。
- 这样，更长的推理链条在梯度更新中拥有更大的权重，且生成废话的 token 会受到更直接的惩罚。

问题： 训练都有最大长度限制（如 4096）。如果模型推理正确但没写完被截断了，通常给 -1 分。
- 这会给模型错误的信号：“我推理是对的，为什么惩罚我？” 导致 Reward Noise 19。
DAPO 方案：
1. Overlong Filtering： 直接 Mask 掉截断样本的 Loss，不学它 20。
2. Soft Overlong Punishment： 引入一个“软惩罚区间”。如果长度接近最大限制，给予一个随长度增加的负奖励，引导模型学会精简，而不是直接截断 21212121。

这部分验证了 DAPO 的有效性。

配置：
- Base Model: Qwen2.5-32B。
- Framework: verl。
- Data: DAPO-Math-17K (作者自己清洗的数据集，把所有答案转成了整数以便验证)。
主结果 (Ablation Study) ：这一段非常精彩，展示了每个技术加进去后的提升：
- Naive GRPO: 30%
- Overlong Filtering: 36% (解决噪声)
- Clip-Higher: 38% (解决探索)
- Soft Punishment: 41%
- Token-level Loss: 42% (解决稳定性)
- Dynamic Sampling: 50% (解决效率和梯度质量)
- 对比 DeepSeek R1 Zero: 47%。DAPO 胜出。
训练动态分析 (Training Dynamics)：
- 长度变化： 长度不是一直涨的，会经历“停滞”甚至“下降”，这很正常 24。
- 涌现现象 (Case Study)： 论文展示了一个例子，模型在训练初期不会检查答案，后期涌现出了 "Wait a moment, let's rethink..." 这种自我反思的行为 25。

DAPO 通过解耦 Clip（促进探索）、动态采样（保证梯度质量）、Token-level Loss（适应长链推理）和合理的截断处理，成功在开源框架下复现并超越了 DeepSeek-R1-Zero 的效果。