Skip to content

约 9 分钟阅读

06. R1 与 GRPO:推理能力怎样训练出来 ​

资料助手能背出制度,却可能在两天加班费的计算中用错倍数。这个问题把视线从前面几篇的网络与效率转到训练目标:如果程序能判定答案,怎样让模型更经常走到正确结果?本篇区分 DeepSeekMath 的 GRPO、R1-Zero 的直接强化学习、正式 R1 的四阶段训练,以及基于 Qwen/Llama 的蒸馏学生。

可验证奖励:让程序当考官 ​

可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards,RLVR,这个名字出自 2024 年的 Tülu 3 报告)的做法很直接:模型生成回答,一段程序检查答案对不对,对了给 1 分,错了给 0 分。常见的检查方式有:

  • 数学题:从回答里抽出最终答案,和标准答案比对;
  • 代码题:在沙箱里运行单元测试,全部通过才算对;
  • 格式类任务:输出能否被 JSON 解析、字段是否齐全。

与学习打分的奖励模型相比,程序检查不会因为回答写得长、语气自信就多给分,无需逐条进行回答偏好标注;题目、标准答案与检查规则仍需建设和核验。代价是适用范围窄:只有答案能被程序判定的任务才能用,“这段解释写得好不好”就没法这样检查。

把资料助手的加班费问题改造成可验证任务,需要三样东西:一批题目(可以从制度规则批量生成,换月薪、天数、加班类型)、每题的标准答案(由程序按规则算出),以及一个检查回答的函数。下面用一套教学用的示例制度:日工资 = 月工资 ÷ 21.75,工作日延时加班按 150%,休息日加班且未补休按 200%,法定节假日按 300%。

text
月工资 8,700 元,休息日加班 2 天且未补休:
日工资 = 8,700 ÷ 21.75 = 400 元
加班费 = 400 × 2 天 × 200% = 1,600 元

检查函数要规定答案写在哪里,只认那一处。下面的函数采用 TRL GRPOTrainer 自定义奖励函数的消息列表形式。保存为 reward.py 后可用 Python 3 独立运行,只依赖标准库;示例验证答案抽取和评分,不执行模型训练:

python
import re

def overtime_reward(completions, answer, **kwargs):
    """completions:每个回答的消息列表;answer:数据集里的标准答案列。"""
    rewards = []
    for msgs, gold in zip(completions, answer):
        text = msgs[0]["content"]
        found = re.findall(r"<answer>\s*([0-9]+(?:\.[0-9]+)?)\s*元?\s*</answer>", text)
        if len(found) != 1 or text.count("<answer>") != 1 or text.count("</answer>") != 1:
            # 缺少、重复或夹带非法答案标签,一律不给分
            rewards.append(0.0)
            continue
        rewards.append(1.0 if abs(float(found[0]) - float(gold)) < 0.01 else 0.0)
    return rewards

if __name__ == "__main__":
    samples = ["<answer>1600元</answer>", "<answer>1200</answer>",
               "<answer>1600</answer><answer>错误</answer>", "没有答案"]
    messages = [[{"role": "assistant", "content": text}] for text in samples]
    print(overtime_reward(messages, [1600] * len(samples)))

在脚本所在目录运行 python3 reward.py,预期得到 [1.0, 0.0, 0.0, 0.0]。若格式正确却得 0,先检查标准答案列和单位约定;若非法输出得到 1,先修复抽取规则再开展训练。

“写了多个答案也不给分”这一行很重要,后面讲作弊时会看到原因。

GRPO:同一道题做几遍,和自己比 ​

近端策略优化(PPO)除了生成回答的策略模型,还使用价值模型;常见大模型实现采用与策略相近的骨干规模,用来估计“这道题平均能得几分”,作为判断某个回答好坏的基线。对大模型来说,价值模型既占显存,又很难训好:奖励只在回答结束时给出一次,要让价值模型对每个中间 token 都估出准确的值并不容易。

2024 年 DeepSeekMath 论文提出的 GRPO(Group Relative Policy Optimization,组相对策略优化)换了一种基线:同一道题让策略采样一组回答,用这组回答的平均分当基线。比平均好的回答,概率调高;比平均差的,概率调低。

同一道加班费题让当前策略采样 8 个回答,检查器抽取最终数字与标准答案 1600 比对,答对得 1、答错或没有答案得 0;8 个奖励的均值 0.5、标准差 0.5,归一化后答对的优势为 +1.0、答错的为 −1.0,再按优势更新策略并用 KL 拉住参考模型

图中的一组 8 个回答,有 4 个算对了 1,600 元,其余分别用错了倍数(1,200 是按 150% 算的,2,400 是按 300% 算的)、漏乘倍数(800)或者没写答案。每个回答的优势(advantage,表示它比同组平均好多少)这样算:

text
优势 A_i = (r_i − 组内平均奖励) ÷ 组内奖励标准差

8 个奖励:1, 0, 1, 0, 1, 0, 0, 1
平均 = 0.5,标准差 = 0.5
答对:(1 − 0.5) ÷ 0.5 = +1.0;答错:(0 − 0.5) ÷ 0.5 = −1.0

这里的标准差按 8 个数直接算(除以 8)。TRL 的实现用样本标准差(除以 7),得到约 0.53,优势约为 ±0.94,正负和相对大小不变。

这个优势会赋给该回答里的每一个 token,然后像 PPO 一样更新:在未触发裁剪等约束时,正优势项倾向于提高对应回答的 token 概率,负优势项倾向于降低;实际更新还受共享参数、KL 项与批内其他样本影响。更新幅度也用 PPO 的裁剪机制限制,一步不能改太多。DeepSeekMath 的原始设置里还在损失中加了一项与参考模型的 KL 散度惩罚(度量两个输出概率分布的差异),用于限制策略偏离参考模型。

组内归一化带来一个重要的性质:如果 8 个回答全对或全错,加上防止除零的小量后,奖励优势均为 0,这道题本步不提供奖励差异信号;KL 等其他目标仍可能产生更新。题目太难(模型一个都做不对)或太简单(每次都对)都白白消耗了生成算力。挑选训练题目时,最好让当前模型的正确率落在中间区间。

DeepSeekMath 用的设置是每题采样 64 个回答、KL 系数 0.04、学习率 1e-6,在约 14.4 万道数学题上训练。论文还观察到一个现象:强化学习提高了“多次采样投票”的准确率(Maj@K),却没有提高“多次采样至少一次对”的比例(Pass@K)。也就是说,它主要把模型原本就能偶尔做对的答案变得更稳定,而不是教会模型原本完全不会的东西。

框架的默认值已经和原始论文不同了。TRL v1.16 的 GRPOTrainer 默认每题生成 8 个回答、KL 系数为 0(默认不加参考模型)、损失按整组 token 数归一(loss_type="dapo")。后一个改动的原因是:原始 GRPO 先在每个回答内部按长度取平均,后续研究指出这会带来长度偏差(错误回答越长,每个 token 受到的惩罚越轻,模型倾向于把错误回答写长)。照搬论文公式或框架默认值之前,要先弄清是哪个版本。

R1-Zero:从基础模型直接强化学习 ​

2025 年 1 月发布的 DeepSeek-R1 论文做了一个大胆的实验:R1-Zero 不先做监督微调(SFT,即用示例回答训练),直接在 DeepSeek-V3-Base 基础模型上用 GRPO 训练。奖励只有两种,都由规则判定:

  • 准确性奖励:数学题的最终答案是否正确,代码题能否通过编译和测试;
  • 格式奖励:推理过程是否写在 <think> 和 </think> 之间,答案写在 <answer> 里。

论文特意没有用神经网络奖励模型,理由是大规模强化学习中它容易被钻空子,重新训练又增加成本和复杂度。提示模板也只规定了“先思考再回答”的格式,没有规定该怎样思考。

在论文的评测设置下,AIME 2024(美国数学邀请赛题目)的单次准确率从训练开始时的 15.6% 涨到 71.0%,多数投票后达到 86.7%。训练中还出现了这样的现象:回答长度随训练稳步增长,从几百个 token 增长到数千个;模型自发出现了反思、验算、换一种方法再试的行为。论文记录了一个中间检查点在解题中途写出类似“等等,我这里可以重新检查一下”的“顿悟时刻”。

长思维链是从哪里来的? 奖励只看最终答案,不看过程。对难题来说,写得更长、在中途检查和回溯的回答,答对的概率更高,于是这类回答一次次获得正优势,相应的行为被不断强化。没有人教模型“要反思”,这是“答对才给分”加上足够多训练步数的结果。但结合 DeepSeekMath 的观察,更准确的理解是:这些行为在强大的基础模型里本来就以小概率存在,强化学习把它们挑出来并放大了。基础模型较弱时,同样的训练未必会出现同样的现象。

R1-Zero 的问题也很明显:推理过程可读性差,经常在中文和英文之间混着写。这些问题奖励函数都不管,自然也就不会被修正。

论文 2025 年的修订版附录给出了 R1-Zero 的具体配置:每题采样 16 个回答,最大长度 32,768 个 token(8,200 步后提高到 65,536),每步 32 道题共 512 个回答,学习率 3e-6,KL 系数 0.001,每 400 步把参考模型换成最新的策略,一共训练 10,400 步。

R1:四个阶段把推理能力变成可用的助手 ​

为了解决 R1-Zero 的可读性问题,并让模型在写作、问答等非推理任务上也好用,正式的 DeepSeek-R1 用了四个阶段:

阶段做什么解决什么
1. 冷启动 SFT用数千条格式规范、可读性好的长思维链样例,对 V3-Base 做 SFT给强化学习一个可读的起点
2. 推理强化学习与 R1-Zero 相同的大规模 GRPO,额外加一项语言一致性奖励(思维链里目标语言词汇的比例)提升推理能力,减少中英混写
3. 拒绝采样 + SFT用第 2 阶段的模型生成大量回答,只保留正确的,得到约 60 万条推理样本;再加约 20 万条写作、事实问答、翻译等非推理样本,共约 80 万条,对 V3-Base 重新 SFT 两轮把推理能力和通用能力合到一起
4. 全场景强化学习推理题继续用规则奖励,通用对话用奖励模型评有用性和无害性让模型在各种请求上都表现得体

论文指出,加入语言一致性奖励会让推理分数略有下降,但可读性明显变好。这是奖励设计中常见的取舍:奖励里写进什么,模型就会为它付出别的代价。第 3 阶段的拒绝采样(rejection sampling)是一种简单而有效的数据生产方法:每题生成多次,用程序或模型筛掉错误的,留下的就是新的 SFT 数据。

第 3 阶段的 80 万条数据还有另一个用途:论文直接用它们对 Qwen2.5 和 Llama 系列的小模型做 SFT,不做任何强化学习,得到一系列蒸馏模型。对比结果很能说明问题:在 Qwen2.5-32B 基础模型上做了一万多步强化学习的版本,AIME 2024 准确率 47.0%;只用 R1 的数据做 SFT 的蒸馏版本是 72.6%。在这组 32B 对照中,从强模型蒸馏取得了更高准确率;其他规模和任务仍需比较数据成本与训练收益。这正是 第 13 篇 要讲的内容。

蒸馏得到的是学生模型 ​

R1 的约 80 万条筛选样本用于训练 Qwen2.5 与 Llama 系列学生,学生只做 SFT。它们保留各自的注意力、层数和参数规模,不会因为回答带有长思考过程就变成 MLA + MoE。正式 R1 也不是把 R1-Zero 的权重简单继续训练到终点:四阶段流程中的拒绝采样结果会作为新的 SFT 数据,再训练基础模型。

完整 R1 与蒸馏版应分别设立质量和资源基线。小模型更省内存,但教师在困难任务上的成功率不能直接移植成学生的承诺;Llama 底座的蒸馏版还需同时核对底座许可。

让检查器真正检查业务结果 ​

资料助手的加班费例子里,若奖励函数只查回答中有没有“1600”,模型可能把许多数字全部列出来。更可靠的检查只抽取一个规定字段,并独立复算标准答案;代码任务则使用模型不能修改的隐藏测试,在隔离环境执行。高奖励回答还要抽查,尤其检查输出是不是在利用检查器漏洞。

当一组回答全错时,继续重复同一道难题没有组内奖励差异。先用筛选后的示例做 SFT、降低难度或改善数据,才能让探索有起点。如果业务本身是一条固定计算公式,直接调用计算工具更可靠;模型可以学习抽取输入和选择工具,金额由程序计算。

此外,思考更长会增加生成成本:2,000 道题、每题 8 个回答、平均 600 个 token,一轮就生成 960 万 token。GRPO 省掉价值模型,并没有省掉这些逐步生成。上线时也要分别测完整思考长度、最终答案质量和延迟,不把语言流畅当成推理正确。

R1 的关键是将基础模型、可验证奖励、筛选数据和后续对齐连成训练过程;奖励覆盖不到的错误仍需另外评估。下一篇回到长文档的计算瓶颈:NSA 与 DSA 怎样选择历史位置。

别急,先让缓存热一下。