强化学习梳理:从经典算法到 GRPO

2026-10-06笔记强化学习大模型后训练GRPO阅读清单

这篇笔记梳理强化学习的背景与原理、关键算法、里程碑论文、应用和学习资料,并重点讲大模型时代的强化学习(RLHF、RLVR、GRPO 及其变体)[1]–[7]。

背景

强化学习(Reinforcement Learning,RL)研究智能体(agent)怎样在与环境的交互中,根据奖励信号学会序列决策。它有三个源头:

源头内容
试错学习来自动物心理学中的 Thorndike 效果律
最优控制Bellman 在 1950 年代提出的动态规划
时序差分学习Sutton 于 1988 年提出

强化学习与监督学习有三点不同:

  1. 没有标准答案,只有奖励。
  2. 奖励常常延迟。
  3. 数据由智能体自己的策略产生,因此需要权衡探索与利用。

核心原理

强化学习的问题形式是马尔可夫决策过程(Markov Decision Process,MDP),记为 (S,A,P,R,γ)(\mathcal{S}, \mathcal{A}, P, R, \gamma)S\mathcal{S} 为状态集合,A\mathcal{A} 为动作集合,PP 为状态转移概率,RR 为奖励函数,γ\gamma 为折扣因子。策略 π\pi 给出各状态下的动作分布。

目标是最大化期望累积折扣回报。记折扣回报为 GG则

G=∑t=0∞γtrt,J(π)=Eπ[G]\begin{gathered} G = \sum_{t=0}^{\infty} \gamma^t r_t, \\ J(\pi) = \mathbb{E}_{\pi}[G] \end{gathered}

状态价值函数 Vπ(s)V^\pi(s) 与动作价值函数 Qπ(s,a)Q^\pi(s,a) 分别是从状态 ss 出发、以及从状态 ss 出发并先执行动作 aa 时的期望回报:

Vπ(s)=Eπ[ G∣s0=s ],Qπ(s,a)=Eπ[ G∣s0=s, a0=a ]\begin{gathered} V^\pi(s) = \mathbb{E}_\pi[\,G \mid s_0 = s\,], \\ Q^\pi(s,a) = \mathbb{E}_\pi[\,G \mid s_0 = s,\, a_0 = a\,] \end{gathered}

最优动作价值函数满足 Bellman 最优方程:

Q∗(s,a)=Es′[ r+γmax⁡a′Q∗(s′,a′)]Q^*(s,a) = \mathbb{E}_{s'}\bigl[\, r + \gamma \max_{a'} Q^*(s',a') \bigr]

策略梯度定理给出目标函数对策略参数 θ\theta 的梯度,其中优势函数 Aπ(s,a)=Qπ(s,a)−Vπ(s)A^\pi(s,a) = Q^\pi(s,a) - V^\pi(s)

∇θJ(θ)=Eπθ[ ∇θlog⁡πθ(a∣s) Aπ(s,a)]\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\bigl[\, \nabla_\theta \log \pi_\theta(a \mid s)\, A^{\pi}(s,a) \bigr]

经典关键算法

类别代表算法核心思想
基于价值Q-learning、DQN、Double DQN、Rainbow学习 QQ 函数并贪心选取动作,适合离散动作
策略梯度REINFORCE、TRPO、PPO直接优化策略;PPO 用裁剪目标限制更新步长
Actor-CriticA3C、DDPG、TD3、SAC策略网络加价值网络;SAC 加入最大熵,连续控制常用
基于模型AlphaZero、MuZero、Dreamer学习或利用环境模型做规划,样本效率高
离线 RLBCQ、CQL、IQL、Decision Transformer只用固定数据集,抑制分布外动作的价值高估
其他模仿学习(BC、GAIL)、多智能体(MADDPG、QMIX)、分层 RL用于缺少奖励、多智能体博弈、长时程任务

最常用的两个更新式如下。Q-learning 以步长 α\alpha 把 QQ 值向目标值靠拢:

Q(s,a)←Q(s,a)+α[ r+γmax⁡a′Q(s′,a′)−Q(s,a)]Q(s,a) \leftarrow Q(s,a) + \alpha\bigl[\, r + \gamma \max_{a'} Q(s',a') - Q(s,a) \bigr]

PPO 的裁剪目标中,ϵ\epsilon 为裁剪范围,AtA_t 为优势估计:

LCLIP(θ)=Et[min⁡(ρtAt, clip⁡(ρt,1−ϵ,1+ϵ) At)]L^{\text{CLIP}}(\theta) = \mathbb{E}_t\bigl[\min\bigl(\rho_t A_t,\ \operatorname{clip}(\rho_t, 1-\epsilon, 1+\epsilon)\, A_t\bigr)\bigr]

其中 ρt=πθ(at∣st)/πθold(at∣st)\rho_t = \pi_\theta(a_t \mid s_t)/\pi_{\theta_{\text{old}}}(a_t \mid s_t) 是新旧策略的概率比。

里程碑论文

年份论文贡献
1988时序差分学习(Sutton) 10.1007/BF00115009TD 学习
1992Q-learning(Watkins & Dayan) 10.1007/BF00992698提出 Q-learning
1992REINFORCE(Williams) 10.1007/BF00992696提出 REINFORCE
1999策略梯度定理(Sutton 等)策略梯度定理
2015DQN(Mnih 等 · Nature) 10.1038/nature14236深度 RL 的起点
2015TRPO(Schulman 等) 1502.05477信赖域策略优化
2015DDPG(Lillicrap 等) 1509.02971连续动作的深度确定性策略梯度
2016GAE(Schulman 等) 1506.02438广义优势估计
2016AlphaGo(Silver 等 · Nature) 10.1038/nature16961深度网络加树搜索
2017AlphaZero(Silver 等) 1712.01815通用的自博弈算法
2017PPO(Schulman 等) 1707.06347裁剪目标的策略优化
2017从人类偏好学习(Christiano 等) 1706.03741用人类偏好训练奖励模型
2018SAC(Haarnoja 等) 1801.01290最大熵 Actor-Critic
2018TD3(Fujimoto 等) 1802.09477抑制 Actor-Critic 中的价值高估
2020MuZero(Schrittwieser 等 · Nature) 10.1038/s41586-020-03051-4学习环境模型并用于规划
2020Dreamer(Hafner 等) 1912.01603隐空间想象中学习行为;2020 至 2023 年发展为 Dreamer 系列
2020CQL(Kumar 等) 2006.04779保守的离线 Q 学习
2021Decision Transformer(Chen 等) 2106.01345将 RL 转化为序列建模
2022RLHF(Ouyang 等) 2203.02155对齐语言模型的 InstructGPT
2024GRPO(Shao 等 · DeepSeekMath) 2402.03300提出 GRPO
2025DeepSeek-R1(DeepSeek-AI) 2501.12948RLVR 的完整配方
2025DAPO(Yu 等) 2503.14476GRPO 的工程改进
2025Dr. GRPO(Liu 等) 2503.20783去除长度与标准差归一化
2025GSPO(Zheng 等) 2507.18071序列级重要性比率

入门教材首选 Sutton 与 Barto 的《Reinforcement Learning: An Introduction》。

应用

领域内容
游戏与博弈围棋、Atari、星际争霸、Dota 2
机器人灵巧手操作、四足行走,依赖仿真到现实的迁移
自动驾驶决策规划、变道与路口博弈、闭环仿真训练。真实道路上无法随意试错,实际应用多为模仿学习加 RL 微调,或离线 RL
大模型RLHF 对齐,以及用 RL 训练推理能力和 Agent 的工具使用
推荐与广告优化长期用户价值
科学与工业核聚变等离子体控制、芯片布局、数据中心节能、算法发现(AlphaTensor、AlphaDev)

主要挑战: 样本效率低、奖励设计困难、训练不稳定、仿真与现实存在差距、安全约束难以保证、泛化能力弱。

大模型时代的强化学习

现在强化学习的重心已经从游戏和控制转到了大模型后训练。范式上的主线是从 RLHF 到 RLVR,算法上的主线是从 PPO 到 GRPO,再到各种 GRPO 变体。

范式变化

GRPO 的核心思想

GRPO(Group Relative Policy Optimization)去掉了 PPO 的价值网络。对同一个问题 qq 采样一组 GG 个回答 o1,…,oGo_1,\dots,o_G每个回答的奖励为 rir_i用组内相对奖励作为优势。记组内奖励的均值为 μ\mu标准差为 σ\sigma则第 ii 个回答的优势为

A^i=ri−μσ\hat{A}_i = \frac{r_i - \mu}{\sigma}

回答中每个 token 的目标项沿用 PPO 的裁剪形式:

ℓi,t(θ)=min⁡(ρi,tA^i, clip⁡(ρi,t,1−ϵ,1+ϵ) A^i)\ell_{i,t}(\theta) = \min\bigl(\rho_{i,t}\hat{A}_i,\ \operatorname{clip}(\rho_{i,t}, 1-\epsilon, 1+\epsilon)\,\hat{A}_i\bigr)

其中 ρi,t=πθ(oi,t∣q,oi,<t)/πold(oi,t∣q,oi,<t)\rho_{i,t} = \pi_\theta(o_{i,t} \mid q, o_{i,<t})/\pi_{\text{old}}(o_{i,t} \mid q, o_{i,<t}) 是第 tt 个 token 的新旧策略概率比。

总目标先在回答内按长度平均、再在组内平均,并加上 KL 正则(β\beta 为系数,πref\pi_{\text{ref}} 为参考策略):

J(θ)=E[1G∑i=1G1∣oi∣∑t=1∣oi∣ℓi,t(θ)−β DKL(πθ ∥ πref)]\begin{aligned} J(\theta) = \mathbb{E}\Biggl[ & \frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|} \ell_{i,t}(\theta) \\ & - \beta\, D_{\text{KL}}(\pi_\theta \,\Vert\, \pi_{\text{ref}}) \Biggr] \end{aligned}

主要变体

算法改动解决的问题
DAPO解耦裁剪(Clip-Higher)、动态采样、token 级损失、超长奖励整形熵坍塌、全对或全错的无效组、长度偏差
Dr. GRPO去掉长度归一化和标准差归一化长度偏差与难度偏差
GSPO重要性比率和裁剪改到序列级token 级比率方差大,长序列和 MoE 模型训练不稳定
GMPO、CISPO在比率和裁剪方式上的进一步调整稳定性与样本效率

GSPO 的序列级比率。 同一序列的所有 token 共用一个权重,权重取序列似然比的几何平均。GSPO 的论文称,这一改动对 Qwen3 系列模型的改进有贡献。

si(θ)=(πθ(oi∣q)πold(oi∣q))1/∣oi∣s_i(\theta) = \left(\frac{\pi_\theta(o_i \mid q)}{\pi_{\text{old}}(o_i \mid q)}\right)^{1/|o_i|}

KL 项。 可验证奖励的场景往往希望策略远离基座模型,多项 2025 年的研究发现 KL 项没有必要,甚至有害,现在多数生产训练把 β\beta 设为 0。

统一视角。 论文 GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number[8]证明 GRPO、Dr. GRPO、DAPO 是对同一个量(组内奖励标准差 σ\sigma的三种处理:GRPO 除以它,Dr. GRPO 不除,DAPO 丢弃 σ=0\sigma = 0 的组。对二值奖励,设组内答对 kk 个,则 σ=k(G−k)/G\sigma = \sqrt{k(G-k)}/G对错各半的组 σ\sigma 最大,学到的信息最多;全对或全错的组 σ=0\sigma = 0没有学习信号。

2026 年的新变体。 包括混合 token 级与序列级的 DHPO、按熵和进展重加权 token 的 EP-GRPO、剪掉冗余采样的 DPPO 等。

当前的争论与方向

学习资料

经典博客与教程

资源说明
Lilian Weng:A (Long) Peek into Reinforcement Learning,以及 Policy Gradient Algorithms综述与策略梯度算法
OpenAI Spinning Up术语与理论简介、关键论文清单、算法实现和练习
Andrej Karpathy:Pong from Pixels策略梯度的直观讲解
Alex Irpan:Deep RL Doesn’t Work Yet深度 RL 的实际困难
Stable-Baselines3 RL 资源页工程实践指南
蘑菇书 EasyRL(Datawhale)中文开源教程,公式推导详细
《动手学强化学习》(hrl.boyuai.com)中文,每章配可运行代码

大模型强化学习资料

资源说明
Cameron Wolfe:Reinforcement Learning for LLMs从基本原理到前沿
Cameron Wolfe:GRPO++: Tricks for Making RL Actually Work逐个讲解 DAPO、Dr. GRPO、GSPO、GMPO、CISPO
Hugging Face 博客:From GRPO to DAPO and GSPO说明每个改动的动机
Turing Post:Reasoning RL in 20262026 年全景表
Softmax Data:From PPO to GRPO to DAPO逐个解释 TRL 训练参数
Pebblous:GRPO vs Dr.GRPO vs DAPO统一视角论文的通俗解读
Reinforcement Learning for LLM Post-Training: A Survey(Wang 等) 2407.16216综述:从 MLE、REINFORCE 推导到 RLHF、PPO、DPO、RLVR、GRPO
A Survey of Reinforcement Learning for Large Reasoning Models(Zhang 等) 2509.08827综述:面向大型推理模型的强化学习

参考文献

  1. “强化学习科研入门,” 博客园. [Online]. Available: cnblogs.com
  2. “强化学习从入门到封神,” 博客园. [Online]. Available: cnblogs.com
  3. “蘑菇书 EasyRL 上线,” 腾讯云. [Online]. Available: cloud.tencent.com
  4. “强化学习经典教材及课程推荐,” 知乎. [Online]. Available: zhuanlan.zhihu.com
  5. “5 free courses on reinforcement learning,” MachineLearningMastery. [Online]. Available: machinelearningmastery.com
  6. “Best resources to learn reinforcement learning,” Towards Data Science. [Online]. Available: towardsdatascience.com
  7. “GRPO: Group relative policy optimization,” reinforcement-learning.com. [Online]. Available: reinforcement-learning.com
  8. Y. Y. Bay and K. A. Yearick, “GRPO, Dr. GRPO, and DAPO are three operations on one number: The group-standard-deviation identity,” 2026, arXiv: 2607.00152.
  9. Ö. F. Akgül, R. Kannan, W. Neiswanger, and V. Prasanna, “Rethinking RL for LLM reasoning: It’s sparse policy selection, not capability learning,” 2026, arXiv: 2605.06241.
  10. F. Yang et al., “Your group-relative advantage is biased,” 2026, arXiv: 2601.08521.
  11. R. Dai et al., “CDE: Curiosity-driven exploration for efficient reinforcement learning in large language models,” 2025, arXiv: 2509.09675.
  12. K. Huang et al., “On the direction of RLVR updates for LLM reasoning: Identification and exploitation,” 2026, arXiv: 2603.22117.
  13. P. Wang et al., “What are key factors for updates in RL for LLM reasoning?” 2026, arXiv: 2606.22570.