强化学习梳理:从经典算法到 GRPO
这篇笔记梳理强化学习的背景与原理、关键算法、里程碑论文、应用和学习资料,并重点讲大模型时代的强化学习(RLHF、RLVR、GRPO 及其变体)[1]–[7]。
背景
强化学习(Reinforcement Learning,RL)研究智能体(agent)怎样在与环境的交互中,根据奖励信号学会序列决策。它有三个源头:
| 源头 | 内容 |
|---|---|
| 试错学习 | 来自动物心理学中的 Thorndike 效果律 |
| 最优控制 | Bellman 在 1950 年代提出的动态规划 |
| 时序差分学习 | Sutton 于 1988 年提出 |
强化学习与监督学习有三点不同:
- 没有标准答案,只有奖励。
- 奖励常常延迟。
- 数据由智能体自己的策略产生,因此需要权衡探索与利用。
核心原理
强化学习的问题形式是马尔可夫决策过程(Markov Decision Process,MDP),记为 为状态集合, 为动作集合, 为状态转移概率, 为奖励函数, 为折扣因子。策略 给出各状态下的动作分布。
目标是最大化期望累积折扣回报。记折扣回报为 则
状态价值函数 与动作价值函数 分别是从状态 出发、以及从状态 出发并先执行动作 时的期望回报:
最优动作价值函数满足 Bellman 最优方程:
策略梯度定理给出目标函数对策略参数 的梯度,其中优势函数
经典关键算法
| 类别 | 代表算法 | 核心思想 |
|---|---|---|
| 基于价值 | Q-learning、DQN、Double DQN、Rainbow | 学习 函数并贪心选取动作,适合离散动作 |
| 策略梯度 | REINFORCE、TRPO、PPO | 直接优化策略;PPO 用裁剪目标限制更新步长 |
| Actor-Critic | A3C、DDPG、TD3、SAC | 策略网络加价值网络;SAC 加入最大熵,连续控制常用 |
| 基于模型 | AlphaZero、MuZero、Dreamer | 学习或利用环境模型做规划,样本效率高 |
| 离线 RL | BCQ、CQL、IQL、Decision Transformer | 只用固定数据集,抑制分布外动作的价值高估 |
| 其他 | 模仿学习(BC、GAIL)、多智能体(MADDPG、QMIX)、分层 RL | 用于缺少奖励、多智能体博弈、长时程任务 |
最常用的两个更新式如下。Q-learning 以步长 把 值向目标值靠拢:
PPO 的裁剪目标中, 为裁剪范围, 为优势估计:
其中 是新旧策略的概率比。
里程碑论文
| 年份 | 论文 | 贡献 |
|---|---|---|
| 1988 | 时序差分学习(Sutton) 10.1007/ | TD 学习 |
| 1992 | Q-learning(Watkins & Dayan) 10.1007/ | 提出 Q-learning |
| 1992 | REINFORCE(Williams) 10.1007/ | 提出 REINFORCE |
| 1999 | 策略梯度定理(Sutton 等) | 策略梯度定理 |
| 2015 | DQN(Mnih 等 · Nature) 10.1038/ | 深度 RL 的起点 |
| 2015 | TRPO(Schulman 等) 1502.05477 | 信赖域策略优化 |
| 2015 | DDPG(Lillicrap 等) 1509.02971 | 连续动作的深度确定性策略梯度 |
| 2016 | GAE(Schulman 等) 1506.02438 | 广义优势估计 |
| 2016 | AlphaGo(Silver 等 · Nature) 10.1038/ | 深度网络加树搜索 |
| 2017 | AlphaZero(Silver 等) 1712.01815 | 通用的自博弈算法 |
| 2017 | PPO(Schulman 等) 1707.06347 | 裁剪目标的策略优化 |
| 2017 | 从人类偏好学习(Christiano 等) 1706.03741 | 用人类偏好训练奖励模型 |
| 2018 | SAC(Haarnoja 等) 1801.01290 | 最大熵 Actor-Critic |
| 2018 | TD3(Fujimoto 等) 1802.09477 | 抑制 Actor-Critic 中的价值高估 |
| 2020 | MuZero(Schrittwieser 等 · Nature) 10.1038/ | 学习环境模型并用于规划 |
| 2020 | Dreamer(Hafner 等) 1912.01603 | 隐空间想象中学习行为;2020 至 2023 年发展为 Dreamer 系列 |
| 2020 | CQL(Kumar 等) 2006.04779 | 保守的离线 Q 学习 |
| 2021 | Decision Transformer(Chen 等) 2106.01345 | 将 RL 转化为序列建模 |
| 2022 | RLHF(Ouyang 等) 2203.02155 | 对齐语言模型的 InstructGPT |
| 2024 | GRPO(Shao 等 · DeepSeekMath) 2402.03300 | 提出 GRPO |
| 2025 | DeepSeek-R1(DeepSeek-AI) 2501.12948 | RLVR 的完整配方 |
| 2025 | DAPO(Yu 等) 2503.14476 | GRPO 的工程改进 |
| 2025 | Dr. GRPO(Liu 等) 2503.20783 | 去除长度与标准差归一化 |
| 2025 | GSPO(Zheng 等) 2507.18071 | 序列级重要性比率 |
入门教材首选 Sutton 与 Barto 的《Reinforcement Learning: An Introduction》。
应用
| 领域 | 内容 |
|---|---|
| 游戏与博弈 | 围棋、Atari、星际争霸、Dota 2 |
| 机器人 | 灵巧手操作、四足行走,依赖仿真到现实的迁移 |
| 自动驾驶 | 决策规划、变道与路口博弈、闭环仿真训练。真实道路上无法随意试错,实际应用多为模仿学习加 RL 微调,或离线 RL |
| 大模型 | RLHF 对齐,以及用 RL 训练推理能力和 Agent 的工具使用 |
| 推荐与广告 | 优化长期用户价值 |
| 科学与工业 | 核聚变等离子体控制、芯片布局、数据中心节能、算法发现(AlphaTensor、AlphaDev) |
主要挑战: 样本效率低、奖励设计困难、训练不稳定、仿真与现实存在差距、安全约束难以保证、泛化能力弱。
大模型时代的强化学习
现在强化学习的重心已经从游戏和控制转到了大模型后训练。范式上的主线是从 RLHF 到 RLVR,算法上的主线是从 PPO 到 GRPO,再到各种 GRPO 变体。
范式变化
- RLHF(Reinforcement Learning from Human Feedback,2022 起): 用人类偏好训练奖励模型,再用 PPO 优化,目的是对齐。DPO 是它不使用 RL 的简化版本。
- RLVR(Reinforcement Learning with Verifiable Rewards): 重心从偏好对齐转向直接优化推理能力,用数学答案是否正确这类客观信号训练模型。
- 转折点: OpenAI o1 是首个推理模型;DeepSeek-R1 公开了基于 GRPO 的完整 RLVR 配方,证明只靠结果奖励,就能让基座模型产生复杂的思维链推理,不需要监督式的推理数据。
- 现状: 无 critic 的方法(GRPO 及其变体)因简单、可扩展,已成为大规模 RLVR 的事实标准。
GRPO 的核心思想
GRPO(Group Relative Policy Optimization)去掉了 PPO 的价值网络。对同一个问题 采样一组 个回答 每个回答的奖励为 用组内相对奖励作为优势。记组内奖励的均值为 标准差为 则第 个回答的优势为
回答中每个 token 的目标项沿用 PPO 的裁剪形式:
其中 是第 个 token 的新旧策略概率比。
总目标先在回答内按长度平均、再在组内平均,并加上 KL 正则( 为系数, 为参考策略):
主要变体
| 算法 | 改动 | 解决的问题 |
|---|---|---|
| DAPO | 解耦裁剪(Clip-Higher)、动态采样、token 级损失、超长奖励整形 | 熵坍塌、全对或全错的无效组、长度偏差 |
| Dr. GRPO | 去掉长度归一化和标准差归一化 | 长度偏差与难度偏差 |
| GSPO | 重要性比率和裁剪改到序列级 | token 级比率方差大,长序列和 MoE 模型训练不稳定 |
| GMPO、CISPO | 在比率和裁剪方式上的进一步调整 | 稳定性与样本效率 |
GSPO 的序列级比率。 同一序列的所有 token 共用一个权重,权重取序列似然比的几何平均。GSPO 的论文称,这一改动对 Qwen3 系列模型的改进有贡献。
KL 项。 可验证奖励的场景往往希望策略远离基座模型,多项 2025 年的研究发现 KL 项没有必要,甚至有害,现在多数生产训练把 设为 0。
统一视角。 论文 GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number[8]证明 GRPO、Dr. GRPO、DAPO 是对同一个量(组内奖励标准差 的三种处理:GRPO 除以它,Dr. GRPO 不除,DAPO 丢弃 的组。对二值奖励,设组内答对 个,则 对错各半的组 最大,学到的信息最多;全对或全错的组 没有学习信号。
2026 年的新变体。 包括混合 token 级与序列级的 DHPO、按熵和进展重加权 token 的 EP-GRPO、剪掉冗余采样的 DPPO 等。
当前的争论与方向
- RL 到底教会了什么。 有研究认为 RLVR 更接近稀疏的策略选择,而非获得新能力:它只改动 1% 至 3% 的 token 位置,并质疑社区对完整 RL 流程的默认投入是否过度[9]。
- 优势估计的偏差。 组内相对优势对难题系统性低估、对易题系统性高估,造成探索与利用失衡[10]。
- 探索不足。 熵坍塌反映出探索不够,稳健性和校准也仍是问题;好奇心驱动的探索是一个方向[11]。
- 更新的方向。 对 RLVR 参数更新方向与关键因素的分析见 Huang 等[12]与 Wang 等[13]的工作。
- 应用扩展。 RLVR 正被用到多模态推理、逻辑推理、搜索引擎使用、信息抽取等领域。
学习资料
经典博客与教程
| 资源 | 说明 |
|---|---|
| Lilian Weng:A (Long) Peek into Reinforcement Learning,以及 Policy Gradient Algorithms | 综述与策略梯度算法 |
| OpenAI Spinning Up | 术语与理论简介、关键论文清单、算法实现和练习 |
| Andrej Karpathy:Pong from Pixels | 策略梯度的直观讲解 |
| Alex Irpan:Deep RL Doesn’t Work Yet | 深度 RL 的实际困难 |
| Stable-Baselines3 RL 资源页 | 工程实践指南 |
| 蘑菇书 EasyRL(Datawhale) | 中文开源教程,公式推导详细 |
| 《动手学强化学习》(hrl.boyuai.com) | 中文,每章配可运行代码 |
大模型强化学习资料
| 资源 | 说明 |
|---|---|
| Cameron Wolfe:Reinforcement Learning for LLMs | 从基本原理到前沿 |
| Cameron Wolfe:GRPO++: Tricks for Making RL Actually Work | 逐个讲解 DAPO、Dr. GRPO、GSPO、GMPO、CISPO |
| Hugging Face 博客:From GRPO to DAPO and GSPO | 说明每个改动的动机 |
| Turing Post:Reasoning RL in 2026 | 2026 年全景表 |
| Softmax Data:From PPO to GRPO to DAPO | 逐个解释 TRL 训练参数 |
| Pebblous:GRPO vs Dr.GRPO vs DAPO | 统一视角论文的通俗解读 |
Reinforcement Learning for LLM Post-Training: A Survey(Wang 等) 2407.16216 | 综述:从 MLE、REINFORCE 推导到 RLHF、PPO、DPO、RLVR、GRPO |
A Survey of Reinforcement Learning for Large Reasoning Models(Zhang 等) 2509.08827 | 综述:面向大型推理模型的强化学习 |
参考文献
- “强化学习科研入门,” 博客园. [Online]. Available: cnblogs.com
- “强化学习从入门到封神,” 博客园. [Online]. Available: cnblogs.com
- “蘑菇书 EasyRL 上线,” 腾讯云. [Online]. Available: cloud.tencent.com
- “强化学习经典教材及课程推荐,” 知乎. [Online]. Available: zhuanlan.zhihu.com
- “5 free courses on reinforcement learning,” MachineLearningMastery. [Online]. Available: machinelearningmastery.com
- “Best resources to learn reinforcement learning,” Towards Data Science. [Online]. Available: towardsdatascience.com
- “GRPO: Group relative policy optimization,” reinforcement-learning.com. [Online]. Available: reinforcement-learning.com
- Y. Y. Bay and K. A. Yearick, “GRPO, Dr. GRPO, and DAPO are three operations on one number: The group-standard-deviation identity,” 2026, arXiv: 2607.00152.
- Ö. F. Akgül, R. Kannan, W. Neiswanger, and V. Prasanna, “Rethinking RL for LLM reasoning: It’s sparse policy selection, not capability learning,” 2026, arXiv: 2605.06241.
- F. Yang et al., “Your group-relative advantage is biased,” 2026, arXiv: 2601.08521.
- R. Dai et al., “CDE: Curiosity-driven exploration for efficient reinforcement learning in large language models,” 2025, arXiv: 2509.09675.
- K. Huang et al., “On the direction of RLVR updates for LLM reasoning: Identification and exploitation,” 2026, arXiv: 2603.22117.
- P. Wang et al., “What are key factors for updates in RL for LLM reasoning?” 2026, arXiv: 2606.22570.