PPO · CLIPPED OBJECTIVE
概率比与裁剪
代理目标取 与 中较小的一项。改变优势符号，观察平坦区换到哪一侧。
强化学习Reinforcement Learning
对同一问题采样多条回答，用组内相对奖励估计优势，再更新策略。
计算图 四个候选回答 · 可训练的 softmax 策略
实际计算 回答路径正向信号负向信号策略参数
悬停追踪样本 · 点击展开计算UPDATE · STEP BY STEP
横向滚动查看后续计算 →
第 0 轮
01
计算明细
候选回答、采样记录与训练数据
候选回答
seed = 42
S
一个可以试错的世界
找到终点。点击格子，查看该状态的四个动作。
智能体 +1 终点 −1 陷阱 墙
Q
一次更新的全部细节
所选状态 行为策略 π(a|s)
R
经验如何积累
完成回合0
环境交互0
起点在左下角，终点在右上角。每个 Q 值从 0 开始。25 states · 4 actions
训练记录
语言模型的后训练
语言模型将提示与回答前缀映射为下一个 token 的概率 。预训练从文本中学习这个分布；后训练用任务反馈调整它，让好的回答更容易被生成。
SFT 给出要模仿的示范。DPO 给出同题回答的偏好顺序。PPO 与 GRPO 则反复执行采样、评分、估计优势和策略更新，让新策略继续产生下一批训练数据。
01 / PRETRAIN
→预训练
海量文本 → 预测下一个 token
基础模型RLHF 用人类偏好提供反馈，RLVR 用验证器提供反馈；两者都可以搭配 PPO 或 GRPO。
PPO · ADVANTAGE ESTIMATION
多步轨迹中的 GAE
沿三步轨迹倒序计算优势。奖励为 ，价值预测为 ； 控制远处误差的权重。
算法比较
从价值学习到直接优化策略，再到语言模型的后训练：选择算法，比较它使用什么数据、构造什么目标、更新哪些参数。