#强化学习 | ohmyblog

经典题解析：RLHF 里的 PPO，一轮更新到底做了什么

2026/12/14

RLHF 流程里经常出现 PPO，但如果只背“采样、打分、更新”，仍然说不清为什么要保存旧概率、价值模型做什么，以及参考模型为何不能简单等同于旧策略。理解一轮更新，先把数据从哪里来、每个信号给谁使用串起来。