从 PPO 面试题延伸：裁剪比率和 KL 约束各管什么
PPO 的比率裁剪和 RLHF 中的参考模型 KL 惩罚，经常一起出现，于是被误读成两个名字不同的同一约束。它们比较的对象、进入目标的方式和能提供的保证都不同。把这些分开，才能解释为什么“已经裁剪”之后仍然需要监测策略偏移。
PPO 的比率裁剪和 RLHF 中的参考模型 KL 惩罚，经常一起出现，于是被误读成两个名字不同的同一约束。它们比较的对象、进入目标的方式和能提供的保证都不同。把这些分开，才能解释为什么“已经裁剪”之后仍然需要监测策略偏移。