图 1：对齐方法的演进是一场接力，每一棒都在给前一棒减负。
这篇文章延伸自一道经典面试题「DPO 为什么能替代 RLHF」。真题解析聚焦两者机制差异，本文换个视角：把对齐方法拉成一条演进线，看清每一代方法到底在解决上一代的什么短板，以及今天做选型时该按什么坐标系下判断。
起点：RLHF 把「对齐」变成可训练的流程。
2022 年的 InstructGPT 论文确立了范式：SFT 打底，再用人类对回答的排序数据训练奖励模型，最后用 PPO 让策略模型在奖励信号下在线探索、迭代更新。这套流程第一次让「符合人类意图」成为可优化的目标，效果上 13 亿参数的 InstructGPT 在人类偏好评测中超过了 1750 亿参数的原始模型——对齐的收益可以抵得上两个数量级的参数。
但三个瓶颈也随之暴露。一是流程重：三个阶段串行，任何一环返工都会拖累整条链；二是训练不稳：PPO 同时挂着策略、参考、奖励、价值四个模型，采样噪声、价值网络收敛、KL 系数调校每一项都可能翻车；三是奖励模型的固有缺陷——它是对偏好的近似，策略在强化学习里会持续逼近它的误差区域，分数虚高而质量劣化，即奖励黑客。
第一棒接力：DPO 把强化学习降维成分类。
2023 年的 DPO 论文发现，RLHF 目标的最优策略可以用参考策略与奖励闭式表达，反解后代入偏好概率模型，奖励模型和 PPO 一起消失了，剩下一个对偏好对的 sigmoid 分类损失：拉大策略相对参考模型在 chosen 上的对数概率优势。训练从「在线采样加四个模型」退化成「离线数据加一次监督式更新」，稳定、便宜、可复现，实验上在摘要与单轮对话任务中不输 PPO 路线。
DPO 并非终点，它留下两个新问题。其一是过拟合倾向：sigmoid 是饱和函数，一旦偏好对被拟合得很满，梯度信号变形，模型可能在拉大 logit 差距的路上走过头。其二是数据门槛：它要求成对偏好——同一个提示下人工挑出一好一坏两个回答，这种标注并不便宜。
第二棒分叉：IPO 修稳定性，KTO 降数据门槛。
同样在 2023 年，IPO 论文把 RLHF 和 DPO 统一进一个更一般的目标函数家族来分析，指出 DPO 所用的饱和映射正是过拟合的结构根源；把其中的映射换成恒等函数，就得到一个非饱和目标：偏好优势涨得再多，目标值也线性增长而不会「刷满」，从机制上掐掉了过拟合的激励。
2024 年的 KTO 论文换了条思路，从行为经济学的前景理论出发：人类对「好」与「坏」的感知本就不对称，与其逼标注员配对，不如直接用单条的「这条好/这条不好」信号。KTO 直接最大化生成结果的效用而非偏好对的似然，只需点赞点踩式的二元标注——这在真实产品里几乎免费，而论文报告在 10 亿到 300 亿参数规模上都能打平甚至超过基于成对偏好的方法。
图 2：演进树与四维对比表——选型的第一问是「手里有什么数据」。
把演进线落成选型坐标系。
四个方法放在一起，差异可以收敛到三个维度。数据形式：RLHF、DPO、IPO 都要成对偏好，KTO 只要单条好坏标注；是否需要奖励模型：只有 RLHF 需要；训练稳定性：DPO 系整体显著好于 PPO 系，IPO 又针对 DPO 的过拟合打了补丁。
于是选型逻辑很朴素。手里有成对偏好数据、追求稳定低成本的迭代，DPO 是默认起点；数据拟合得过满、出现退化迹象时换 IPO 的非饱和目标；标注预算紧、只有产品侧积累的单条反馈，KTO 几乎是唯一能直接用的；而当任务需要模型在线探索、自我试错——比如复杂推理能力的进一步压榨——就绕不开在线强化学习那一支，RLHF 式的流程仍是主战场，只是今天的实现细节比最初精细得多。
演进的主线其实很清晰：数据越来越省（成对标注到单条标注），训练越来越稳（在线采样到离线闭式），但每一步简化都标好了价格——离线方法的天花板被数据质量锁死，探索能力始终属于在线路线。理解了这条「用什么换什么」的接力逻辑，面对下一个新对齐方法时，你也能迅速定位它解决的是哪一环。你团队的对齐流水线停在哪一站？是出于数据条件，还是任务本身就需要在线探索？欢迎交流。