#偏好对齐

经典题解析：RLHF 的奖励模型是怎么训练出来的

2026/12/4

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。RLHF 的经典三步大家都知道个名字：SFT、训练奖励模型、PPO 强化。这道题考的是中间这一步拆开后你知不知道细节——奖励模型（RM）从哪来的、偏好数据长什么样、损失函数为什么那么设计。

2026/11/24

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。DPO 是大模型对齐方向的高频考点，面试官真正想听的往往不是「DPO 不用强化学习」这句结论，而是它凭什么可以不要、又付出了什么代价。