#RLHF

经典题解析：RLHF 的奖励模型是怎么训练出来的

2026/12/4

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。RLHF 的经典三步大家都知道个名字：SFT、训练奖励模型、PPO 强化。这道题考的是中间这一步拆开后你知不知道细节——奖励模型（RM）从哪来的、偏好数据长什么样、损失函数为什么那么设计。

2026/11/29

这个系列的前一篇真题解析辨析过一个焦点问题：大模型的知识主要在哪一阶段进模型。那篇只讲注入时机这一个点，本篇把镜头拉远，把大模型从一堆语料到一个顺手助手的完整训练流水线走一遍——预训练、继续预训练、监督微调、人类反馈对齐四个阶段，各自的目标、数据形态、能力产出和成本量级分别是什么…

2026/11/24

这篇文章延伸自一道经典面试题「DPO 为什么能替代 RLHF」。真题解析聚焦两者机制差异，本文换个视角：把对齐方法拉成一条演进线，看清每一代方法到底在解决上一代的什么短板，以及今天做选型时该按什么坐标系下判断。

2026/11/24

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。DPO 是大模型对齐方向的高频考点，面试官真正想听的往往不是「DPO 不用强化学习」这句结论，而是它凭什么可以不要、又付出了什么代价。