从 DPO 面试题延伸:从 RLHF 到 DPO,大模型对齐方法是怎么演进的
这篇文章延伸自一道经典面试题「DPO 为什么能替代 RLHF」。真题解析聚焦两者机制差异,本文换个视角:把对齐方法拉成一条演进线,看清每一代方法到底在解决上一代的什么短板,以及今天做选型时该按什么坐标系下判断。
这篇文章延伸自一道经典面试题「DPO 为什么能替代 RLHF」。真题解析聚焦两者机制差异,本文换个视角:把对齐方法拉成一条演进线,看清每一代方法到底在解决上一代的什么短板,以及今天做选型时该按什么坐标系下判断。