从奖励模型面试题延伸：偏好数据从哪来，人工标注、AI 反馈、规则奖励怎么选
这个系列的前一篇真题解析讲过奖励模型（RM）怎么用偏好数据训练，那篇的结论里埋着一个没展开的问题：偏好数据本身从哪来？「同一提示下两个回答谁更好」这个判断，总得有个裁判来下。本篇就把这个裁判问题讲透——三条主流生产路线，各自的成本、质量和适用阶段。
这个系列的前一篇真题解析讲过奖励模型（RM）怎么用偏好数据训练，那篇的结论里埋着一个没展开的问题：偏好数据本身从哪来？「同一提示下两个回答谁更好」这个判断，总得有个裁判来下。本篇就把这个裁判问题讲透——三条主流生产路线，各自的成本、质量和适用阶段。