图 1：本文封面，三条偏好数据生产路线汇入同一个偏好数据集。
这个系列的前一篇真题解析讲过奖励模型（RM）怎么用偏好数据训练，那篇的结论里埋着一个没展开的问题：偏好数据本身从哪来？「同一提示下两个回答谁更好」这个判断，总得有个裁判来下。本篇就把这个裁判问题讲透——三条主流生产路线，各自的成本、质量和适用阶段。RM 怎么训练不重复，这里只关心数据的源头。
路线一：人工标注，质量的基准线。
经典做法：对同一提示采样多个回答，交给标注员排序或两两比较，产出偏好对。2022 年发表的 InstructGPT 论文（arXiv:2203.02155）走的就是这条路，为此搭了标注团队、培训流程和质检机制。人工标注的强项是覆盖细腻的主观偏好——语气是否得体、回答是否贴心、边界是否拿捏得当，这些很难写成规则。代价也直白：贵、慢、规模有限，而且标注员之间的一致性需要持续校准，否则同一份数据里混着好几套标准。它适合做对质量天花板有要求的环节：通用对话风格、安全边界、价值观对齐。
路线二：AI 反馈，用模型当裁判换规模。
既然标注贵，能不能让模型来标？2022 年底发表的 Constitutional AI 论文（arXiv:2212.08073）给出了系统方案：人类只提供一份原则清单，由模型自己按清单对回答做评判、修订和两两比较，产出的 AI 偏好数据再拿去训练偏好模型——这条路被称为 RLAIF（基于 AI 反馈的强化学习）。2023 年发表的 RLAIF 研究（arXiv:2309.00267）进一步验证：在摘要和对话任务上，AI 标注训出的奖励模型效果与人工标注相当，甚至标注模型和策略模型同尺寸、同 checkpoint 时也成立。这条路成本骤降、规模几乎无上限，代价是质量受评分模型能力和原则清单的约束——裁判本身的偏见会写进数据。它适合冷启动铺量，以及客观性较强的维度，比如有害性判断。
路线三：规则与可验证奖励，把裁判写成程序。
有一类任务，「好不好」根本不需要人或模型来判断：数学题答案对不对，可以和标准答案比对；代码能不能跑，交给单元测试；格式约束有没有满足，写个检查器。这条路线的标注者是程序，成本近似于零——规则写一次反复用，而且信号客观无噪声，不存在标注一致性问题。天花板同样明显：只适用于可自动验证的任务，「这篇回答写得优不优雅」没有判题器可交。它适合数学、代码、格式约束这类推理与工程任务。
图 2：三条路线在标注者、成本、质量、适用阶段四个维度上的对比。
怎么选：看任务类型，也看所处阶段。
三条路线不是互斥的竞争者，而是分工的工具。通用助手场景：人工标注加 AI 反馈混合，AI 铺量、人工抽查校准，把人工预算花在 AI 裁判最容易跑偏的细腻维度上。推理与代码场景：可验证奖励优先，奖励信号无噪声，还能直接在强化学习里当奖励用，连奖励模型都可以省掉。冷启动缺数据阶段：先用 AI 反馈快速铺出规模，跑通 pipeline，再用人工数据补关键维度的质量。反过来，把规则奖励用在主观对话上，或拿人工标注去标海量数学推理过程，都是把路线用错了地方——前者信号失真，后者预算烧穿。
回到奖励模型那条线：RM 只是偏好数据的消费者，数据的成色在它出生之前就定了。选对裁判，比把 RM 调得多精致更上游。还有一层工程现实值得记住：三条路线产出的数据可以进入同一条训练流水线，混合比例本身就是一个可调的超参数——人工数据占比高的批次保质量底线，AI 数据保规模，规则数据保客观任务的信号纯度，很多团队的实际配方就是这么调出来的。你在做对齐数据时走的是哪条路线？有没有遇到过 AI 裁判把某种偏见悄悄写进数据的情况？欢迎聊聊。