图 1：本文封面，四阶段流水线的产出、数据与成本对比。
这个系列的前一篇真题解析辨析过一个焦点问题：大模型的知识主要在哪一阶段进模型。那篇只讲注入时机这一个点，本篇把镜头拉远，把大模型从一堆语料到一个顺手助手的完整训练流水线走一遍——预训练、继续预训练、监督微调、人类反馈对齐四个阶段，各自的目标、数据形态、能力产出和成本量级分别是什么。理解了这张全景分工图，「我的问题该在哪个阶段解决」这类工程决策就有了坐标系。
第一阶段：预训练——把世界压缩进参数。
目标是下一词预测：模型在万亿 token 量级的无标注通用语料上反复预测下一个词，为了压低误差，被迫把语言规律、事实关联与推理模式全部编码进权重。2023 年发布的 LLaMA 技术报告（arXiv:2302.13971）描述的就是这个量级的做法：在数万亿 token 的公开语料上训练出一系列基础模型。产出是基座模型——会流畅续写，但听不懂指令，你问问题它可能给你续出更多问题。成本是四个阶段里最高的：千卡级集群跑上数月，是绝大多数团队永远不会亲自下场的阶段。
第二阶段：继续预训练——给基座换知识底盘。
拿到现成基座后，用领域语料（医疗、法律、代码、金融）以同样的下一词预测目标再跑一段，产出领域基座：术语懂了、领域事实补强了，但依然不会对话。数据是亿到百亿 token 量级的领域语料，成本是预训练的一个零头。这个阶段解决的是「知识不在参数里」的问题，是领域知识进模型的正门。
第三阶段：SFT——教模型听懂指令。
监督微调的数据形态彻底变了：人工或机器构造的指令-回答对，量级通常是万到百万条，训练目标仍是预测下一个词，但只在回答部分计损失。产出是对话模型：能听懂指令、按格式作答、知道基本的分工边界。2022 年发表的 InstructGPT 论文（arXiv:2203.02155）把这一步定义为流水线的第一个对齐环节——先用标注员示范的回答做监督微调。成本较低，单机多卡数天即可完成，是大多数团队实际动手的第一站。
第四阶段：RLHF——让回答贴合人类偏好。
SFT 模型已经会回答，但回答的「好坏」还没有被显式优化。InstructGPT 的做法分两步：先收集标注员对多个模型输出的排序，训练一个奖励模型来拟合人类偏好；再用强化学习（PPO）以奖励模型的打分作为信号微调 SFT 模型。数据是偏好对比而非标准答案。2023 年发布的 LLaMA 2 技术报告（arXiv:2307.09288）同样沿这条路线把基座打磨成对话模型，并公开了拒绝采样与多轮 PPO 的细节。产出是对齐模型——更有帮助、更诚实、更少有害。InstructGPT 里一个被反复引用的结果是：1.3B 参数的对齐模型在人类偏好评分上胜过了 175B 的原始模型，参数差一百多倍，靠的就是这一阶段。
图 2：四阶段在目标、数据、产出、成本上的逐项对照。
把四列摆在一起，两条规律浮出水面。
第一条是分工规律：知识装在前两阶段，「会用、好用」练在后两阶段。所以「模型不知道某个领域事实」该去补继续预训练，「知道但答得不好、格式乱」该去调 SFT，「答得对但语气、边界、偏好不对味」才轮到对齐阶段——症状定位错阶段，投入就打水漂。第二条是成本与数据的换位规律：越往后算力越省，但数据越贵——预训练的数据是抓来的公开语料，SFT 的数据要开始精心设计，到了偏好对比数据，每一条都要人来排序或靠奖励模型推理，单位数据的成本一路上升，而离产品体验也越来越近。
落到决策上，一张自检清单就够用了：缺领域知识吗？缺就先走继续预训练。听懂指令了吗？不行就补 SFT 数据。回答质量不达标吗？先查 SFT 数据质量，再考虑偏好对齐。每个阶段都是下一阶段的底座，跳级操作——比如直接拿基座做 RLHF——几乎必然翻车。你现在接手的模型处在哪个阶段？遇到的问题是知识问题、格式问题还是偏好问题？欢迎对照这张分工图聊聊你的定位过程。