从「知识注入」面试题延伸:预训练、继续预训练、SFT、RLHF,四个阶段各练什么
这个系列的前一篇真题解析辨析过一个焦点问题:大模型的知识主要在哪一阶段进模型。那篇只讲注入时机这一个点,本篇把镜头拉远,把大模型从一堆语料到一个顺手助手的完整训练流水线走一遍——预训练、继续预训练、监督微调、人类反馈对齐四个阶段,各自的目标、数据形态、能力产出和成本量级分别是什么…
这个系列的前一篇真题解析辨析过一个焦点问题:大模型的知识主要在哪一阶段进模型。那篇只讲注入时机这一个点,本篇把镜头拉远,把大模型从一堆语料到一个顺手助手的完整训练流水线走一遍——预训练、继续预训练、监督微调、人类反馈对齐四个阶段,各自的目标、数据形态、能力产出和成本量级分别是什么…