ohmyblog

#大模型微调

经典题解析:大模型的「知识」到底是预训练装的还是微调装的

先说明属性:这是一篇经典题解析,题目出自本地历史面试资料整理,与任何公司的当前招聘无关。「大模型的知识是预训练装的还是微调装的」看似二选一,真正考的是你能不能讲清两个阶段的训练目标与数据形态差在哪,以及由此推出的工程结论:想给模型灌新知识,该走哪条路。

经典题解析:微调后的灾难性遗忘是怎么回事

先说明属性:这是一篇经典题解析,题目出自本地历史面试资料,与任何公司的当前招聘无关。「微调后通用能力下降」是每个做大模型微调的人都会撞上的现象,面试里它的正式名字叫灾难性遗忘(catastrophic forgetting):模型学会新任务的同时,把预训练阶段积累的通用能力「挤掉…