经典题解析:微调后的灾难性遗忘是怎么回事
先说明属性:这是一篇经典题解析,题目出自本地历史面试资料,与任何公司的当前招聘无关。「微调后通用能力下降」是每个做大模型微调的人都会撞上的现象,面试里它的正式名字叫灾难性遗忘(catastrophic forgetting):模型学会新任务的同时,把预训练阶段积累的通用能力「挤掉…
先说明属性:这是一篇经典题解析,题目出自本地历史面试资料,与任何公司的当前招聘无关。「微调后通用能力下降」是每个做大模型微调的人都会撞上的现象,面试里它的正式名字叫灾难性遗忘(catastrophic forgetting):模型学会新任务的同时,把预训练阶段积累的通用能力「挤掉…