ohmyblog

#微调方法

从 LoRA 面试题延伸:QLoRA、AdaLoRA、DoRA,LoRA 家族都改了什么

这个系列另有一篇真题解析专门讲 LoRA 秩 r 的选取权衡,本篇换个主轴:把 LoRA 家族里三个最有代表性的变体——QLoRA、AdaLoRA、DoRA——摆在一起,讲清它们各自针对什么问题、动了哪一刀、实际选型怎么取舍。

从 LoRA 面试题延伸:PEFT 家族怎么选,Adapter、Prefix、Prompt、LoRA 各适合什么场景

上一篇真题解析讲了 LoRA 内部「B 矩阵为什么初始化为全零」这一个机制细节,本篇换个视角:把镜头拉远到整个参数高效微调(PEFT)家族。面试里被问「你知道哪些 PEFT 方法、怎么选」时,零散背名字没用,面试官想听的是一张选型坐标系:每条路线往模型里插了什么、代价是什么、什么…