从 LoRA 面试题延伸:QLoRA、AdaLoRA、DoRA,LoRA 家族都改了什么
这个系列另有一篇真题解析专门讲 LoRA 秩 r 的选取权衡,本篇换个主轴:把 LoRA 家族里三个最有代表性的变体——QLoRA、AdaLoRA、DoRA——摆在一起,讲清它们各自针对什么问题、动了哪一刀、实际选型怎么取舍。
这个系列另有一篇真题解析专门讲 LoRA 秩 r 的选取权衡,本篇换个主轴:把 LoRA 家族里三个最有代表性的变体——QLoRA、AdaLoRA、DoRA——摆在一起,讲清它们各自针对什么问题、动了哪一刀、实际选型怎么取舍。
先说明属性:这是一篇经典题解析,题目出自本地历史面试资料整理,与任何公司的当前招聘无关。「LoRA 的 rank 设多少合适」没有标准数字答案,面试官真正想听的是你能不能把秩 r 背后的三方权衡讲清楚:它如何决定参数量与成本、如何影响效果上限、又如何与过拟合风险挂钩。
先说明属性:这是一篇经典题解析,题目出自本地历史面试资料整理,与任何公司的当前招聘无关。LoRA 几乎是大模型微调的默认选项,而「两个低秩矩阵分别怎么初始化」是追问率极高的细节题——背出「B 全零、A 高斯」只是及格线,讲清为什么才算过关。