ohmyblog

#参数高效微调

经典题解析:LoRA 的 Rank 设成多少才合适

先说明属性:这是一篇经典题解析,题目出自本地历史面试资料整理,与任何公司的当前招聘无关。「LoRA 的 rank 设多少合适」没有标准数字答案,面试官真正想听的是你能不能把秩 r 背后的三方权衡讲清楚:它如何决定参数量与成本、如何影响效果上限、又如何与过拟合风险挂钩。

经典题解析:LoRA 微调为什么把 B 矩阵初始化为全 0

先说明属性:这是一篇经典题解析,题目出自本地历史面试资料整理,与任何公司的当前招聘无关。LoRA 几乎是大模型微调的默认选项,而「两个低秩矩阵分别怎么初始化」是追问率极高的细节题——背出「B 全零、A 高斯」只是及格线,讲清为什么才算过关。