ohmyblog

#大模型

从推理框架面试题延伸:从一个模型文件到一个在线 API,推理服务落地要走几步

这个系列前一天有一篇真题解析,把 vLLM、TensorRT-LLM、TGI 三个推理框架的特性横向对比了一遍——那篇回答的是「选什么」。但面试和工作中更常见的后续问题是:选定框架之后,一个躺在磁盘上的模型文件,怎么变成别人能调用的在线 API?

经典题解析:LoRA 的 Rank 设成多少才合适

先说明属性:这是一篇经典题解析,题目出自本地历史面试资料整理,与任何公司的当前招聘无关。「LoRA 的 rank 设多少合适」没有标准数字答案,面试官真正想听的是你能不能把秩 r 背后的三方权衡讲清楚:它如何决定参数量与成本、如何影响效果上限、又如何与过拟合风险挂钩。

从 LoRA 面试题延伸:PEFT 家族怎么选,Adapter、Prefix、Prompt、LoRA 各适合什么场景

上一篇真题解析讲了 LoRA 内部「B 矩阵为什么初始化为全零」这一个机制细节,本篇换个视角:把镜头拉远到整个参数高效微调(PEFT)家族。面试里被问「你知道哪些 PEFT 方法、怎么选」时,零散背名字没用,面试官想听的是一张选型坐标系:每条路线往模型里插了什么、代价是什么、什么…

经典题解析:LoRA 微调为什么把 B 矩阵初始化为全 0

先说明属性:这是一篇经典题解析,题目出自本地历史面试资料整理,与任何公司的当前招聘无关。LoRA 几乎是大模型微调的默认选项,而「两个低秩矩阵分别怎么初始化」是追问率极高的细节题——背出「B 全零、A 高斯」只是及格线,讲清为什么才算过关。

谷歌深夜放大招:Gemini 4 Argon 亮相,一口气输出 100 万 token 是什么概念?

10 月中旬,谷歌 DeepMind 正式亮出了新一代旗舰模型 Gemini 4 Argon。这个消息在海外技术社区 Hacker News 上拿到了 1400+ 点赞、上千条评论,热度直接霸榜。为什么一个模型发布能引起这么大动静?

不调别人的产品,自己用 API 搓一个「ChatGPT」要分几步

先想象一个场景。你每天都在用别人做好的对话产品,忽然冒出一个念头:这样一个能聊多轮、记得住上下文的网页,我自己能不能做一个?答案是能,而且比想象中近——大模型厂商把最难的「模型」做成了一次 HTTP 调用,剩下的都是常规 Web 开发。你需要做的是把五块积木拼起来。