ohmyblog

从 ZeRO 面试题延伸：大模型训练的显存都花在哪，一图看懂省钱路线

2026/11/22

聊 ZeRO 的面试题里有个前置问题常被跳过：那 16N 字节的账到底是怎么来的？这篇文章把那笔账拆开算清楚——训练显存由哪几本账构成、各占多少、每种优化手段分别砍哪一本。看懂账本，「选 ZeRO 还是梯度检查点」就不再是背答案，而是查表。

2026/11/22

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料，与任何公司的当前招聘无关。GMP 是 Go 面试的必答题，但很多人只背得出三个字母的全称，讲不清为什么需要中间这层 P。这篇文章按「为什么 → 是什么 → 怎么运转」的顺序把它讲透。

2026/11/22

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料（原题面写作「三个数字出现超过 3/4」，按惯例理解为三个数各自出现次数超过 n/4），与任何公司的当前招聘无关。这道题是摩尔投票法的推广版，单候选版本人人会背，一推广到多候选就卡住一大片人。

2026/11/22

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。「ZeRO 三个阶段各切什么」是大模型训练方向的高频考点，答案本身一句话能背完，但面试官真正想听的是：为什么这些状态值得切，以及切了之后通信上付出了什么。

2026/11/21

这是一篇知识延伸文章：此前一篇真题解析讲了内存装得下时的 Top-K——扫一遍数据、维护一个 K 大小的小顶堆，O(N log K) 收工。本文换主轴：当数据量远超内存，堆解法的前提不复存在，此时有哪些方法、各自的精度代价是什么？堆解法的细节不再重复。

2026/11/21

先说明属性：这是一篇经典题解析，题目出自本地历史面经资料整理，与任何公司的当前招聘无关。「基于 token 的后台鉴权和用户名密码加 session 有什么具体不同」是后端面试的经典对比题。模型 API 网关的 API Key、JWT 设计也直接复用这套框架。

2026/11/21

先说明属性：这是一篇历史笔试真题复盘，题目原型出自一份校园招聘笔试卷，与任何公司的当前招聘无关。结构体对齐是 C/C++ 笔试的钉子户，题目形式固定：给几个不同类型的成员，问 sizeof 是多少。会算只是及格，能讲清三条规则、顺手给出重排优化才是满分答法。

2026/11/21

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。训练千亿参数级模型，单卡既装不下也算不动，「3D 并行怎么组合」因此成了分布式训练面试的必问题。答好它的关键不是背三个名词，而是讲清每种并行各切哪个维度、各自的通信脾气，以及组合时谁先谁后。

2026/11/20

这是一篇知识延伸文章：同批的面试真题解析讲了 RoPE 自身的旋转机制，本文换一个主轴——把位置编码放进演进坐标系里看，回答两个更大的问题：这条技术线沿什么脉络走到 RoPE？模型训练长度不够用时，又有哪些主流的外推方案？RoPE 的公式推导不再重复，需要的话去看那篇真题解析。

2026/11/20

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。「什么是聚合」「聚合管道怎么工作」是 MongoDB 面试的常客。AI 应用的行为日志分析、标注数据统计常常落在 MongoDB 上，聚合管道就是主要的分析入口，值得讲透。