经典题解析：梯度检查点为什么能用计算换显存
训练时显存不够，除了减小批次，还可能开启梯度检查点。但它不是把模型偷偷压缩了，也不是定期把训练进度存到磁盘。这里的检查点指激活保存策略：前向少保存一些中间张量，反向求导需要它们时，再把相应前向片段重新执行。
#显存优化
经典题解析：ZeRO 的三个阶段各切分什么状态
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。「ZeRO 三个阶段各切什么」是大模型训练方向的高频考点，答案本身一句话能背完，但面试官真正想听的是：为什么这些状态值得切，以及切了之后通信上付出了什么。