#混合精度

经典题解析：混合精度训练为什么要给 loss 做缩放

2026/12/6

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。「混合精度训练为什么要做 loss scaling」这道题，表面上问的是一个技巧，实际考你能不能把 FP16 的数值范围、反向传播的链式放大、动态调档策略三件事串成一条逻辑链。

2026/11/22

聊 ZeRO 的面试题里有个前置问题常被跳过：那 16N 字节的账到底是怎么来的？这篇文章把那笔账拆开算清楚——训练显存由哪几本账构成、各占多少、每种优化手段分别砍哪一本。看懂账本，「选 ZeRO 还是梯度检查点」就不再是背答案，而是查表。