#loss scaling | ohmyblog

经典题解析：混合精度训练为什么要给 loss 做缩放

2026/12/6

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。「混合精度训练为什么要做 loss scaling」这道题，表面上问的是一个技巧，实际考你能不能把 FP16 的数值范围、反向传播的链式放大、动态调档策略三件事串成一条逻辑链。