从 ZeRO 面试题延伸：大模型训练的显存都花在哪，一图看懂省钱路线
聊 ZeRO 的面试题里有个前置问题常被跳过：那 16N 字节的账到底是怎么来的？这篇文章把那笔账拆开算清楚——训练显存由哪几本账构成、各占多少、每种优化手段分别砍哪一本。看懂账本，「选 ZeRO 还是梯度检查点」就不再是背答案，而是查表。
聊 ZeRO 的面试题里有个前置问题常被跳过：那 16N 字节的账到底是怎么来的？这篇文章把那笔账拆开算清楚——训练显存由哪几本账构成、各占多少、每种优化手段分别砍哪一本。看懂账本，「选 ZeRO 还是梯度检查点」就不再是背答案，而是查表。