从梯度检查点面试题延伸：训练恢复为什么不能只保存权重
训练进程退出后，把模型权重加载回来，为什么接下来的损失曲线仍可能和原来不同？因为训练不是一个只依赖当前参数的函数。优化器记住了过去的更新，调度器记录了进度，数据加载和随机数也有自己的位置。恢复文件能被读取，与训练真正接着原轨迹继续，是两种不同承诺。
训练进程退出后，把模型权重加载回来，为什么接下来的损失曲线仍可能和原来不同？因为训练不是一个只依赖当前参数的函数。优化器记住了过去的更新，调度器记录了进度，数据加载和随机数也有自己的位置。恢复文件能被读取，与训练真正接着原轨迹继续，是两种不同承诺。