ohmyblog

#DDP

经典题解析：PyTorch 的 DP 和 DDP 到底有什么区别

先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。DP 和 DDP 都是 PyTorch 的数据并行 API，干的活一样——把一批数据切到多张卡上算、汇总梯度、更新参数——但面试官要的不是「都是数据并行」这句废话，而是进程模型、梯度同步路径和…