经典题解析：PyTorch 的 DP 和 DDP 到底有什么区别
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。DP 和 DDP 都是 PyTorch 的数据并行 API，干的活一样——把一批数据切到多张卡上算、汇总梯度、更新参数——但面试官要的不是「都是数据并行」这句废话，而是进程模型、梯度同步路径和…
#分布式训练
经典题解析：3D 并行是怎么把数据、张量、流水线并行组合起来的
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。训练千亿参数级模型，单卡既装不下也算不动，「3D 并行怎么组合」因此成了分布式训练面试的必问题。答好它的关键不是背三个名词，而是讲清每种并行各切哪个维度、各自的通信脾气，以及组合时谁先谁后。