经典题解析：3D 并行是怎么把数据、张量、流水线并行组合起来的
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。训练千亿参数级模型，单卡既装不下也算不动，「3D 并行怎么组合」因此成了分布式训练面试的必问题。答好它的关键不是背三个名词，而是讲清每种并行各切哪个维度、各自的通信脾气，以及组合时谁先谁后。
先说明属性：这是一篇经典题解析，题目出自本地历史面试资料整理，与任何公司的当前招聘无关。训练千亿参数级模型，单卡既装不下也算不动，「3D 并行怎么组合」因此成了分布式训练面试的必问题。答好它的关键不是背三个名词，而是讲清每种并行各切哪个维度、各自的通信脾气，以及组合时谁先谁后。