标签：流水线并行

数据并行、流水线并行、张量并行、专家并行与 ZeRO——逐个说清楚切的是什么、代价落在哪，以及面试里该怎么说。