标签：ZeRO

数据并行、流水线并行、张量并行、专家并行与 ZeRO——逐个说清楚切的是什么、代价落在哪，以及面试里该怎么说。

参数、梯度、优化器状态全部按卡数切开，每卡只留 1/N；哪一层要用就临时把参数拼回来，算完立刻释放。