标签：集合通信

梯度切成 N 块、N 张卡排成环，两轮各走 N−1 步：每卡只搬约 2 份梯度大小的数据，就能拿到全量梯度之和。