缩写英文全称中文名称拆分对象DPData Parallelism数据并行拆 Batch 数据TPTensor Parallelism张量并行拆一层内部的矩阵、Attention Head 等PPPipeline Parallelism流水线并行拆模型的不同层EPExpert Parallelism专家并行拆 MoE 专家CPContext Parallelism上下文并行拆序列长度、Token 位置VPPVirtual Pipeline Parallelism虚拟流水线并行将每个 PP Stage 再拆成多个虚拟模型块其中Parallelism的意思是“并行”。可以这样快速记Data → 数据 → DP Tensor → 张量 → TP Pipeline → 流水线 → PP Expert → 专家 → EP Context → 上下文 → CP Virtual Pipeline → 虚拟流水线 → VPP需要注意Megatron 源码中有时还会看到更完整的叫法TPTensor Model Parallelism PPPipeline Model Parallelism VPPVirtual Pipeline Model Parallelism它们分别强调这是在做“模型并行”含义与上表基本一致。我们延续上次的方式**先理解它为什么存在再看数字例子最后映射到 Megatron。**你之前的学习目标里也把 DP、TP、PP、EP、CP、VPP 列为了重点。一、并行训练到底在“拆”什么先记住一句最重要的话所有并行策略都是在拆分一次正常的模型训练但拆分的位置不同。假设我们要训练一个 Transformer输入数据 ↓ Embedding ↓ 第 1 层 Transformer ↓ 第 2 层 Transformer ↓ …… ↓ 第 8 层 Transformer ↓ LM Head ↓ Loss现在单张 GPU 遇到三个问题模型参数放不下一批数据算得太慢序列太长激活值放不下所以我们可以拆并行策略拆什么DP拆 Batch 数据TP拆一层内部的矩阵计算PP拆模型的不同层EP拆 MoE 专家CP拆序列长度VPP调整 Pipeline 层的执行顺序最容易记忆的版本DP不同 GPU 吃不同数据 TP不同 GPU 合作计算同一层 PP不同 GPU 负责不同层 EP不同 GPU 负责不同专家 CP不同 GPU 负责不同 Token 位置下面固定使用一个小模型讲解。二、我们的示例模型假设模型有Transformer 层数8 Hidden Size8 Attention Head8 Batch Size4 Sequence Length4 GPU 数量8输入 Tensor 形状[[Batch, Sequence, Hidden][4,4,8]]也就是4 条文本 每条文本 4 个 Token 每个 Token 是 8 维向量单卡训练时GPU 0 保存完整 8 层模型 处理完整 Batch4 完成全部前向和反向现在我们开始拆。三、DP数据并行DP 全称Data Parallel数据并行1. DP 拆的是什么DP 拆的是Batch 数据。假设使用两张 GPU总 Batch Size 4 DP 2那么GPU 0处理样本 1、样本 2 GPU 1处理样本 3、样本 4但是两张 GPU 都保存完整模型GPU 0完整的 8 层 Transformer GPU 1完整的 8 层 Transformer示意图完整模型副本 样本 1、2 → GPU 0 → Loss 0 → 梯度 0 ↘ 梯度同步 ↗ 样本 3、4 → GPU 1 → Loss 1 → 梯度 1 完整模型副本2. 为什么要同步梯度假设模型只有一个参数[w0.5]GPU 0 根据自己的数据算出[grad_00.1]GPU 1 算出[grad_10.3]两张 GPU 不能各自随便更新否则参数会变得不同。所以要把梯度平均[grad\frac{0.10.3}{2}0.2]然后两张 GPU 都使用同一个梯度更新[w_{\text{new}}0.5-\eta\times0.2]这样更新后GPU 0 的 w GPU 1 的 w这个梯度同步通常使用All-Reduce3. DP 的优点和缺点优点增加训练吞吐量更多 GPU 可以同时处理更多数据理解和实现相对简单缺点每张 GPU 都要保存完整模型如果模型本身放不进一张 GPUDP 没用所以DP 主要解决“训练速度不够快”不直接解决“模型太大放不下”。4. Global Batch 公式在 Megatron 中经常看到[GlobalBatchMicroBatch\times DP\times Microbatch数量]例如Micro Batch Size 2 DP 4 梯度累积次数 8那么[GlobalBatch2\times4\times864]意思是每张 GPU 每次处理 2 条数据 共有 4 个 DP 副本 连续累积 8 个 Microbatch 最终用 64 条数据更新一次参数四、TP张量并行TP 全称Tensor Parallel张量并行这是 Megatron 最核心的并行方式之一。1. TP 拆的是什么TP 拆的是同一层内部的大矩阵计算。注意区别DP两张 GPU 处理不同数据 TP两张 GPU 处理同一批数据并合作计算同一层假设 Transformer 中有一个线性层[YXW]权重矩阵[W\in\mathbb{R}^{8\times8}]单卡时GPU 0 保存完整 W[8, 8] GPU 0 计算完整 Y当TP 2可以把这个矩阵拆成两半。2. 最简单的数值例子为了方便把 Hidden Size 改成 4。输入[X[1,2,3,4]]权重矩阵使用单位矩阵[W\begin{bmatrix}1000\0100\0010\0001\end{bmatrix}]正常结果[YXW[1,2,3,4]]现在用 TP2把 W 按列拆开。GPU 0 保存前两列[W_0\begin{bmatrix}10\01\00\00\end{bmatrix}]GPU 1 保存后两列[W_1\begin{bmatrix}00\00\10\01\end{bmatrix}]两张 GPU 都接收同一个输入[X[1,2,3,4]]GPU 0 计算[Y_0XW_0[1,2]]GPU 1 计算[Y_1XW_1[3,4]]最后拼接[Y[Y_0,Y_1][1,2,3,4]]也就是┌→ GPU 0计算输出前一半 [1, 2] 输入 X ──────┤ └→ GPU 1计算输出后一半 [3, 4] 拼接后[1, 2, 3, 4]这就是最基础的 TP 思想一层太大一张卡算不动多张卡分别保存并计算这一层的一部分。五、Transformer 中 TP 实际拆什么Transformer 层主要包含Attention MLPTP 会拆它们内部的大矩阵。1. 拆 Attention Head假设Attention Head 8 TP 2那么可以变成GPU 0负责 Head 03 GPU 1负责 Head 47两张 GPU 处理的是同一批 Token但负责不同 Attention Head。同一个输入 Hidden States │ ├─ GPU 0计算 4 个 Attention Head │ └─ GPU 1计算 4 个 Attention Head │ └─ 合并结果如果Attention Head 64 TP 4通常每张 GPU 负责[64/416]个 Query Head。2. 拆 MLP假设 MLP输入 Hidden Size 8 中间 FFN Hidden Size 32 输出 Hidden Size 8第一层线性变换[[8]\rightarrow[32]]TP2 时GPU 0计算中间神经元 015 GPU 1计算中间神经元 1631每张 GPU 只保存一半 MLP 权重。第二层再把两边的计算结果合并成 Hidden Size8。Megatron 中常见的组合是Column Parallel Linear ↓ 激活函数 ↓ Row Parallel Linear现在不需要背它们的源码只要先理解Column Parallel拆输出维度 Row Parallel拆输入维度并把部分结果相加六、TP 为什么需要频繁通信因为两张 GPU 正在合作计算同一层。例如GPU 0 只有输出的一部分 GPU 1 只有输出的另一部分下一步计算可能需要完整结果或者需要把部分结果相加。因此 TP 常使用All-Reduce All-Gather Reduce-Scatter而且通信可能发生在每一层。所以 TP 的特点是通信非常频繁 通信数据量较大 最好放在高速互联的 GPU 之间通常希望 TP GPU 位于同一台服务器 或者同一个 NVLink / NVSwitch 域不适合随便跨慢速网络。七、TP 的优点和缺点优点减少每张 GPU 保存的单层参数可以训练 Hidden Size 很大的模型Attention Head 和 MLP 很适合拆分缺点每一层都可能通信对 GPU 间带宽要求高TP 太大时单张 GPU 分到的计算量太小通信反而占主导一句话总结TP 解决的是“单个 Transformer 层太大一张 GPU 放不下或算不动”。八、PP流水线并行PP 全称Pipeline Parallel流水线并行1. PP 拆的是什么PP 拆的是模型的不同层。假设模型有 8 层PP2GPU 0第 14 层 GPU 1第 58 层数据执行流程输入 ↓ GPU 0Layer 14 ↓ 发送中间激活值 GPU 1Layer 58 ↓ Loss注意GPU 0 没有第 58 层GPU 1 没有第 14 层每张 GPU 只保存部分模型层所以 PP 可以显著降低模型参数显存。2. PP 的前向传播假设输入形状[[Batch,Sequence,Hidden][4,4,8]]GPU 0 执行第 14 层后得到[H_4\in\mathbb{R}^{4\times4\times8}]GPU 0 把这个 Tensor 发给 GPU 1GPU 0 --send H4-- GPU 1GPU 1 接着执行第 58 层。所以 PP 主要发送的是Stage 之间的激活值。3. PP 的反向传播前向GPU 0 → GPU 1反向则相反GPU 1 → GPU 0GPU 1 计算出[\frac{\partial L}{\partial H_4}]然后将这个梯度发回 GPU 0。GPU 0Layer 14 前向激活 → GPU 1Layer 58 GPU 0Layer 14 ← 反向梯度 GPU 1Layer 58常见通信Send / Recv九、为什么叫“流水线”如果只发送一个 Batch会发生时刻 1 GPU 0 工作 GPU 1 等待 时刻 2 GPU 0 等待 GPU 1 工作利用率很低。因此会把一个大 Batch 拆成多个 Microbatch。假设有 4 个 MicrobatchM1、M2、M3、M4仅看前向传播时间GPU 0Layer 14GPU 1Layer 58T1M1空闲T2M2M1T3M3M2T4M4M3T5空闲M4像工厂流水线GPU 0 加工前半部分 GPU 1 加工后半部分到 T2 之后两张 GPU 可以同时工作。十、Pipeline Bubble 是什么刚才的表中T1GPU 1 空闲 T5GPU 0 空闲这些空闲时间叫Pipeline Bubble流水线气泡。Pipeline Stage 越多Microbatch 太少时气泡比例越严重。直觉上PP Stage 很多 Microbatch 很少 → 大量 GPU 在等待 PP Stage 很多 Microbatch 足够多 → 流水线利用率更高这也是为什么 Megatron 需要Microbatch 1F1B Interleaved 1F1B VPP其中 1F1B 意思是稳态阶段尽量做一次前向 再做一次反向从而减少显存占用并提高利用率。你现在不用深入 1F1B 的时间表先记住PP 不是简单地把层放到不同 GPU 上还必须安排好 Microbatch 的执行顺序。十一、PP 的优点和缺点优点每张 GPU 只保存部分层特别适合层数很深的大模型相比 TP通信不发生在每个矩阵内部Stage 之间主要传递激活值和梯度缺点存在 Pipeline Bubble不同 Stage 计算量不均衡时有些 GPU 会等待需要把 Batch 拆成多个 Microbatch调度比普通单卡训练复杂一句话总结PP 解决的是“整个模型层数太多所有层放不进一张 GPU”。十二、TP 和 PP 到底有什么区别这是最重要的对比。假设一个 8 层模型PP2GPU 0拥有完整的 Layer 14 GPU 1拥有完整的 Layer 58拆的是层Layer 14 | Layer 58TP2GPU 0拥有每一层的一半 GPU 1拥有每一层的另一半拆的是层内部矩阵Layer 1 GPU 0 一半 GPU 1 一半 Layer 2 GPU 0 一半 GPU 1 一半 …… Layer 8 GPU 0 一半 GPU 1 一半最直观的区别PP你做前四层我做后四层 TP每一层我们两个一起做再形象一点PP 像工厂分工 工人 A 负责组装前半段 工人 B 负责组装后半段 TP 像两个人抬一块重物 同一个步骤太重两个人一起完成十三、DP、TP、PP 怎么组合真实大模型一般不会只用一种并行而是组合使用。假设一共有 8 张 GPUTP 2 PP 2 DP 2总 GPU 数[2\times2\times28]1. 先看一个模型副本TP2、PP2因此一个模型副本需要[TP\times PP2\times24]张 GPU。第一个模型副本Pipeline Stage 0Layer 14 ├─ GPU 0负责每层矩阵的一半 └─ GPU 1负责每层矩阵的另一半 Pipeline Stage 1Layer 58 ├─ GPU 2负责每层矩阵的一半 └─ GPU 3负责每层矩阵的另一半表示成图TP2 ┌────────────────┐ 输入 → PP Stage 0 │ GPU 0 GPU 1 │ Layer 14 └───────┬────────┘ │ 激活值 ┌───────▼────────┐ │ PP Stage 1 │ │ GPU 2 GPU 3 │ Layer 58 └────────────────┘2. 再复制一个 DP 副本第二个模型副本GPU 4、5Stage 0 GPU 6、7Stage 1完整布局DP 副本 0 PP Stage 0GPU 0、1内部 TP2 PP Stage 1GPU 2、3内部 TP2 DP 副本 1 PP Stage 0GPU 4、5内部 TP2 PP Stage 1GPU 6、7内部 TP2数据分配DP 副本 0处理样本 14 DP 副本 1处理样本 58每个副本内部使用 PP 拆层每个 PP Stage 内部使用 TP 拆矩阵反向完成后两个 DP 副本同步对应参数的梯度十四、并行组是什么Megatron 会为不同通信建立不同的 Process Group。以上面的 8 张 GPU 为例TP2 PP2 DP2TP Group合作计算同一个 Stage 内部矩阵(0, 1) (2, 3) (4, 5) (6, 7)例如 GPU 0 和 GPU 1 一起计算 Layer 14。PP Group负责同一条 Pipeline 路径(0, 2) (1, 3) (4, 6) (5, 7)例如 GPU 0 的输出传给 GPU 2。为什么是 0→2、1→3因为 TP 分片必须一一对应TP 分片 0 → 下一个 Stage 的 TP 分片 0 TP 分片 1 → 下一个 Stage 的 TP 分片 1DP Group保存相同参数分片、处理不同数据的 Rank(0, 4) (1, 5) (2, 6) (3, 7)例如GPU 0 和 GPU 4都保存Stage 0 中 TP 分片 0 的参数只是处理不同数据。因此反向后它们需要同步梯度。这个概念非常重要GPU 不只是属于一个组同一张 GPU 会同时属于 TP Group、PP Group、DP Group。例如 GPU 0TP Group(0,1) PP Group(0,2) DP Group(0,4)不同操作使用不同通信组。十五、完整训练过程8 张 GPU 的数字例子配置GPU 总数 8 TP 2 PP 2 DP 2 Micro Batch Size 1 每个 DP 副本有 4 个 Microbatch因此一次更新的 Global Batch[1\times2\times48]流程如下。第一步DP 拆数据DP 副本 0样本 14 DP 副本 1样本 58第二步拆成 Microbatch每个副本M11 条文本 M21 条文本 M31 条文本 M41 条文本第三步PP Stage 0 前向对于 DP 副本 0GPU 0、1 一起处理 M1 的 Layer 14这里 GPU 0、1 使用 TPGPU 0算每层矩阵的一半 GPU 1算每层矩阵的另一半第四步发送给下一个 PP StageGPU 0 → GPU 2 GPU 1 → GPU 3GPU 2、3 接着计算 Layer 58。与此同时GPU 0、1 可以开始计算 M2。第五步计算 Loss 和反向传播最后一个 Stage 计算LM Head Loss Backward梯度沿 Pipeline 反向传递GPU 2、3 → GPU 0、1第六步DP 同步梯度两个 DP 副本都完成后GPU 0 ↔ GPU 4 GPU 1 ↔ GPU 5 GPU 2 ↔ GPU 6 GPU 3 ↔ GPU 7对相同参数分片的梯度执行 All-Reduce 或等价操作。第七步更新参数每张 GPU 更新自己保存的参数分片optimizer.step()更新后两个 DP 副本仍然完全一致。十六、EP专家并行EP 全称Expert Parallel专家并行它主要用于 MoE。假设一个 MoE 层有 8 个专家Expert 07 EP 2可以这样拆GPU 0Expert 03 GPU 1Expert 47Router 对每个 Token 选择专家。例如Token A → Expert 1 Token B → Expert 6 Token C → Expert 3那么Token A 留在或发送到拥有 Expert 1 的 GPU Token B 发送到拥有 Expert 6 的 GPU Token C 留在或发送到拥有 Expert 3 的 GPU典型流程Token ↓ Router 选择 Top-k Expert ↓ All-to-All 把 Token 发到专家所在 GPU ↓ 各 GPU 执行自己的专家 FFN ↓ All-to-All 把结果发回来 ↓ 加权合并所以 EP 拆的是MoE Expert 的参数和计算。EP 主要解决专家数量太多专家参数放不下将不同专家的计算分散到不同 GPU它最典型的通信是All-to-All十七、CP上下文并行CP 全称Context Parallel上下文并行它拆的是序列长度。假设Sequence Length 8 CP 2那么可以理解为GPU 0Token 位置 03 GPU 1Token 位置 47原始 Hidden States[[B,8,H]]拆开后每张 GPU 大致保存[[B,4,H]]它主要解决序列太长Attention 激活值显存太大单卡放不下完整 Context但是 Attention 中一个 Token 需要看到其他位置的 K、V因此不同 CP Rank 之间仍然需要交换信息。所以 CP 不是简单地把序列砍开后互不联系。一句话CP 让不同 GPU 保存和计算同一个样本的不同 Token 位置。十八、VPP虚拟流水线并行VPP 全称Virtual Pipeline Parallel它不是像 TP、PP 那样单独增加一种“拆分维度”更像是对 PP 层进行更细的分块和交错调度。假设 8 层、PP2。普通 PP物理 Stage 0Layer 14 物理 Stage 1Layer 58使用 VPP 后可以把每个物理 Stage 的层拆成多个模型 Chunk例如Stage 0 Chunk 0Layer 12 Chunk 1Layer 56 Stage 1 Chunk 0Layer 34 Chunk 1Layer 78执行顺序交错Stage 0 Chunk 0 → Stage 1 Chunk 0 → Stage 0 Chunk 1 → Stage 1 Chunk 1这样可以让 Pipeline 的调度更细降低一部分 Bubble。先记住PP 决定模型分到几个物理 StageVPP 决定每个物理 Stage 内再分几个模型 Chunk并交错执行。十九、一张总表彻底区分策略各 GPU 处理的数据各 GPU 保存的模型典型通信主要目的DP不同数据完整或相同参数分片梯度 All-Reduce / Reduce-Scatter提高吞吐TP相同数据同一层的不同矩阵分片All-Reduce、All-Gather拆大矩阵PP相同 Microbatch不同模型层Send / Recv拆深层模型EPRouter 分发后的不同 Token不同专家All-to-All拆 MoE 专家CP同一样本的不同序列位置对应序列分片KV/激活通信拆长序列VPP与 PP 相同一个 Stage 内多个模型 ChunkPipeline 通信减少 Bubble最重要的判断方法看到不同 GPU 吃不同样本DP 看到不同 GPU 一起算同一个 Linear/AttentionTP 看到 GPU 0 算前几层、GPU 1 算后几层PP 看到 Token 被 Router 发到不同专家EP 看到长序列的 Token 位置被分到不同 GPUCP二十、映射到你之前的 Qwen 脚本你之前的配置大致包含TP 4 PP 8 EP 8可以先这样理解TP4同一个 Transformer 层由 4 张 GPU 合作计算。例如64 个 Query Head粗略理解为每张 GPU 负责[64/416]个 Head。MLP 和其他大矩阵也会分成 4 份。PP860 层模型被放到 8 个 Pipeline Stage 上。理想平均值[60/87.5]所以无法每个 Stage 完全相同有的 Stage 7 层 有的 Stage 8 层这就是为什么你之前的脚本中需要考虑非均匀 Pipeline 层分配。EP8512 个 Expert 分布到 8 个 EP Rank 上。如果均匀分配[512/864]每个 EP Rank 保存大约 64 个专家。Token 经过 Router 后会通过 All-to-All 被发送到对应专家所在的 Rank。不过要注意一个细节EP 在 Megatron 中通常与数据并行维度存在嵌套关系不能在所有配置里都简单地把TP × PP × EP当成最终 GPU 总数。不考虑 EP、CP 时最基础的公式是[WorldSizeTP\times PP\times DP]若加入 CP[WorldSizeTP\times PP\times CP\times DP]EP Group 通常从相关的数据并行 Rank 中划分具体还要看 Megatron 的并行 Rank 布局。初学阶段先不要把这个细节当作重点。二十一、面试中怎么回答问DP、TP、PP 分别解决什么问题可以这样回答DP 将 Batch 拆给多个模型副本主要提升训练吞吐但每个副本仍需保存模型。TP 将单个 Transformer 层内部的矩阵、Attention Head 或 MLP 维度拆到多个 GPU解决单层过大的问题。PP 将模型的不同层拆到不同 Stage解决整个模型层数多、参数放不下的问题并通过 Microbatch 流水线提高利用率。问TP 和 PP 的通信有什么区别TP 的 GPU 共同计算同一层因此通常每层都会发生集合通信例如 All-Reduce、All-Gather 或 Reduce-Scatter对带宽要求很高。PP 主要在相邻 Stage 之间发送激活值和反向梯度通常使用点对点 Send/Recv但会产生 Pipeline Bubble。问为什么 DP 不能解决模型放不下因为普通 DP 的每个模型副本都需要保存完整模型参数。它拆的是数据而不是模型参数本身。问为什么 PP 需要 Microbatch如果整个 Batch 一次通过 Pipeline其他 Stage 会长时间等待。将 Batch 拆成多个 Microbatch 后不同 Stage 可以同时处理不同 Microbatch从而形成流水线并减少空闲时间。二十二、现在必须牢牢记住的五句话1. DP不同数据相同模型。 2. TP相同数据同一层由多张 GPU 合作计算。 3. PP相同数据不同 GPU 负责不同模型层。 4. EP不同 GPU 保存不同 MoE 专家。 5. CP不同 GPU 保存同一个样本的不同 Token 位置。再加一句组合关系真实训练中 先用 PP 拆层 每个 PP Stage 内用 TP 拆矩阵 再用 DP 复制模型并处理更多数据 MoE 层额外使用 EP 长序列额外使用 CP。三道自测题第 1 题总 GPU 数 16 TP 2 PP 4 CP 1暂不考虑 EP则[DP\frac{16}{2\times4}2]第 2 题Micro Batch 2 DP 4 Microbatch 数量 8Global Batch[2\times4\times864]第 3 题下面分别是什么并行GPU 0 处理样本 AGPU 1 处理样本 BDP GPU 0 计算前 4 个 Attention Head GPU 1 计算后 4 个 Attention HeadTP GPU 0 计算 Layer 14 GPU 1 计算 Layer 58PP