🌐 English version: MPK Single-Card Performance Root-Cause: Why It’s 3.4× Slower Than SGLang on the PPU-ZW810E

前情提要:把 NVIDIA 的 CUDA 巨核 (MPK) 移植到平头哥 PPU-ZW810E。上一篇让 MPK 在国产卡上跑通、算对、反超 native;这一篇要回答的是:单卡为什么还比 SGLang 慢 3.4×,以及怎么补回来。

目标:优化 MPK(Mirage Persistent Kernel)单卡推理,超越 SGLang 单卡基线。
硬件:阿里平头哥 真武 ZW810E(8×/节点,96GB HBM2e,64 SM,CUDA 兼容 SIMT,__CUDA_ARCH__=800 ampere 路径)。
模型:Qwen3-8B,bf16,decode(单 token 生成)。
日期:2026-07-01。


一、结论(TL;DR)

MPK 单卡 decode = 30.8 ms/token,SGLang 单卡 = 8.99 ms/token,慢 3.43×。

差距的唯一根因已用隔离实验锁定:

含 tensor-core(wmma/mma)指令的 kernel,其 occupancy(每 SM 可同时驻留的 block 数)会随 shared-memory 用量增大而急剧下降。MPK 的 megakernel 既用 wmma 做 GEMM(占 93% 时间),又按 160KB 动态 smem 启动(被 attention task 撑起来),于是每次只有 20 个 block 驻留 = 只用了 64 个 SM 中的 20 个 = 3.4× 差距。

64 个 SM 里只有 20 个驻留

  • 不是寄存器(VReg/SReg)、不是 cooperative launch、不是 launch_bounds、不是代码体积、不是 cp.async、不是调度器逻辑 —— 这些全部被逐一证伪。
  • 修复方向明确且完全保留 megakernel 模型:把启动 smem 降到 ≤64KB → occupancy 20→64(3.2× 更多 SM) → 预期 ~9.4 ms/token ≈ 打平/超越 SGLang。
  • 唯一卡点:160KB 由 attention 的 flash stage-2 缓冲撑起,而 attention 只占 3.8% 时间 —— 缩它换 93% 路径的 3× 并行度,划算。

二、性能瓶颈:内存带宽,不是计算

Decode(batch≈1)是内存带宽瓶颈:每个权重只读一次,算术强度 ~1 FLOP/byte。

实测 ZW810E HBM 峰值带宽(高 MLP、unrolled float4 stream 微基准):

blocks×threads 达到带宽
20×128 600 GB/s(ceiling)
20×256 1055 GB/s
20×512 1524 GB/s
256×512 1906 GB/s(仍在爬,峰值 ≈2.3 TB/s)
  • SGLang ≈ 1.78 TB/s(用满 64 SM + CUDA graph + 手调 kernel)
  • MPK ≈ 0.53 TB/s(20 SM)
  • MPK 的 linear_kernel 在 20×128 配置下已达该配置理论上限的 ~88%(530/600 GB/s)→ 优化 linear_kernel 内层循环没用,瓶颈是只用了 20/64 个 SM。

profiling(单卡 no-cutlass,W=19/S=4):TASK_LINEAR + TASK_LINEAR_WITH_RESIDUAL = 93%(同一个 linear_kernel),attention 3.8%,其余 <3%。

带宽对比:MPK vs SGLang vs HBM 峰值


三、系统化排查:逐一证伪每个假设

方法论转变(关键):从”改一个参数→重编译 demo(3min)→看结果”的试错,改成 **在独立微基准里直接测量 + 单变量消因(10-30s/次)**。核心工具:

  1. 核内 census:给 persistent_kernel 加一个 device flag g_probe_exit,让它一进去就 atomicAdd(&live) / atomicMax(&maxlive) / 自旋 / atomicSub 后立即返回 → 用普通 <<<64>>> launch 直接量”最多几个 block 同时驻留”。
  2. 合成 dummy:一个资源属性(cudaFuncGetAttributes:numRegs / static smem / local / maxThreads / 动态 smem)与真 megakernel 完全一致的空 kernel,做同样的 census / cooperative sweep。

关键反常现象

kernel occupancy(64 中同时驻留)
真 persistent_kernel 20
属性完全一致的 dummy 64

两者 cudaFuncGetAttributes 一模一样、同一时刻同一 stream 启动,却 20 vs 64。

逐一证伪(合成 kernel 全部达到 64)

假设 测试 结果
VReg 寄存器 强制 numRegs 32→254 全 64
SReg 标量寄存器 强制 56→110(>persistent 的 90) 全 64
静态 smem 0→2048 全 64
local memory 0→372 全 64
动态 smem 160KB 64(普通 kernel)
代码体积 0→20K 指令 全 64
launch_bounds 去掉/改 min-blocks 无影响
加载延迟错峰 自旋时长 ×10(300M cycle) 仍 20(非错峰假象)

同时排除的坑:

  • cudaOccupancyMaxActiveBlocksPerMultiprocessor 在 PPU 上不可靠:对 persistent_kernel 报 occ=1/SM→cap 64,实测 20。
  • 早期”cooperative cap=20”的 grid sweep 一度被 persistent_checker 里的 assert(gridDim.x == num_workers + num_scheds/4) 污染(grid 不匹配 config 时断言失败被误判为启动失败)——读完整启动链路代码才发现,把 probe 提前返回挪到断言之前后修正。
  • PPU 编译器 flag 事实:-Xptxas --maxrregcount=N 能压 VReg,但被 __launch_bounds__ 静默屏蔽;裸 --maxrregcount、-Xcicc -ppu-max-vreg-count 都被忽略;没有压 SReg 的 flag。

四、根因(决定性隔离实验)

把上面所有资源都排除后,剩下唯一没复现的结构差异:真 task kernel 用了 cp.async 和 wmma(tensor core),而合成 kernel 没有。

在一个 census kernel 里塞入这些指令(编译进去、用 if(*go==999) 守卫住不执行,模拟 persistent_kernel 早返回),扫 smem 大小:

kernel 含什么 \ smem 8KB 49KB 64KB 73KB 82KB 98KB 160KB
普通 load 64 64 64 — — 64 64
cp.async 64 64 64 — — 64 64
wmma(tensor core) 64 64 64 60 60 40 20

铁证:

  • cp.async 无罪,普通 load 无罪 —— 全程 64。
  • 只有 wmma + 大 smem:occupancy 在 ~65KB 以下还是 64,往上 73-82KB→60,98KB→40,160KB→20。

occupancy 随 smem 变化:wmma vs 普通 load

机制(推断)

ZW810E 上 tensor-core 单元占用每 SM 的额外状态,使含 wmma 的 kernel 的有效 smem 配额被砍到 ~64-72KB/block(1 block/SM 覆盖全部 64 SM)。超过这个量,大 smem 的 wmma block 只能落在越来越少的 SM 上:98KB→40 个 SM 使用、24 个闲置;160KB→20 个 SM 使用、44 个闲置。

这完美解释了全部现象:

  • MPK megakernel 用 wmma(linear_kernel GEMM = 93%)且按 160KB 启动(MAX_DYNAMIC_SHARED_MEMORY_SIZE,被 attention 撑起)→ 卡 20 block = 20/64 SM = 实测 3.4× gap。
  • dummy 不含 wmma → 64。
  • 调寄存器/SReg/代码体积全没用(因为根本不是它们)。

五、修复方案(保留大核模型)

把 megakernel 的启动 smem 从 160KB 降到 ≤64KB → occupancy 20→64 → ~3× 更多 SM → ~3× 带宽 → 预期 ~9.4 ms/token ≈ SGLang。

这纯粹是 shared-memory footprint 的调整,不碰 Mirage 大核的三条收益(任务融合 / 免除每算子 launch 开销 / 去中心化常驻调度)。之前担心的”把 config 字段按需从内存加载会丢掉大核收益”是错误方向 —— SReg 假设已被证伪,根本不需要动 config。

卡点与定量

megakernel 是单次启动、固定 smem = 所有 task 的最大需求。160KB 由 attention 的 flash stage-2 输出缓冲撑起:

multitoken_paged_attention_32_64.cuh:191

1
2
S_O_BUFFER_SIZE = sizeof(float) * GLOBAL_ITERS_M * NUM_THREADS * 64
≈ 4 * GLOBAL_ITERS_M * 128 * 64 ≈ GLOBAL_ITERS_M * 32KB

GLOBAL_ITERS_M ≈ 5 时就 ≈160KB。而 linear_kernel(93%)的 smem 小得多(GEMM tile 典型 32-48KB,应能塞进 64KB,需确认)。

attention 只占 3.8% 时间 → 缩它的 tile(或把 attention 的 smem 预算与 linear 解耦)换 93% linear 路径的 3× occupancy,非常划算。

落地路径(三选一,按风险/回报排序)

  1. 先端到端验证 3× 增益(低风险,推荐先做):临时把 MAX_DYNAMIC_SHARED_MEMORY_SIZE 压到 64KB,缩 attention 的 MAX_TOKENS/GLOBAL_ITERS_M 让它塞进去(数值先不追求完全对),实测 occupancy 和每 token 延迟是否真 ~3×。涨了再正经修 attention 正确性。
  2. 正经优化 attention smem:重构 flash stage-2 缓冲布局(S_O_BUFFER),把 attention 真正降到 ≤64KB 且保正确性。
  3. 先量每个 task 的实际 smem:确认 64KB 目标可行、到底要缩哪些 task,再动手。

六、预期收益

目标 megakernel smem 预期 occupancy 预期 ms/token vs SGLang(8.99)
160KB(现状) 20 30.8 3.4× 慢
98KB 40 ~15.4 1.7× 慢
≤64KB 64 ~9.6 ≈ 打平
≤50KB + 更多线程/block 64 + 更高带宽/block <9 超越

(延迟按带宽 ∝ 驻留 block 数线性外推;实际需端到端验证。)

不同 smem 目标下的预期 ms/token

进一步叠加:在 20→64 occupancy 之上,若 linear_kernel 改用更多线程/block(128→256),单 block 带宽再 ~1.76×(微基准),有望明确超越 SGLang。


七、工程笔记

  • 构建现实:megakernel 是单一巨型编译单元,PPU 版 nvcc(release 13.0 fork)无 -split-compile,--threads 只并行多架构 → 单文件编译天然单线程(~2-3min),256 核也用不上。诊断迭代建议用 -O1(-O3 的 LLVM pass 是慢的主因)。
  • 诊断技法:device printf 在非法访问/abort 撕毁 kernel 时不 flush → 用 mapped host 内存 ring + __threadfence_system() 读回。hggc-memcheck 对 megakernel 规模会自身段错误、不可靠。核内 census(device flag + atomicMax)是量真实 occupancy 的可靠手段。
  • SSH:box 连接不稳,务必 ServerAliveInterval=10。
  • 探针文件(scratchpad):bw_hi.cu(带宽)、coop_cap_probe.cu / smem_cap.cu(cooperative cap)、coop_regsweep.cu(VReg 消因)、occ_census.cu(代码体积消因)、sreg_confirm.cu(SReg 消因)、async_census.cu(发现 wmma)、async_census2.cu(隔离 wmma vs cp.async + smem 阈值曲线)。
  • box 状态:/work/mirage/include/.../persistent_kernel.cuh 有 env-gated 诊断注入(mpk_coop_probe_dummy、g_probe_exit census、attr-diff、MPK_NO_LB/MPK_PTXAS_REG/MPK_SMEM_OVERRIDE/MPK_COOP_MIN_BLOCKS 构建开关)——未提交,仅 box 本地,正经改动前需清理。

八、一句话给决策者

MPK 慢 3.4× 不是 kernel 写得差,是 PPU 的 tensor-core 与大 shared-memory 冲突把它锁死在 64 个 SM 里的 20 个。把 megakernel 的 smem 从 160KB 降到 ≤64KB,就能解锁全部 64 个 SM、拿回 ~3× 带宽、打平乃至超越 SGLang —— 且不动 Mirage 大核的任何核心机制。