MPK 单卡性能根因分析 —— 为什么在 PPU-ZW810E 上比 SGLang 慢 3.4×
🌐 English version: MPK Single-Card Performance Root-Cause: Why It’s 3.4× Slower Than SGLang on the PPU-ZW810E
前情提要:把 NVIDIA 的 CUDA 巨核 (MPK) 移植到平头哥 PPU-ZW810E。上一篇让 MPK 在国产卡上跑通、算对、反超 native;这一篇要回答的是:单卡为什么还比 SGLang 慢 3.4×,以及怎么补回来。
目标:优化 MPK(Mirage Persistent Kernel)单卡推理,超越 SGLang 单卡基线。
硬件:阿里平头哥 真武 ZW810E(8×/节点,96GB HBM2e,64 SM,CUDA 兼容 SIMT,__CUDA_ARCH__=800ampere 路径)。
模型:Qwen3-8B,bf16,decode(单 token 生成)。
日期:2026-07-01。
一、结论(TL;DR)
MPK 单卡 decode = 30.8 ms/token,SGLang 单卡 = 8.99 ms/token,慢 3.43×。
差距的唯一根因已用隔离实验锁定:
含 tensor-core(
wmma/mma)指令的 kernel,其 occupancy(每 SM 可同时驻留的 block 数)会随 shared-memory 用量增大而急剧下降。MPK 的 megakernel 既用 wmma 做 GEMM(占 93% 时间),又按 160KB 动态 smem 启动(被 attention task 撑起来),于是每次只有 20 个 block 驻留 = 只用了 64 个 SM 中的 20 个 = 3.4× 差距。

- 不是寄存器(VReg/SReg)、不是 cooperative launch、不是 launch_bounds、不是代码体积、不是 cp.async、不是调度器逻辑 —— 这些全部被逐一证伪。
- 修复方向明确且完全保留 megakernel 模型:把启动 smem 降到 ≤64KB → occupancy 20→64(3.2× 更多 SM) → 预期 ~9.4 ms/token ≈ 打平/超越 SGLang。
- 唯一卡点:160KB 由 attention 的 flash stage-2 缓冲撑起,而 attention 只占 3.8% 时间 —— 缩它换 93% 路径的 3× 并行度,划算。
二、性能瓶颈:内存带宽,不是计算
Decode(batch≈1)是内存带宽瓶颈:每个权重只读一次,算术强度 ~1 FLOP/byte。
实测 ZW810E HBM 峰值带宽(高 MLP、unrolled float4 stream 微基准):
| blocks×threads | 达到带宽 |
|---|---|
| 20×128 | 600 GB/s(ceiling) |
| 20×256 | 1055 GB/s |
| 20×512 | 1524 GB/s |
| 256×512 | 1906 GB/s(仍在爬,峰值 ≈2.3 TB/s) |
- SGLang ≈ 1.78 TB/s(用满 64 SM + CUDA graph + 手调 kernel)
- MPK ≈ 0.53 TB/s(20 SM)
- MPK 的
linear_kernel在 20×128 配置下已达该配置理论上限的 ~88%(530/600 GB/s)→ 优化 linear_kernel 内层循环没用,瓶颈是只用了 20/64 个 SM。
profiling(单卡 no-cutlass,W=19/S=4):TASK_LINEAR + TASK_LINEAR_WITH_RESIDUAL = 93%(同一个 linear_kernel),attention 3.8%,其余 <3%。

三、系统化排查:逐一证伪每个假设
方法论转变(关键):从”改一个参数→重编译 demo(3min)→看结果”的试错,改成 **在独立微基准里直接测量 + 单变量消因(10-30s/次)**。核心工具:
- 核内 census:给
persistent_kernel加一个 device flagg_probe_exit,让它一进去就atomicAdd(&live)/atomicMax(&maxlive)/ 自旋 /atomicSub后立即返回 → 用普通<<<64>>>launch 直接量”最多几个 block 同时驻留”。 - 合成 dummy:一个资源属性(
cudaFuncGetAttributes:numRegs / static smem / local / maxThreads / 动态 smem)与真 megakernel 完全一致的空 kernel,做同样的 census / cooperative sweep。
关键反常现象
| kernel | occupancy(64 中同时驻留) |
|---|---|
真 persistent_kernel |
20 |
| 属性完全一致的 dummy | 64 |
两者 cudaFuncGetAttributes 一模一样、同一时刻同一 stream 启动,却 20 vs 64。
逐一证伪(合成 kernel 全部达到 64)
| 假设 | 测试 | 结果 |
|---|---|---|
| VReg 寄存器 | 强制 numRegs 32→254 | 全 64 |
| SReg 标量寄存器 | 强制 56→110(>persistent 的 90) | 全 64 |
| 静态 smem | 0→2048 | 全 64 |
| local memory | 0→372 | 全 64 |
| 动态 smem | 160KB | 64(普通 kernel) |
| 代码体积 | 0→20K 指令 | 全 64 |
| launch_bounds | 去掉/改 min-blocks | 无影响 |
| 加载延迟错峰 | 自旋时长 ×10(300M cycle) | 仍 20(非错峰假象) |
同时排除的坑:
cudaOccupancyMaxActiveBlocksPerMultiprocessor在 PPU 上不可靠:对 persistent_kernel 报 occ=1/SM→cap 64,实测 20。- 早期”cooperative cap=20”的 grid sweep 一度被
persistent_checker里的assert(gridDim.x == num_workers + num_scheds/4)污染(grid 不匹配 config 时断言失败被误判为启动失败)——读完整启动链路代码才发现,把 probe 提前返回挪到断言之前后修正。 - PPU 编译器 flag 事实:
-Xptxas --maxrregcount=N能压 VReg,但被__launch_bounds__静默屏蔽;裸--maxrregcount、-Xcicc -ppu-max-vreg-count都被忽略;没有压 SReg 的 flag。
四、根因(决定性隔离实验)
把上面所有资源都排除后,剩下唯一没复现的结构差异:真 task kernel 用了 cp.async 和 wmma(tensor core),而合成 kernel 没有。
在一个 census kernel 里塞入这些指令(编译进去、用 if(*go==999) 守卫住不执行,模拟 persistent_kernel 早返回),扫 smem 大小:
| kernel 含什么 \ smem | 8KB | 49KB | 64KB | 73KB | 82KB | 98KB | 160KB |
|---|---|---|---|---|---|---|---|
| 普通 load | 64 | 64 | 64 | — | — | 64 | 64 |
| cp.async | 64 | 64 | 64 | — | — | 64 | 64 |
| wmma(tensor core) | 64 | 64 | 64 | 60 | 60 | 40 | 20 |
铁证:
- cp.async 无罪,普通 load 无罪 —— 全程 64。
- 只有
wmma+ 大 smem:occupancy 在 ~65KB 以下还是 64,往上 73-82KB→60,98KB→40,160KB→20。

机制(推断)
ZW810E 上 tensor-core 单元占用每 SM 的额外状态,使含 wmma 的 kernel 的有效 smem 配额被砍到 ~64-72KB/block(1 block/SM 覆盖全部 64 SM)。超过这个量,大 smem 的 wmma block 只能落在越来越少的 SM 上:98KB→40 个 SM 使用、24 个闲置;160KB→20 个 SM 使用、44 个闲置。
这完美解释了全部现象:
- MPK megakernel 用 wmma(
linear_kernelGEMM = 93%)且按 160KB 启动(MAX_DYNAMIC_SHARED_MEMORY_SIZE,被 attention 撑起)→ 卡 20 block = 20/64 SM = 实测 3.4× gap。 - dummy 不含 wmma → 64。
- 调寄存器/SReg/代码体积全没用(因为根本不是它们)。
五、修复方案(保留大核模型)
把 megakernel 的启动 smem 从 160KB 降到 ≤64KB → occupancy 20→64 → ~3× 更多 SM → ~3× 带宽 → 预期 ~9.4 ms/token ≈ SGLang。
这纯粹是 shared-memory footprint 的调整,不碰 Mirage 大核的三条收益(任务融合 / 免除每算子 launch 开销 / 去中心化常驻调度)。之前担心的”把 config 字段按需从内存加载会丢掉大核收益”是错误方向 —— SReg 假设已被证伪,根本不需要动 config。
卡点与定量
megakernel 是单次启动、固定 smem = 所有 task 的最大需求。160KB 由 attention 的 flash stage-2 输出缓冲撑起:
multitoken_paged_attention_32_64.cuh:191
1 | S_O_BUFFER_SIZE = sizeof(float) * GLOBAL_ITERS_M * NUM_THREADS * 64 |
GLOBAL_ITERS_M ≈ 5 时就 ≈160KB。而 linear_kernel(93%)的 smem 小得多(GEMM tile 典型 32-48KB,应能塞进 64KB,需确认)。
attention 只占 3.8% 时间 → 缩它的 tile(或把 attention 的 smem 预算与 linear 解耦)换 93% linear 路径的 3× occupancy,非常划算。
落地路径(三选一,按风险/回报排序)
- 先端到端验证 3× 增益(低风险,推荐先做):临时把
MAX_DYNAMIC_SHARED_MEMORY_SIZE压到 64KB,缩 attention 的MAX_TOKENS/GLOBAL_ITERS_M让它塞进去(数值先不追求完全对),实测 occupancy 和每 token 延迟是否真 ~3×。涨了再正经修 attention 正确性。 - 正经优化 attention smem:重构 flash stage-2 缓冲布局(
S_O_BUFFER),把 attention 真正降到 ≤64KB 且保正确性。 - 先量每个 task 的实际 smem:确认 64KB 目标可行、到底要缩哪些 task,再动手。
六、预期收益
| 目标 megakernel smem | 预期 occupancy | 预期 ms/token | vs SGLang(8.99) |
|---|---|---|---|
| 160KB(现状) | 20 | 30.8 | 3.4× 慢 |
| 98KB | 40 | ~15.4 | 1.7× 慢 |
| ≤64KB | 64 | ~9.6 | ≈ 打平 |
| ≤50KB + 更多线程/block | 64 + 更高带宽/block | <9 | 超越 |
(延迟按带宽 ∝ 驻留 block 数线性外推;实际需端到端验证。)

进一步叠加:在 20→64 occupancy 之上,若 linear_kernel 改用更多线程/block(128→256),单 block 带宽再 ~1.76×(微基准),有望明确超越 SGLang。
七、工程笔记
- 构建现实:megakernel 是单一巨型编译单元,PPU 版 nvcc(release 13.0 fork)无
-split-compile,--threads只并行多架构 → 单文件编译天然单线程(~2-3min),256 核也用不上。诊断迭代建议用-O1(-O3的 LLVM pass 是慢的主因)。 - 诊断技法:device
printf在非法访问/abort 撕毁 kernel 时不 flush → 用 mapped host 内存 ring +__threadfence_system()读回。hggc-memcheck对 megakernel 规模会自身段错误、不可靠。核内 census(device flag + atomicMax)是量真实 occupancy 的可靠手段。 - SSH:box 连接不稳,务必
ServerAliveInterval=10。 - 探针文件(scratchpad):
bw_hi.cu(带宽)、coop_cap_probe.cu/smem_cap.cu(cooperative cap)、coop_regsweep.cu(VReg 消因)、occ_census.cu(代码体积消因)、sreg_confirm.cu(SReg 消因)、async_census.cu(发现 wmma)、async_census2.cu(隔离 wmma vs cp.async + smem 阈值曲线)。 - box 状态:
/work/mirage/include/.../persistent_kernel.cuh有 env-gated 诊断注入(mpk_coop_probe_dummy、g_probe_exitcensus、attr-diff、MPK_NO_LB/MPK_PTXAS_REG/MPK_SMEM_OVERRIDE/MPK_COOP_MIN_BLOCKS构建开关)——未提交,仅 box 本地,正经改动前需清理。
八、一句话给决策者
MPK 慢 3.4× 不是 kernel 写得差,是 PPU 的 tensor-core 与大 shared-memory 冲突把它锁死在 64 个 SM 里的 20 个。把 megakernel 的 smem 从 160KB 降到 ≤64KB,就能解锁全部 64 个 SM、拿回 ~3× 带宽、打平乃至超越 SGLang —— 且不动 Mirage 大核的任何核心机制。
