🌐 English version: Unlocking GPU-to-GPU P2P on the CMP 170HX

CMP 170HX 是 NVIDIA 拿 GA100 改的矿卡:同样的芯片、同样的 HBM2e,但显存被固件报成 8GB、PCIe 锁在 Gen1、BAR1 钉死在 64MB。社区已经有成熟的方案把显存和 Gen2 解出来,这篇讲的是最后一块 —— GPU-to-GPU P2P。

结论先放这里:能解,同 socket 内 14 个有向对全部通过,延迟从 15–37 μs 降到 2.0 μs,和 GPU 访问自己显存的 2.04–2.59 μs 是同一个量级。

但过程比我预想的长。它不是”打个补丁就好”,而是一条九个环节的串联链路,任何一环缺失,运行时直接拒绝,而且每一环失败的症状都不一样。中途我还把整台机器搞到只剩 ping,必须断电才能救回来。

硬件:Supermicro SYS-4028GR-TR,双路 Xeon E5 v4,6 张 CMP 170HX(10de:20c2),Ubuntu 24.04 + nvidia-open 610.43.02。


一、先搞清楚在解什么

GA100 的 PCIe P2P 默认走**写邮箱(mailbox)**协议。在这张卡上,这条路是这样的:

驱动把它配得完完整整 —— 连接类型选中了、两次 GSP RPC 都返回 NV_OK、mailbox 在 BAR1 里的区域也分配好了。然后传输零字节。没有报错,没有 Xid,什么都没有。

配置全部成功,传输 0 字节

配置全部成功、数据面为零 —— 这是最难查的一类故障,因为每个检查点都告诉你”没问题”。

绕开它的办法是 BAR1 P2P:把 peer 的 PTE 从 GMMU_APERTURE_PEER 改写成 SYS_COH,直接指向对端 BAR1 的总线地址。于是对端显存被当作系统内存访问,那个坏掉的 peer 光圈根本不参与。

这两条路互斥 —— 驱动只允许一种 PCIe P2P 协议同时存在。所以不是”两个都要”,是”必须放弃 mailbox”。


二、BAR1 P2P 要 64GB BAR1,而卡出厂锁在 64MB

BAR1 P2P 的前提是每张卡都有 64GB 的 BAR1(要把整个显存映射进去)。而 CMP 170HX 出厂时 BAR1 是 64MB。

好消息是卡本身支持。驱动里的 CYA 解锁跑完之后,lspci 会这样报:

1
2
BAR 1: current size: 64MB, supported: 64MB 128MB ... 32GB 64GB
↑ 实际分到的 ↑ 卡说自己能做到

坏消息是这两个数之间隔着一整套 PCIe 资源分配。

我在这里判断错了一次

我看到桥窗口只有 96MB、根端口 224MB,而需求是 96GB/128GB,脱口而出”差了三个数量级”。

这是错的。 96MB 是 BIOS 已经分配的窗口,不是可用的地址空间总量。实际可用空间是每 socket 512GB:

1
2
20000000000-27fffffffff : PCI Bus 0000:00     ← 512 GiB
28000000000-2ffffffffff : PCI Bus 0000:80 ← 512 GiB

差距没那么夸张,但方向变了:不是空间不够,是窗口被定死在了错误的尺寸上。


三、地址空间的账,和一个时序矛盾

解锁跑在枚举之后,已经太晚

先算空间。每张卡的 BAR1 是 64GB 且要求 64GB 对齐,加上 32MB 的 BAR3,一个 PLX 下游端口的窗口是 96GB,但必须从 64GB 边界开始 —— 实际占掉 128GB 地址空间。

1
2
3
每个下游端口   96 GB 窗口,64 GB 对齐
每个根端口 192 GB(挂 2 张卡)
一个 4 卡 socket 512 GB —— 而且这还没算对齐填充

我这台 socket 1 挂了 4 张卡,需求正好顶满 512GB,加上窗口底部已被别的桥占掉一小块,一定放不下。BIOS 里把 MMIO High Granularity Size 从默认改到 1024G,每 socket 变成 1TB,问题解决。

顺带纠正一个常见误解:要改的不是 Above 4G Decoding。那一项在我这台机器上本来就是开的 —— 证据是 GPU 的 BAR 落在 0x27ff8000000,约 2.75 TB 的位置,没开根本到不了那儿。

真正棘手的是时序

空间够了,BAR1 还是 64MB。因为:

卡出厂时 BAR1 被固件锁在 64MB,而解锁动作发生在驱动 probe 的时候 —— 那时 PCIe 枚举早就结束了,整条桥链的窗口已经按 64MB 定死,pci_resize_resource() 无处安放,只能退回原尺寸。

这就是 kernel-patches/ 里两个内核补丁的存在理由:

  • 0002 把 ReBAR 编程提前到 pci_fixup_early,跑在 pci_read_bases() 之前,让枚举一开始就看到 64GB 的 BAR
  • 0001 修 pbus_size_mem() 的一行 —— size += max(r_size, align) 改成 ALIGN(r_size, align)。原式没有为”子设备尺寸不是对齐的整数倍时留下的空隙”预留空间,父窗口会算小,导致部分 GPU 静默拿不到 BAR

这两个补丁上游是针对 7.0 内核的。我这台跑 6.8,把它们重定基到 6.8 时用的方法是:在真实的 6.8 源码上做等价修改,再 diff -u 反向导出,而不是手工调行号。这样生成的补丁必然能套上,因为它就是从目标树里长出来的。


四、【踩坑】一次 reboot 让整机失联

装完驱动,我敲了 sudo reboot。

机器起来了,nvidia-smi 卡住不返回。然后 ssh 连不上了。再然后,机器只剩 ping 有响应。

一次热重启,整机失联

dmesg 里是这样的:

1
2
3
4
NVRM: GPU0 kflcnWaitForHalt_TU102: Timeout waiting for Falcon to halt
NVRM: GPU0 s_executeBooterUcode_TU102: failed to execute Booter: status 0x65
NVRM: GPU0 kgspInitRm_IMPL: Max GSP-RM boot attempts exceeded: 4/4
NVRM: GPU 0000:04:00.0: RmInitAdapter failed! (0x62:0x65:2119)

我第一次给的根因是错的

当时我还没拿到 dmesg,就断言:「我把 P2P 设成默认开、无条件写了 RMForceStaticBar1=1,而这台机器 BAR1 只有 64MiB,强制把 64GB 显存静态映射进 64MiB 的 BAR1,驱动初始化就卡死了。」

听起来很合理。但日志到手后完全对不上 —— 挂的是 GSP/Booter 引导,属于 SEC2 解锁路径,跑在任何 BAR1/P2P 代码之前。跟 RMForceStaticBar1 一点关系没有。

「我刚改了 X,所以是 X 坏的」是最容易犯的归因错误,尤其当 X 确实有可疑之处的时候。可疑不等于有罪。

真正的原因

这套解锁把 Booter 当作特权寄存器的写入原语在用 —— CMP 上很多寄存器 host(Level 0)根本写不进去,代码的做法是造一个 SEC2 payload、然后调 kgspExecuteBooterLoad 让 Booter 去执行它,一个寄存器一次,反复调用几十上百次。

而 WPR2 和 PLM 状态存在 GPU 芯片内部,热重启不会清除。带着上一次会话残留的 WPR2 重启,Booter 跑不起来,这个写入原语就死了 —— 于是每一次调用都 4 秒超时。

更糟的是级联:GSP 引导 4/4 全败 → RmInitAdapter failed → nvidia-smi 和 nv_open_q/nv_queue 内核线程卡在 D 态不可杀 → 后续每个碰驱动的进程都堆上去 → 进程数涨到 fork() 失败 → update-initramfs 报 Cannot fork → sshd 退出。

GSP 引导失败后的级联:D 态线程 → fork 耗尽 → sshd 退出

一个驱动初始化失败,不该有能力把整台机器搞到连 ssh 都进不去。 这是实打实的健壮性缺陷。有一部分责任在解锁补丁本身:上游把 NVIDIA 原本的硬拒绝

1
2
NV_PRINTF("unexpected WPR2 already up, cannot proceed with booting GSP");
return NV_ERR_INVALID_STATE; // ← 干净退出

降级成了一条 warning 然后继续往下跑。本该几秒内干净失败、ssh 照常可用,变成了硬着头皮跑完 4 轮超时把驱动拖死。

教训

这套解锁必须冷启动,reboot 不算。 必须真正断电:shutdown -h 后重新上电,或者 IPMI 的 chassis power cycle。chassis power reset 也不行 —— 它不掉 12V 主轨。

而当时那台机器没有可用的带外管理,最后是人到机房断的电。

所以正确的顺序是:先把远程电源搞定,再做有风险的事。 后来我把 BMC 配通了(可以从系统内通过 KCS 配置,不需要先能连上它),之后所有冷启动都是一条命令的事。


五、内核补丁上了,6 张卡只活了 4 张

自编译内核起来,pci_fixup_early 的 quirk 对 6 张卡全部生效,日志证据确凿:

1
2
pci 0000:04:00.0: CMP 170HX: BAR1 REBAR programmed to 64GB before enumeration
pci 0000:04:00.0: BAR 1 [mem 0x2f000000000-0x2ffffffffff 64bit pref]

枚举时已经是 64GB 了。但结果是 4 张卡拿到 64GB BAR1,socket 0 上的 2 张什么都没拿到 —— 连原来的 64MB 都没了。

1
2
pci 0000:04:00.0: BAR 1 [mem size 0x1000000000 64bit pref]: can't assign; no space
pci 0000:00:02.0: bridge window [mem 0x2fff0000000-0x2fffdffffff 64bit pref]

那个根端口窗口还是 BIOS 给的 224MB,内核压根没尝试重新分配。而 socket 0 有整整 1TB 空闲、只需要 192GB。

原因是 Linux 的 realloc 启发式:它只在”碰巧发现某个设备的 BAR 分配不下”时才启用。触发它的那个 SR-IOV 设备正好在 socket 1 上,于是 socket 1 被救了,socket 0 被跳过。

解法是一个内核参数:

1
GRUB_CMDLINE_LINUX_DEFAULT="... pci=realloc"

强制对所有根总线启用重分配,不靠启发式判断。加上之后:

6 张卡 BAR1 全部 64G,以及根端口 / PLX 下游口的桥窗口

6/6,全部 64GB。


六、全齐了,P2P 仍然被拒 —— 用「零输出」定案

BAR1 64GB ×6、内核补丁在、模块参数 RMForceStaticBar1=1;RMPcieP2PType=1 已生效、四个驱动补丁里的三个都装了。

跑测试,30 个有向对全部 NO PEER MAPPING。

驱动侧的门禁函数 kbusIsPcieBar1P2PMappingSupported_GH100 有四道关卡,我不知道是哪道拦的。这次没有继续猜,而是移植了一个只加打印、不改行为的调试补丁 —— 在那个函数入口放一条无条件的 NV_PRINTF,把四个门禁的输入全部 dump 出来。

重编、冷启动、跑测试。然后:

一条日志都没有。

这就是答案。那条打印是无条件的,一进函数就打。既然零输出,说明这个函数根本没被调用 —— 拦截发生在更上游,四道门禁一道都没走到。

顺着往上找:GSP 对 CMP 卡上报 P2P 不支持,_gpuInitPcieP2PCapability 把这个结论存下来,p2pCapsGetStatus 看到能力位是”不支持”就直接短路返回,永远走不到 BAR1 那条分支。

第四个补丁 p2p-force-caps 干的就是强制把上报的能力位改成 OK。而上游文档把它描述成”可选、只影响驱动声称什么”。

这个说法在这条代码路径上是错的 —— 它是硬前置。 没有它,前面三个补丁一个都轮不到执行。

加上之后再跑:

1
2
3
4
CMPUNLOCK: PCIe P2P caps forced to OK
CMPUNLOCK_BAR1P2P: gpu0->gpu1 pcieP2PType=1 loopback=0 staticBar1_0=1
staticBar1_1=1 peerMask0=0x0 peerMask1=0x0
CMPUNLOCK_BAR1P2P: ACCEPTED - BAR1 P2P supported

通了。

这里有个反向的坑要留意:p2p-mailbox-skip 补丁的日志行永远不会出现,即使补丁装了 —— 因为 release 构建把那个编译单元的 NV_PRINTF 格式串剥掉了。日志缺失 ≠ 代码没进去,要用 nm / objdump 查目标文件,不能靠 grep dmesg。


七、九个必需组件

九个环节,缺一即拒

缺任何一个,运行时都会拒绝,而且症状各不相同:

# 组件 层次
1 BIOS MMIO High Granularity Size = 1024G 固件
2 内核补丁:桥窗口尺寸计算修正 内核
3 内核补丁:枚举前编程 ReBAR 内核
4 pci=realloc 内核命令行
5 p2p-bar1:BAR1 P2P HAL + peer PTE 改写 驱动
6 p2p-mailbox-skip:跳过 mailbox peer 预注册 驱动
7 p2p-readcap-override:恢复被误判的读能力 驱动
8 p2p-force-caps:强制上报能力(非可选) 驱动
9 RMForceStaticBar1=1;RMPcieP2PType=1 模块参数

第 6 条值得单说:它主动禁掉 mailbox 的 peer 预注册。因为 _kbusInitP2P_GM107 会在初始化时给每对 GPU 无条件注册一个 mailbox peer id,而 BAR1 P2P 的第四道门禁明确拒绝与 mailbox peer 共存。不拦掉的话,peerNumberMask 一直非 0,BAR1 P2P 永远进不去。

所以”mailbox 没解开”不是遗留问题,是这套方案的前提条件。

模块参数还有个坑:必须写在同一行 NVreg_RegistryDwords=。modprobe 不会合并跨文件的同名参数 —— /etc/modprobe.d 下任何地方出现第二条 options nvidia NVreg_RegistryDwords=...,会把整组静默替换掉。


八、收益

塌到本地访存量级

用 NVIDIA 官方的 p2pBandwidthLatencyTest 测,延迟矩阵是最有说服力的一组数:

1
2
3
4
5
P2P=Disabled Latency (us)          P2P=Enabled Latency (us)
GPU 0 1 2 GPU 0 1 2
0 2.06 37.12 20.60 0 2.06 1.84 21.36
1 15.05 2.26 16.71 1 1.85 2.10 14.76
2 17.76 17.49 2.58 2 17.26 16.86 2.60

同 socket 的 pair 从 15–37 μs 降到 ~2.0 μs。而对角线(GPU 访问自己显存)是 2.04–2.59 μs —— P2P 延迟已经和本地访存同量级。只有真正的直连路径能做到这个,中转协议做不到。

带宽方面还有一个意外收获。测试工具提示 6 个下游端口都开着 ACS 重定向(ReqRedir+ CmpltRedir+),这会强制同交换机内的 peer 流量上送到根复合体再绕回来。症状很明显 —— 同交换机的 pair 反而比跨交换机的慢:

双向带宽 关 ACS 前 关 ACS 后
同交换机(0↔1、2↔3、4↔5) 9.89 GB/s 12.98 GB/s
跨交换机(同 socket) 10.99 10.99
跨 socket 8.53 8.53

只有同交换机那三对变化,其余纹丝不动 —— 这个分布正是”重定向解除后流量留在交换机内部”该有的样子。+31%。

固化到内核命令行时有个 GRUB 的坑:pci=disable_acs_redir= 用分号分隔,而 ; 在 GRUB 脚本里是语句分隔符,写进去会在第一个分号处截断。要转义:

1
pci=disable_acs_redir=0000:03:08.0\;0000:03:10.0\;...

代价是同交换机下的 GPU 会合并进同一个 IOMMU group。这台机器 iommu=pt、不跑虚拟机,影响为零;但如果要把单张卡直通给 VM,就不能这么做。


九、天花板

30 个有向对里通过 14 个。失败的 16 个全部是跨 CPU socket 的。

这不是配置问题,是拓扑决定的。GPU 0/1 在 socket 0,GPU 2–5 在 socket 1(nvidia-smi topo -m 显示 SYS),peer 流量要跨 QPI,驱动直接拒绝。

换个说法:物理上可能的 14 对,100% 通过,一对没漏。

延迟矩阵左右对照,以及别名校验的 14/30 结果

值得一提的是 advertised 标志是准确的 —— 跨 socket 的 pair 报 0,同 socket 报 1。即使开了强制上报能力,pair 级别的检查依然正确拒绝了跨 socket,没有出现”谎报可用然后传输超时”的情况。

验证的时候有件事必须强调:不要相信 cudaDeviceCanAccessPeer()、nvidia-smi topo -p2p 或 cudaMemcpyPeer()。前两个报的是驱动”声称”什么,而这个构建恰恰强制它声称 OK;第三个在 P2P 不可用时会静默地经主机内存中转,所以它无论如何都会成功。

我写的测试程序是从 kernel 里直接解引用对端指针 —— 只有真实的 peer 映射存在才可能成功;并且两边缓冲区预填互不相同的 per-GPU per-slot pattern,这样”映射悄悄别名回本地内存”这种假通过也会被抓出来。


十、可复现的清单

完整流程和踩坑都整理进了仓库的 COOKBOOK.md。这里给最短路径:

顺序不能反 —— 先建立恢复能力,再做有风险的事:

  1. 配好 BMC(零风险、纯收益)。可以从系统内经 KCS 配置,不需要先能连上它:

    1
    2
    3
    4
    sudo ipmitool lan set 1 ipsrc static
    sudo ipmitool lan set 1 ipaddr <ip>
    sudo ipmitool user set password 2 '<pw>'
    sudo ipmitool mc reset cold # 只重启 BMC,主机照常运行

    之后 chassis power cycle 就是真正的冷启动,sol activate 还能看串口。

  2. BIOS:Advanced → PCIe/PCI/PnP Configuration → MMIO High Granularity Size = 1024G。别直接选最大值 —— 需求是确定的,1024G 已是 2 倍余量,而 MMIO High Base 设太高是会开不了机的那一项。

  3. 编内核,打上 kernel-patches/ 的两个补丁。用 grub-reboot 一次性启动,起不来下次自动回退:

    1
    sudo grub-reboot "Advanced options for Ubuntu>Ubuntu, with Linux <version>-cmp"

    注意条目名要和 grub.cfg 完全一致,写错会静默回落到默认项。而且 grub-reboot 只生效一次,每次尝试前都要重设。

  4. pci=realloc 加到内核命令行。

  5. 装驱动:sudo ./install.sh --p2p(会先检查 BAR1 前提,不满足直接拒绝)。

  6. 冷启动,然后验证:

    1
    sudo ./tools/p2p-check.sh

尾声

回头看,这件事真正花时间的不是写代码,是两次判断失误:

一次是没拿到日志就断言根因(错怪了 RMForceStaticBar1),另一次是把上游文档标注的”可选”当真(p2p-force-caps 实际是硬前置)。

两次都是同一个模式:我在能验证的时候选择了推断。

第二次学乖了 —— P2P 被拒、四道门禁不知道哪道失败时,我没有继续列举可能性,而是加了一条打印。三分钟定位,取代了此前几轮基于猜测的尝试。

当你发现自己在说”可能是 A 也可能是 B”时,先问一句:有没有一个观测能直接区分? 加一条日志、跑一个只读命令,通常比多试一轮便宜得多。

而那条最关键的证据,恰恰是什么都没有 —— 一条日志都没打出来。