把 CMP 170HX 的 GPU-to-GPU P2P 解出来 —— 九个环节,和中途搞死的一台机器
🌐 English version: Unlocking GPU-to-GPU P2P on the CMP 170HX
CMP 170HX 是 NVIDIA 拿 GA100 改的矿卡:同样的芯片、同样的 HBM2e,但显存被固件报成 8GB、PCIe 锁在 Gen1、BAR1 钉死在 64MB。社区已经有成熟的方案把显存和 Gen2 解出来,这篇讲的是最后一块 —— GPU-to-GPU P2P。
结论先放这里:能解,同 socket 内 14 个有向对全部通过,延迟从 15–37 μs 降到 2.0 μs,和 GPU 访问自己显存的 2.04–2.59 μs 是同一个量级。
但过程比我预想的长。它不是”打个补丁就好”,而是一条九个环节的串联链路,任何一环缺失,运行时直接拒绝,而且每一环失败的症状都不一样。中途我还把整台机器搞到只剩 ping,必须断电才能救回来。
硬件:Supermicro SYS-4028GR-TR,双路 Xeon E5 v4,6 张 CMP 170HX(10de:20c2),Ubuntu 24.04 + nvidia-open 610.43.02。
一、先搞清楚在解什么
GA100 的 PCIe P2P 默认走**写邮箱(mailbox)**协议。在这张卡上,这条路是这样的:
驱动把它配得完完整整 —— 连接类型选中了、两次 GSP RPC 都返回 NV_OK、mailbox 在 BAR1 里的区域也分配好了。然后传输零字节。没有报错,没有 Xid,什么都没有。

配置全部成功、数据面为零 —— 这是最难查的一类故障,因为每个检查点都告诉你”没问题”。
绕开它的办法是 BAR1 P2P:把 peer 的 PTE 从 GMMU_APERTURE_PEER 改写成 SYS_COH,直接指向对端 BAR1 的总线地址。于是对端显存被当作系统内存访问,那个坏掉的 peer 光圈根本不参与。
这两条路互斥 —— 驱动只允许一种 PCIe P2P 协议同时存在。所以不是”两个都要”,是”必须放弃 mailbox”。
二、BAR1 P2P 要 64GB BAR1,而卡出厂锁在 64MB
BAR1 P2P 的前提是每张卡都有 64GB 的 BAR1(要把整个显存映射进去)。而 CMP 170HX 出厂时 BAR1 是 64MB。
好消息是卡本身支持。驱动里的 CYA 解锁跑完之后,lspci 会这样报:
1 | BAR 1: current size: 64MB, supported: 64MB 128MB ... 32GB 64GB |
坏消息是这两个数之间隔着一整套 PCIe 资源分配。
我在这里判断错了一次
我看到桥窗口只有 96MB、根端口 224MB,而需求是 96GB/128GB,脱口而出”差了三个数量级”。
这是错的。 96MB 是 BIOS 已经分配的窗口,不是可用的地址空间总量。实际可用空间是每 socket 512GB:
1 | 20000000000-27fffffffff : PCI Bus 0000:00 ← 512 GiB |
差距没那么夸张,但方向变了:不是空间不够,是窗口被定死在了错误的尺寸上。
三、地址空间的账,和一个时序矛盾

先算空间。每张卡的 BAR1 是 64GB 且要求 64GB 对齐,加上 32MB 的 BAR3,一个 PLX 下游端口的窗口是 96GB,但必须从 64GB 边界开始 —— 实际占掉 128GB 地址空间。
1 | 每个下游端口 96 GB 窗口,64 GB 对齐 |
我这台 socket 1 挂了 4 张卡,需求正好顶满 512GB,加上窗口底部已被别的桥占掉一小块,一定放不下。BIOS 里把 MMIO High Granularity Size 从默认改到 1024G,每 socket 变成 1TB,问题解决。
顺带纠正一个常见误解:要改的不是 Above 4G Decoding。那一项在我这台机器上本来就是开的 —— 证据是 GPU 的 BAR 落在 0x27ff8000000,约 2.75 TB 的位置,没开根本到不了那儿。
真正棘手的是时序
空间够了,BAR1 还是 64MB。因为:
卡出厂时 BAR1 被固件锁在 64MB,而解锁动作发生在驱动 probe 的时候 —— 那时 PCIe 枚举早就结束了,整条桥链的窗口已经按 64MB 定死,pci_resize_resource() 无处安放,只能退回原尺寸。
这就是 kernel-patches/ 里两个内核补丁的存在理由:
- 0002 把 ReBAR 编程提前到
pci_fixup_early,跑在pci_read_bases()之前,让枚举一开始就看到 64GB 的 BAR - 0001 修
pbus_size_mem()的一行 ——size += max(r_size, align)改成ALIGN(r_size, align)。原式没有为”子设备尺寸不是对齐的整数倍时留下的空隙”预留空间,父窗口会算小,导致部分 GPU 静默拿不到 BAR
这两个补丁上游是针对 7.0 内核的。我这台跑 6.8,把它们重定基到 6.8 时用的方法是:在真实的 6.8 源码上做等价修改,再 diff -u 反向导出,而不是手工调行号。这样生成的补丁必然能套上,因为它就是从目标树里长出来的。
四、【踩坑】一次 reboot 让整机失联
装完驱动,我敲了 sudo reboot。
机器起来了,nvidia-smi 卡住不返回。然后 ssh 连不上了。再然后,机器只剩 ping 有响应。

dmesg 里是这样的:
1 | NVRM: GPU0 kflcnWaitForHalt_TU102: Timeout waiting for Falcon to halt |
我第一次给的根因是错的
当时我还没拿到 dmesg,就断言:「我把 P2P 设成默认开、无条件写了 RMForceStaticBar1=1,而这台机器 BAR1 只有 64MiB,强制把 64GB 显存静态映射进 64MiB 的 BAR1,驱动初始化就卡死了。」
听起来很合理。但日志到手后完全对不上 —— 挂的是 GSP/Booter 引导,属于 SEC2 解锁路径,跑在任何 BAR1/P2P 代码之前。跟 RMForceStaticBar1 一点关系没有。
「我刚改了 X,所以是 X 坏的」是最容易犯的归因错误,尤其当 X 确实有可疑之处的时候。可疑不等于有罪。
真正的原因
这套解锁把 Booter 当作特权寄存器的写入原语在用 —— CMP 上很多寄存器 host(Level 0)根本写不进去,代码的做法是造一个 SEC2 payload、然后调 kgspExecuteBooterLoad 让 Booter 去执行它,一个寄存器一次,反复调用几十上百次。
而 WPR2 和 PLM 状态存在 GPU 芯片内部,热重启不会清除。带着上一次会话残留的 WPR2 重启,Booter 跑不起来,这个写入原语就死了 —— 于是每一次调用都 4 秒超时。
更糟的是级联:GSP 引导 4/4 全败 → RmInitAdapter failed → nvidia-smi 和 nv_open_q/nv_queue 内核线程卡在 D 态不可杀 → 后续每个碰驱动的进程都堆上去 → 进程数涨到 fork() 失败 → update-initramfs 报 Cannot fork → sshd 退出。

一个驱动初始化失败,不该有能力把整台机器搞到连 ssh 都进不去。 这是实打实的健壮性缺陷。有一部分责任在解锁补丁本身:上游把 NVIDIA 原本的硬拒绝
1 | NV_PRINTF("unexpected WPR2 already up, cannot proceed with booting GSP"); |
降级成了一条 warning 然后继续往下跑。本该几秒内干净失败、ssh 照常可用,变成了硬着头皮跑完 4 轮超时把驱动拖死。
教训
这套解锁必须冷启动,reboot 不算。 必须真正断电:shutdown -h 后重新上电,或者 IPMI 的 chassis power cycle。chassis power reset 也不行 —— 它不掉 12V 主轨。
而当时那台机器没有可用的带外管理,最后是人到机房断的电。
所以正确的顺序是:先把远程电源搞定,再做有风险的事。 后来我把 BMC 配通了(可以从系统内通过 KCS 配置,不需要先能连上它),之后所有冷启动都是一条命令的事。
五、内核补丁上了,6 张卡只活了 4 张
自编译内核起来,pci_fixup_early 的 quirk 对 6 张卡全部生效,日志证据确凿:
1 | pci 0000:04:00.0: CMP 170HX: BAR1 REBAR programmed to 64GB before enumeration |
枚举时已经是 64GB 了。但结果是 4 张卡拿到 64GB BAR1,socket 0 上的 2 张什么都没拿到 —— 连原来的 64MB 都没了。
1 | pci 0000:04:00.0: BAR 1 [mem size 0x1000000000 64bit pref]: can't assign; no space |
那个根端口窗口还是 BIOS 给的 224MB,内核压根没尝试重新分配。而 socket 0 有整整 1TB 空闲、只需要 192GB。
原因是 Linux 的 realloc 启发式:它只在”碰巧发现某个设备的 BAR 分配不下”时才启用。触发它的那个 SR-IOV 设备正好在 socket 1 上,于是 socket 1 被救了,socket 0 被跳过。
解法是一个内核参数:
1 | GRUB_CMDLINE_LINUX_DEFAULT="... pci=realloc" |
强制对所有根总线启用重分配,不靠启发式判断。加上之后:

6/6,全部 64GB。
六、全齐了,P2P 仍然被拒 —— 用「零输出」定案
BAR1 64GB ×6、内核补丁在、模块参数 RMForceStaticBar1=1;RMPcieP2PType=1 已生效、四个驱动补丁里的三个都装了。
跑测试,30 个有向对全部 NO PEER MAPPING。
驱动侧的门禁函数 kbusIsPcieBar1P2PMappingSupported_GH100 有四道关卡,我不知道是哪道拦的。这次没有继续猜,而是移植了一个只加打印、不改行为的调试补丁 —— 在那个函数入口放一条无条件的 NV_PRINTF,把四个门禁的输入全部 dump 出来。
重编、冷启动、跑测试。然后:
一条日志都没有。
这就是答案。那条打印是无条件的,一进函数就打。既然零输出,说明这个函数根本没被调用 —— 拦截发生在更上游,四道门禁一道都没走到。
顺着往上找:GSP 对 CMP 卡上报 P2P 不支持,_gpuInitPcieP2PCapability 把这个结论存下来,p2pCapsGetStatus 看到能力位是”不支持”就直接短路返回,永远走不到 BAR1 那条分支。
第四个补丁 p2p-force-caps 干的就是强制把上报的能力位改成 OK。而上游文档把它描述成”可选、只影响驱动声称什么”。
这个说法在这条代码路径上是错的 —— 它是硬前置。 没有它,前面三个补丁一个都轮不到执行。
加上之后再跑:
1 | CMPUNLOCK: PCIe P2P caps forced to OK |
通了。
这里有个反向的坑要留意:
p2p-mailbox-skip补丁的日志行永远不会出现,即使补丁装了 —— 因为 release 构建把那个编译单元的NV_PRINTF格式串剥掉了。日志缺失 ≠ 代码没进去,要用nm/objdump查目标文件,不能靠 grep dmesg。
七、九个必需组件

缺任何一个,运行时都会拒绝,而且症状各不相同:
| # | 组件 | 层次 |
|---|---|---|
| 1 | BIOS MMIO High Granularity Size = 1024G |
固件 |
| 2 | 内核补丁:桥窗口尺寸计算修正 | 内核 |
| 3 | 内核补丁:枚举前编程 ReBAR | 内核 |
| 4 | pci=realloc |
内核命令行 |
| 5 | p2p-bar1:BAR1 P2P HAL + peer PTE 改写 |
驱动 |
| 6 | p2p-mailbox-skip:跳过 mailbox peer 预注册 |
驱动 |
| 7 | p2p-readcap-override:恢复被误判的读能力 |
驱动 |
| 8 | p2p-force-caps:强制上报能力(非可选) |
驱动 |
| 9 | RMForceStaticBar1=1;RMPcieP2PType=1 |
模块参数 |
第 6 条值得单说:它主动禁掉 mailbox 的 peer 预注册。因为 _kbusInitP2P_GM107 会在初始化时给每对 GPU 无条件注册一个 mailbox peer id,而 BAR1 P2P 的第四道门禁明确拒绝与 mailbox peer 共存。不拦掉的话,peerNumberMask 一直非 0,BAR1 P2P 永远进不去。
所以”mailbox 没解开”不是遗留问题,是这套方案的前提条件。
模块参数还有个坑:必须写在同一行 NVreg_RegistryDwords=。modprobe 不会合并跨文件的同名参数 —— /etc/modprobe.d 下任何地方出现第二条 options nvidia NVreg_RegistryDwords=...,会把整组静默替换掉。
八、收益

用 NVIDIA 官方的 p2pBandwidthLatencyTest 测,延迟矩阵是最有说服力的一组数:
1 | P2P=Disabled Latency (us) P2P=Enabled Latency (us) |
同 socket 的 pair 从 15–37 μs 降到 ~2.0 μs。而对角线(GPU 访问自己显存)是 2.04–2.59 μs —— P2P 延迟已经和本地访存同量级。只有真正的直连路径能做到这个,中转协议做不到。
带宽方面还有一个意外收获。测试工具提示 6 个下游端口都开着 ACS 重定向(ReqRedir+ CmpltRedir+),这会强制同交换机内的 peer 流量上送到根复合体再绕回来。症状很明显 —— 同交换机的 pair 反而比跨交换机的慢:
| 双向带宽 | 关 ACS 前 | 关 ACS 后 |
|---|---|---|
| 同交换机(0↔1、2↔3、4↔5) | 9.89 GB/s | 12.98 GB/s |
| 跨交换机(同 socket) | 10.99 | 10.99 |
| 跨 socket | 8.53 | 8.53 |
只有同交换机那三对变化,其余纹丝不动 —— 这个分布正是”重定向解除后流量留在交换机内部”该有的样子。+31%。
固化到内核命令行时有个 GRUB 的坑:pci=disable_acs_redir= 用分号分隔,而 ; 在 GRUB 脚本里是语句分隔符,写进去会在第一个分号处截断。要转义:
1 | pci=disable_acs_redir=0000:03:08.0\;0000:03:10.0\;... |
代价是同交换机下的 GPU 会合并进同一个 IOMMU group。这台机器 iommu=pt、不跑虚拟机,影响为零;但如果要把单张卡直通给 VM,就不能这么做。
九、天花板
30 个有向对里通过 14 个。失败的 16 个全部是跨 CPU socket 的。
这不是配置问题,是拓扑决定的。GPU 0/1 在 socket 0,GPU 2–5 在 socket 1(nvidia-smi topo -m 显示 SYS),peer 流量要跨 QPI,驱动直接拒绝。
换个说法:物理上可能的 14 对,100% 通过,一对没漏。

值得一提的是 advertised 标志是准确的 —— 跨 socket 的 pair 报 0,同 socket 报 1。即使开了强制上报能力,pair 级别的检查依然正确拒绝了跨 socket,没有出现”谎报可用然后传输超时”的情况。
验证的时候有件事必须强调:不要相信 cudaDeviceCanAccessPeer()、nvidia-smi topo -p2p 或 cudaMemcpyPeer()。前两个报的是驱动”声称”什么,而这个构建恰恰强制它声称 OK;第三个在 P2P 不可用时会静默地经主机内存中转,所以它无论如何都会成功。
我写的测试程序是从 kernel 里直接解引用对端指针 —— 只有真实的 peer 映射存在才可能成功;并且两边缓冲区预填互不相同的 per-GPU per-slot pattern,这样”映射悄悄别名回本地内存”这种假通过也会被抓出来。
十、可复现的清单
完整流程和踩坑都整理进了仓库的 COOKBOOK.md。这里给最短路径:
顺序不能反 —— 先建立恢复能力,再做有风险的事:
配好 BMC(零风险、纯收益)。可以从系统内经 KCS 配置,不需要先能连上它:
1
2
3
4sudo ipmitool lan set 1 ipsrc static
sudo ipmitool lan set 1 ipaddr <ip>
sudo ipmitool user set password 2 '<pw>'
sudo ipmitool mc reset cold # 只重启 BMC,主机照常运行之后
chassis power cycle就是真正的冷启动,sol activate还能看串口。BIOS:
Advanced → PCIe/PCI/PnP Configuration → MMIO High Granularity Size = 1024G。别直接选最大值 —— 需求是确定的,1024G 已是 2 倍余量,而MMIO High Base设太高是会开不了机的那一项。编内核,打上
kernel-patches/的两个补丁。用grub-reboot一次性启动,起不来下次自动回退:1
sudo grub-reboot "Advanced options for Ubuntu>Ubuntu, with Linux <version>-cmp"
注意条目名要和
grub.cfg完全一致,写错会静默回落到默认项。而且grub-reboot只生效一次,每次尝试前都要重设。pci=realloc加到内核命令行。装驱动:
sudo ./install.sh --p2p(会先检查 BAR1 前提,不满足直接拒绝)。冷启动,然后验证:
1
sudo ./tools/p2p-check.sh
尾声
回头看,这件事真正花时间的不是写代码,是两次判断失误:
一次是没拿到日志就断言根因(错怪了 RMForceStaticBar1),另一次是把上游文档标注的”可选”当真(p2p-force-caps 实际是硬前置)。
两次都是同一个模式:我在能验证的时候选择了推断。
第二次学乖了 —— P2P 被拒、四道门禁不知道哪道失败时,我没有继续列举可能性,而是加了一条打印。三分钟定位,取代了此前几轮基于猜测的尝试。
当你发现自己在说”可能是 A 也可能是 B”时,先问一句:有没有一个观测能直接区分? 加一条日志、跑一个只读命令,通常比多试一轮便宜得多。
而那条最关键的证据,恰恰是什么都没有 —— 一条日志都没打出来。