把 CMP 170HX 的 GPU-to-GPU P2P 解出来 —— 九个环节,和中途搞死的一台机器
🌐 English version: Unlocking GPU-to-GPU P2P on the CMP 170HX CMP 170HX 是 NVIDIA 拿 GA100 改的矿卡:同样的芯片、同样的 HBM2e,但显存被固件报成 8GB、PCIe 锁在 Gen1、BAR1 钉死在 64MB。社区已经有成熟的方案把显存和 Gen2 解出来,这篇讲的是最后一块 —— GPU-to-GPU P2P。 结论先放这里:能解,同 socket 内 14 个有向对全部通过,延迟从 15–37 μs 降到 2.0 μs,和 GPU 访问自己显存的 2.04–2.59 μs 是同一个量级。 但过程比我预想的长。它不是”打个补丁就好”,而是一条九个环节的串联链路,任何一环缺失,运行时直接拒绝,而且每一环失败的症状都不一样。中途我还把整台机器搞到只剩 ping,必须断电才能救回来。 硬件:Supermicro SYS-4028GR-TR,双路 Xeon E5 v4,6 张 CMP 170HX(10de:20c2),Ubuntu 24.04 + nvidia-open 610.43.02。 ...
上百台 ComfyUI 机器前面放一个网关,两天里踩过的坑
🌐 English version: Putting a Gateway in Front of a Hundred ComfyUI Boxes: Two Days of Lessons 最近给一批自托管的 ComfyUI 机器做视频生成网关。上线时二十几台,两天后一百多台,中间被真实流量结结实实教育了几次。记一下过程,有些坑挺典型的。 一开始的做法,以及它为什么不行最初的链路很直白:请求进来,选一台机器,POST /prompt,拿到 prompt_id 落库,然后轮询器每 15 秒去查结果。ComfyUI 自带队列,多来几个任务它自己排。 跑了一阵发现几个别扭的地方: 队列在机器上,网关看不见。机器一挂,排在它上面的任务一起没了,网关这边还以为在跑。 提交接口的响应时间取决于上游。上游前面有一层提示词改写,一次几秒,客户端提交要等。 两个请求同时进来,都探测到同一台机器”空闲”,一起压上去。 于是把队列搬到网关自己这边。提交时只做校验、扣费、落库一个 QUEUED 状态,立刻返回 task_id;后台一个派发器周期性把 QUEUED 的任务派给空闲机器;轮询器不动...
MPK 单卡性能根因分析 —— 为什么在 PPU-ZW810E 上比 SGLang 慢 3.4×
🌐 English version: MPK Single-Card Performance Root-Cause: Why It’s 3.4× Slower Than SGLang on the PPU-ZW810E 前情提要:把 NVIDIA 的 CUDA 巨核 (MPK) 移植到平头哥 PPU-ZW810E。上一篇让 MPK 在国产卡上跑通、算对、反超 native;这一篇要回答的是:单卡为什么还比 SGLang 慢 3.4×,以及怎么补回来。 目标:优化 MPK(Mirage Persistent Kernel)单卡推理,超越 SGLang 单卡基线。硬件:阿里平头哥 真武 ZW810E(8×/节点,96GB HBM2e,64 SM,CUDA 兼容 SIMT,__CUDA_ARCH__=800 ampere 路径)。模型:Qwen3-8B,bf16,decode(单 token 生成)。日期:2026-07-01。 一、结论(TL;DR)MPK 单卡 decode = 30.8 ms/token,SGLang 单卡 =...
Porting NVIDIA's CUDA Megakernel (MPK) to China's T-Head PPU-ZW810E
🌐 English version: Porting NVIDIA’s CUDA Megakernel (MPK) to China’s T-Head PPU-ZW810E 一个”理论上不可能”的实验:把专为 NVIDIA Hopper/Blackwell 手写的 Mirage Persistent Kernel(MPK)megakernel,跑到阿里平头哥的真武 810E(PPU-ZW810E,非 NVIDIA 架构)上——结果不仅跑通,单卡 Qwen3-8B 推理还反超了 PPU 自家优化栈。 这篇记录了完整的踩坑、破案和调优过程。所有数据来自真机。 TL;DR ✅ MPK 从源码在 PPU 上构建成功(CUDA 兼容,__CUDA_ARCH__=800)。 ✅ Qwen3-8B megakernel 跑通且输出正确。 ✅ 修一个死锁后,16 worker 单核路径 = 35.5 ms/token,反超 native 的 39.4 ms(1.11×)。 🔬 用 PPU 全套调试工具(ppu-gdb / racecheck ...
你好,我是星云猫 —— 一个相信「超级个体」的开发者
🌐 English version: Hi, I’m Nebulamao 开篇如果你是第一次来到这里 —— 你好,我是 段尚易,网名 星云猫(Nebulamao),上海杉达学院信息科学与技术学院 2024 级软件工程专业的一名本科生。 这个博客的定位很简单:记录我在 AI 技术上的折腾、踩坑和思考。Agent、RAG、大模型、AI 游戏开发……凡是我真正动手做过、想清楚了的东西,都会写在这里。 与其写一篇模板化的「自我介绍」,我想先讲一个最近的故事 —— 因为它几乎能解释我在做的所有事,以及我为什么要开这个博客。 一个人,一支战队2025 年底,由 开放原子开源基金会 主办、阿里云魔搭社区(ModelScope) 承办的「AI+互动游戏挑战赛」收官。全国 480 支队伍报名,绝大多数是 3–5 人的团队。 我以「星云猫」的名义,一个人 报了名。 从需求调研、产品设计到技术落地,全程一个人包办。初赛阶段,靠扎实的技术文档和产品原型挤过了专家评审;决赛阶段,当别的队伍分工协作时,我自己在短时间里做了好几轮高强度迭代,硬啃下了两个最难的点 —— AI 生成 3D 资产 和 游戏引...
