上百台 ComfyUI 机器前面放一个网关,两天里踩过的坑
🌐 English version: Putting a Gateway in Front of a Hundred ComfyUI Boxes: Two Days of Lessons
最近给一批自托管的 ComfyUI 机器做视频生成网关。上线时二十几台,两天后一百多台,中间被真实流量结结实实教育了几次。记一下过程,有些坑挺典型的。
一开始的做法,以及它为什么不行
最初的链路很直白:请求进来,选一台机器,POST /prompt,拿到 prompt_id 落库,然后轮询器每 15 秒去查结果。ComfyUI 自带队列,多来几个任务它自己排。
跑了一阵发现几个别扭的地方:
- 队列在机器上,网关看不见。机器一挂,排在它上面的任务一起没了,网关这边还以为在跑。
- 提交接口的响应时间取决于上游。上游前面有一层提示词改写,一次几秒,客户端提交要等。
- 两个请求同时进来,都探测到同一台机器”空闲”,一起压上去。
于是把队列搬到网关自己这边。提交时只做校验、扣费、落库一个 QUEUED 状态,立刻返回 task_id;后台一个派发器周期性把 QUEUED 的任务派给空闲机器;轮询器不动,只管 IN_PROGRESS 之后的事。
“空闲”怎么判:网关自己的 DB 里这台机器没有在途任务,并且探一下它的 /queue 确实是空的。前一个条件挡住自己派出去的,后一个挡住别人手动塞进去的。
队列满了怎么办:阈值按”每台机器允许排几个 × 当前在线机器数”算,机器全掉线阈值就是 0,直接 429,不让任务在里面烂着。

派发器没有自己写 goroutine 加 Redis 锁,直接挂在项目已有的分布式任务框架上,租约保证多实例只有一个在跑。这个决定后来省了不少事。
设计阶段自己 review 出来的三个问题
写完设计文档,动手之前又看了一遍,发现三处:
退款会退两次。 预扣费之后的每一步都可能失败,失败要退款。任务一旦落库,后台派发器失败或超时时也会退款。两条路径同时存在,只要”落库成功之后还有可能返回错误”,就会退两次。解决办法是把落库挪到预扣之后所有可失败步骤的最后——比如把”响应投影成客户端格式”这种纯函数放到落库前面。之后所有状态迁移都走 CAS,退款只在赢得 CAS 之后做。

派发间隔是骗人的。 我给派发器写了个 5 秒间隔的配置,结果任务框架的调度器本身 15 秒才扫一次,那个 5 秒只是”至少间隔”。配置删了,文档改成”派发延迟 ≤15 秒”。
串行 POST 太慢。 上游一次几秒,十几台机器同时空闲时串行派要几十秒。改成先串行配对(维护一张本轮已占用的表),再并发 POST。
实现阶段:计划写错的地方
每个任务派给一个独立的 agent 实现,再由另一个 agent 对着代码审查。计划是我写的,有几处凭记忆写错了,实现的时候一个个被纠正:
- 引用的错误类型在另一个包里。
- 派发器构造 HTTP 请求时给了
nilBody,而下游的发送函数无条件Body.Close()——每次派发必 panic。改成http.NoBody。 - 一批状态常量是 untyped string,
assert.Equal和带类型的字段永远对不上。
审查阶段抓到两个更严重的,都是计划本身的逻辑错:
- 上游已经接单但本地写库失败时,我只记了
prompt_id,没记是哪台机器接的。下一轮重新配对,真正在跑这个任务的机器探测结果是”忙”,会被跳过,于是任务被绑到另一台空闲机器上,轮询永远查不到结果。补记机器 id,这类任务直接回原机器。 - 一个任务如果没有任何机器能服务它(比如模型被从配置里摘掉了),会和”所有机器都忙”走同一个分支,卡在队首,后面所有任务无限等。拆开处理,无路可走的任务直接失败退款。
测试里的假绿灯
有两个测试跑绿了但其实什么都没测:
- 测试进程没跑环境初始化,一个查询上限常量是 0,SQL 变成
LIMIT 0,循环压根没执行。 - 某个字段有默认回退(上游 id 为空时回退到公开 id),”上游 id 为空”这个分支永远进不去。
后来养成的习惯是把被测分支删掉再跑一次,看测试会不会红。
上线之后
忙碌的机器被判成离线
上到一百多台、三四十台在跑之后,看板反复出现两三台”离线”。查了一下,这些机器都在正常出片。
原因是探测太粗暴:每次探一枪 /queue,2 秒超时,超时就算离线。ComfyUI 出片时主循环被占,/queue 偶尔要两三秒才回。上线前机器少、没跑任务,测不出来。
改成带历史的快照:连续失败 N 次或 T 秒没有成功过才算离线,一次成功就恢复,失败时保留上一次的队列数据。超时放宽到 5 秒。闪断消失。

两个探测互相拖
看板每台机器同时探 /queue 和 /system_stats(拿显存)。ComfyUI 的 HTTP 服务是单线程的,/system_stats 要去查 GPU,出片时会被 CUDA 同步卡住——同一台机器的 /queue 跟着排队,超时,然后被判离线。
两个探测改成串行,显存这种变化慢的东西 30 秒刷一次,而且从请求路径挪到后台异步刷新。
探测发得太多
那时候看板每次刷新、每个提交请求、派发器每轮,都各自去探一遍所有机器。三处各探各的,没有一个权威状态,流量跟着看板打开的人数和提交量涨。
最后收成一个后台任务维护一份节点状态快照(内存一份,Redis 镜像一份给多实例),看板、429 判定、派发候选全部只读快照。派发前对选中的那一台再实时探一次确认。探测总量固定为”机器数 / 间隔”,看板变成毫秒级。

顺便发现一个之前没用上的信息:网关自己派出去的任务,DB 里明明白白记着在哪台机器上,这些机器根本不用探。
一次猜错
有人反馈查询接口”好像也被限流了”。我没看日志,凭印象判断”客户端用了另一种 URL 形式,路由没匹配上,掉进了静态资源的限流”,还提交了修复。对方甩来一段日志:全是正常形式,全部 200,两毫秒。回退。
后来查清楚是网关自带的按 IP 限流——网页资源、后台 API、登录接口各一档,登录那档默认只有 20 次/3 分钟。用户反复刷新页面又反复点登录,就撞上了。跟业务完全无关。
流水线
一个 docker build 干完所有事的话,CI 上 daemon 每次都是新的,前端依赖、Go 模块、编译缓存、apt 层全部重来。拆成三步:前端构建和 Go 编译在流水线阶段跑,依赖和编译缓存挂持久 volume;镜像阶段只组装运行时层,BuildKit 层缓存推到 registry。热节点上前端全量构建一分钟左右,Go 增量编译几秒,镜像几秒。
后面还想做的
ComfyUI 有 WebSocket,能推队列状态、执行进度、完成事件。接上之后在线判定就是”连接还在不在”,任务完成不用等轮询,还能给进度条。现在的快照设计正好留了口子:多一个数据源往同一个快照里写,消费方不用动。不过要先确认上游那层 wrapper 会不会把 client_id 透传过去,否则按 client 路由的事件收不到。
回头看,这两天大部分时间不是花在写代码上,而是花在弄清楚”机器到底是不是真的离线”这一件事上。