ComfyUI 超长视频:显存、重叠与拼接顺序

2026/11/11

先解决显存,再解决接缝

LongCat Video 只有一个 13.6B 模型,所谓「轻量版」是蒸馏检查点而不是更小的模型。串接仍然爆显存或接缝漂移时,改用浏览器生成。

浏览器兜底: 如果超长拼接把显存吃满,或者几段之后接缝开始漂移,就别在 ComfyUI 里硬扛,改用托管的图生视频流程,不需要本地显卡。

时长天花板是怎么被拆掉的

LongCat Video 的做法是把「一条长视频」拆成「很多段短视频 + 续写」。在 ComfyUI 里,这套拼接工作流能让时长随段数线性增长:每段默认 93 帧、30fps,大约 3 秒;复制几组节点就能得到十几秒甚至更长的结果。如果你只是想知道单次在线生成能有多长——帧数、帧率与积分成本——看《LongCat Video 能生成多长》。

加载中...

一句话结论

  • 统一架构:一个模型同时做文生视频、图生视频和视频续写。
  • 重叠拼接:相邻段共用默认 13 帧重叠,接缝才不会跳。
  • 显存靠 block swap:40 块换出约 12GB 能跑,11 块换出对应 24GB 级别。
  • FP8 检查点:量化后显存需求大约降四成,质量损失可控。
  • 分段提示词:每段可以写自己的提示词,于是能讲故事。
  • 分辨率直接决定细节:1280×640 相比 1024×512 是肉眼可见的提升。

为什么是「拼接」而不是「一次生成」

LongCat 的串联流程是这样的:

  1. 首段生成:用文本或图片生成第一段。
  2. 取重叠:把上一段最后 13 帧取出来。
  3. 续写:以这 13 帧为条件生成下一段。
  4. 合并:共用帧对齐,接缝处过渡自然。
  5. 重复:需要多长就复制多少组。

这 13 帧不是可选项。没有重叠,你会在接缝处看到硬切和换脸;有重叠,模型才能把颜色、主体身份和运动方向带过去。LongCat 的 3D attention 与 RoPE 位置编码,就是为了压住长序列里的「漂移」。

工作流设置:显存是第一个瓶颈

模型选择:用 FP8 版本。相对全精度,量化后显存大约少四成。

基础精度必须是 BF16。选 FP16 会掉质量,出现偏色和不稳定输出——这一条是最容易被忽略的坑。

注意力实现:有 Sage Attention 就用它;没装或不确定,用 SDPA 兜底,结果稳定。

蒸馏 LoRA:强度 1.0 是默认值,0.7–1.0 之间都在可用区间,偏低时偶尔更有变化。即使现在只有一个 LoRA,也用多加载器节点接,以后加 LoRA 不用重搭工作流。

block swap 档位(教程给出的经验值):

换出块数大致显存典型显卡
11 块约 24GBRTX 3090 / 4090 / 5090
20–30 块约 16GBRTX 4080
40 块约 12GBRTX 4070 Ti

换出越多,显存越省、生成越慢。这个取舍只能自己在机器上量。

Torch Compile:可选加速,能开就开,大约快一成多;不支持就关掉,别为了它折腾环境。

全局参数与 shift

分辨率:宽 1024 或 1280,高 512 或 640;2:1 在电影感镜头上最稳。

时间设置:每段 93 帧,重叠 13 帧。

采样:有 LoRA 时步数 12–16、CFG 1.0;没有 LoRA 则要 50 步、CFG 4.0。shift 取 12–24,值越高越风格化。

shift 对画面气质的影响很直接:

  • 12:写实、落地,最贴提示词。
  • 18:轻微风格化,形体更明确。
  • 24:艺术化解释更强,建筑和环境最「像」,但会更自由地改剧情。

教程作者的对比里,shift 24 配 14–16 步时建筑细节和树木稳定性最好;shift 12 生成更快、贴提示词更紧。

多段提示词:一段一件事

模块化工作流支持按顺序给每段写提示词,常见节奏是:

  1. 第 1 段:立场景、立主角。
  2. 第 2 段:引入运动或环境变化。
  3. 第 3 段:加动作或互动。
  4. 第 4 段:高潮或收尾。

教程里的四段示例(社区教程作者的原文提示词,这里只作结构参考):

第 1 段:一只啮齿动物骑着红金配色、造型锐利的高科技悬浮摩托, 穿过外星城市中心,两侧是高大的哥特式金属建筑。未来电影风格。 它穿着黑色皮夹克和厚重的黑色靴子,靴子上有银色搭扣。 第 2 段:同一只啮齿动物骑着太空摩托穿过未来感的外星森林。 树木很高,整体是秋天的感觉。 第 3 段:同样的场景,它对着镜头快速微笑挥手。 第 4 段:穿皮夹克的它骑行时,摩托突然启动并升空, 从路面飞向太空。周围是漆黑的宇宙,星光闪烁,宇宙骑手开始真正的旅程。

写这类分段提示词时,有三条是硬要求:

  • 连续性元素要重复:服装、车、天气,每段都提一次。
  • 每段只加一个新东西:要么换景,要么加动作,别同时干两件事。
  • 动词要具体:riding、waving、lifting off 这类明确动作比「动起来」有效得多。

复制续写节点时必须改的三处

  1. 提示词编号:prompt_2、prompt_3 依次接上。
  2. 视频输入输出:video_1 → video_2 → video_3。
  3. 随机种子:递增或重新随机(比如 420 → 421 → 422),否则每段会长得一模一样。

漏改任何一处,轻则报错,重则四段全是同一段。

教程作者的实测结果(非本站复现)

这些数字来自上面那条视频教程的实际跑测,我们照录并标注来源,没有独立复现:

  • 12 步 / shift 12 / 1024×512 / 4 段(约 12 秒):整体可用,建筑结构尚可,森林过渡顺,挥手时手指数量不稳,升空段成功。
  • shift 18:建筑更明确,环境更统一,挥手手势变了(手指数量跟着变)。风格化更强。
  • shift 24:建筑最「像建筑」,树木更稳,挥手变成挥两下,升空位置挪到了中段。代价是更少照字面执行提示词。
  • 14 步 / shift 24:建筑质量再升,手指接近正确,运动更顺。
  • 16 步 / shift 24:整体质量最好,但升空挪到中段,属于模型的自由发挥。
  • 16 步 / shift 12:更写实,升空段最好,贴提示词最紧。
  • 1280×640 / 14 步 / shift 24:建筑细节和角色特征提升明显,挥手时手指数量正确,是这一轮里画面最好的组合。

结论很朴素:显存允许就把分辨率拉高,收益大于调其它参数。

拼接与质检

最后用 Extend Video 之类的节点把 video_1…video_n 串成一个文件,然后按四项检查:

  • 接缝处有没有跳变(有就加大重叠到 17–21 帧)
  • 主体外观是否一致(不一致就回去补连续性描述)
  • 运动方向是否连贯(调 shift 或 CFG)
  • 各段色调是否统一(统一全局设置,别让每段各用一套参数)

常见原因对照:接缝不自然多半是重叠太少、相邻提示词差太远、各段 shift/CFG 不一致,或者种子随机导致画面分叉。

常见问题

最长能做多长?

理论上不限:每段约 3 秒,复制多少组就是多长。教程演示的是 4 段约 12 秒;10 段以上就能到 30 秒以上。真实限制是时间——4 段在 RTX 4090 上大约 15–25 分钟,10 段就是 40–60 分钟量级。

8GB 显存能跑吗?

跑完整 FP8 模型不推荐。可用下限大约 12GB(block swap 设 40)。8GB 卡要么降分辨率到 480p 并接受质量损失,要么用托管方案。

LoRA 到底要不要开?

要。开了可以把步数从 50 降到 12–16、CFG 从 4.0 降到 1.0,速度和稳定性都更好。不开就要承担 50 步的时间成本。

中途能从文生视频切成图生视频吗?

不能。起始模式只作用于第一段,后面全是视频续写。想换起点,就先生成一段,再把它当参考图开一条新工作流。

手和手指为什么总是画不好?

这是当前视频模型的通病:关节复杂、动作快、常被遮挡、透视还在变。能做的只有提高分辨率、把手势写简单、加到 14–16 步,以及接受商业模型也会翻车这个事实。

相关内容