LongCat Avatar 1.5 本地部署:ComfyUI、Whisper 与显存实测

2026/11/11

先分清:图片动起来,还是嘴跟着说

托管的图生视频只是让一张静图动起来,不接受音频。要口型同步的说话人,得走本地 Avatar。

LongCat-Video-Avatar 1.5 是美团当前音频驱动的数字人版本。它和 2025 年 12 月那版不是同一个检查点,音频栈也换了:v1.5 用 Whisper-Large 取代 Wav2Vec2,支持单路和多路音频,走 8 步蒸馏推理。官方任务是「音频+文本→视频」「音频+文本+图片→视频」和视频续写。

想了解这个音频驱动模型本身,看数字人总览页。那一页讲本地推理,它不是能上传音频的托管工具。

这篇把官方 Python 路径和 Kijai 的社区 ComfyUI 封装分开写。这个区分很重要:封装的节点、量化检查点、block swap 配置都可能独立于官方模型变化。

先选路线

目标从哪开始代价
让一张静图动起来托管图生视频只能给图和运动提示词,不能上传音频
让人像跟着录音说话官方本地 Avatar 路径音频驱动,需要自己的 GPU 环境
复现官方发布官方 LongCat-Video 仓库最贴近上游,但要 CUDA/Python 环境和很大的权重文件
搭节点工作流社区 ComfyUI 路径链接的示例用的是原始 Avatar 音频栈,不是官方 1.5
跑生产批次任选一条并锁定提交容量、重试、产出审核、升级测试都由你负责

托管工具支持什么

托管的 LongCat 图生视频接受一张静图加一条运动提示词,返回视频文件。有常规 480p/720p 和蒸馏 480p 三档,默认输出 MP4。它没有 Avatar 模型、没有音频上传、也没有用你的录音驱动口型。在这里让一张人像动起来,不能用来验证 Avatar 的音频流程。

提交托管任务需要登录并有足够积分,提交前会显示本次的积分成本;模型、帧数和账号状态仍决定这一单能不能跑。当前方案只适用于托管服务,不适用于你在自己显卡上跑开源权重。

LongCat Video 是独立的托管服务,不是美团的官方模型站。托管上传遵守本站隐私政策;下面的本地与社区流程运行在你自己的环境里。

下面这个生成器可以直接试,它和首页是同一个:

加载中...

Avatar 1.5 变了什么

  • 音频编码器从 Wav2Vec2 换成 Whisper-Large。
  • 官方发布说明描述的是基于 DMD2 蒸馏的 8 步推理。
  • 覆盖真人、风格化角色、动物、多人场景和物体交互。
  • 单路与多路音频都支持。

这些是上游的说法,不等于「任何人像、任何语言、任何设备、任何时长都不会有瑕疵」。正式用它之前,先用你自己的脸角度、语速、手部、遮挡和长序列各测一遍。

官方安装路径

需要可复现性时走官方仓库:

git clone --single-branch --branch main https://github.com/meituan-longcat/LongCat-Video cd LongCat-Video conda create -n longcat-video python=3.10 conda activate longcat-video # 先装与你机器匹配的 PyTorch/CUDA 组合,然后: pip install ninja psutil packaging pip install flash_attn==2.7.4.post1 pip install -r requirements.txt conda install -c conda-forge librosa ffmpeg pip install -r requirements_avatar.txt

下载仓库链接的 LongCat-Video-Avatar-1.5 权重。不要悄悄换成原始 Avatar 检查点:它的音频编码器和推理路径都不一样。

单人示例用官方的 run_demo_avatar_single_audio_to_video.py,参数加 --model_type avatar-v1.5 和 --use_distill。人像加音频时选 --stage_1=ai2v,通过 --input_json 提供示例要求的图片、音频和提示词。脚本默认是原始 Avatar 版本,只下载新权重并不会自动切到新的音频路径。

官方配置默认开 FlashAttention-2,也记录了装好之后可以换 FlashAttention-3 或 xFormers。注意力后端报错就当成环境问题处理,别捕获之后用未知配置继续跑。

社区 ComfyUI 路径

Kijai 当前的封装在主分支上维护 LongCat 节点和示例工作流:

cd ComfyUI/custom_nodes git clone https://github.com/kijai/ComfyUI-WanVideoWrapper.git cd ComfyUI-WanVideoWrapper pip install -r requirements.txt git rev-parse HEAD

最后一条命令打印的提交号,要跟每一份保存的工作流一起记下来。链接的 LongCatAvatar_audio_image_to_video_example_01.json 是原始 Avatar 工作流:2026 年 9 月 13 日核对时,它加载的是 LongCat-Avatar_bf16.safetensors 和 Wav2Vec2 音频编码器,不是官方 1.5 的 Whisper 示例。用它就得配它自己的权重和依赖,别把 1.5 的权重塞进去。要用 1.5,就走上面的官方路径。

封装作者自己说这个项目是「个人用、永远在施工中的沙盒」。这不是批评,而是提醒:在单独的副本里升级,先用一个已知输入跑通,并保留上一个能用的提交,避免一次节点改名把所有任务打挂。

本地 Avatar 的输入检查清单

  1. 用清晰人像,整颗头都在画面里,脸上没有遮挡物。
  2. 先单人、先短而干净的 WAV,再上多人音频。
  3. 各次测试的采样率和声道布局保持一致。
  4. 提示词写清身份、取景、服装、背景和克制的动作。
  5. 记录模型文件名、封装提交号、工作流 JSON、种子、尺寸、时长和音频文件名。

显存与时长:只能自己量

官方 Avatar 1.5 页面没有公布「8GB/12GB 能跑」这种通用下限。社区的 FP8、GGUF、CPU offload、block swap 都能压低峰值显存,但结果取决于检查点格式、分辨率、帧数、注意力后端、系统内存和封装版本。

用一条有边界的测试阶梯:

  1. 先按官方文档的设置跑仓库自带的已知示例。
  2. 用自己的人像和音频跑 3–5 秒。
  3. 记录峰值显存、系统内存、实际耗时和输出尺寸。
  4. 一次只改一个变量。
  5. 口型和身份都稳住了,再往上加时长。

「支持长视频」不等于无限长的片段零漂移。续写本质上是反复生成;每个接缝都要检查换脸、偏色、手部瑕疵、背景跳变和音画偏移。

故障排查

现象大概率原因先做什么
节点缺失封装没装好或节点定义过期重启 ComfyUI,核对锁定的封装提交
检查点加载失败原始 Avatar 和 1.5 文件混用核对确切的模型文件名和来源
CUDA 显存不足分辨率、帧数、模型格式或 offload 不够先降一个维度或缩短片段,再测
口型滞后于音频音频预处理、帧时间或编码器路径不对用官方 v1.5 示例跑干净的单人音频
接缝处换脸续写重叠不足或参考图取景太难缩短续写长度,换更清晰的参考图
首次能跑、更新后坏了社区依赖在动回到记录的提交,在另一个副本里升级

上线前检查

发布之前,带声音完整看一遍,确认口型时序、身份、手部、牙齿、眼部运动、场景连续性、音频版权、肖像授权和披露要求。不要只因为「开源」就推断可以商用;模型许可证、每一份输入的权利、以及所有第三方依赖,都要分别确认。

相关内容