LongCat-Video-Avatar 1.5 是美团当前音频驱动的数字人版本。它和 2025 年 12 月那版不是同一个检查点,音频栈也换了:v1.5 用 Whisper-Large 取代 Wav2Vec2,支持单路和多路音频,走 8 步蒸馏推理。官方任务是「音频+文本→视频」「音频+文本+图片→视频」和视频续写。
想了解这个音频驱动模型本身,看数字人总览页。那一页讲本地推理,它不是能上传音频的托管工具。
这篇把官方 Python 路径和 Kijai 的社区 ComfyUI 封装分开写。这个区分很重要:封装的节点、量化检查点、block swap 配置都可能独立于官方模型变化。
先选路线
| 目标 | 从哪开始 | 代价 |
|---|---|---|
| 让一张静图动起来 | 托管图生视频 | 只能给图和运动提示词,不能上传音频 |
| 让人像跟着录音说话 | 官方本地 Avatar 路径 | 音频驱动,需要自己的 GPU 环境 |
| 复现官方发布 | 官方 LongCat-Video 仓库 | 最贴近上游,但要 CUDA/Python 环境和很大的权重文件 |
| 搭节点工作流 | 社区 ComfyUI 路径 | 链接的示例用的是原始 Avatar 音频栈,不是官方 1.5 |
| 跑生产批次 | 任选一条并锁定提交 | 容量、重试、产出审核、升级测试都由你负责 |
托管工具支持什么
托管的 LongCat 图生视频接受一张静图加一条运动提示词,返回视频文件。有常规 480p/720p 和蒸馏 480p 三档,默认输出 MP4。它没有 Avatar 模型、没有音频上传、也没有用你的录音驱动口型。在这里让一张人像动起来,不能用来验证 Avatar 的音频流程。
提交托管任务需要登录并有足够积分,提交前会显示本次的积分成本;模型、帧数和账号状态仍决定这一单能不能跑。当前方案只适用于托管服务,不适用于你在自己显卡上跑开源权重。
LongCat Video 是独立的托管服务,不是美团的官方模型站。托管上传遵守本站隐私政策;下面的本地与社区流程运行在你自己的环境里。
下面这个生成器可以直接试,它和首页是同一个:
Avatar 1.5 变了什么
- 音频编码器从 Wav2Vec2 换成 Whisper-Large。
- 官方发布说明描述的是基于 DMD2 蒸馏的 8 步推理。
- 覆盖真人、风格化角色、动物、多人场景和物体交互。
- 单路与多路音频都支持。
这些是上游的说法,不等于「任何人像、任何语言、任何设备、任何时长都不会有瑕疵」。正式用它之前,先用你自己的脸角度、语速、手部、遮挡和长序列各测一遍。
官方安装路径
需要可复现性时走官方仓库:
git clone --single-branch --branch main https://github.com/meituan-longcat/LongCat-Video
cd LongCat-Video
conda create -n longcat-video python=3.10
conda activate longcat-video
# 先装与你机器匹配的 PyTorch/CUDA 组合,然后:
pip install ninja psutil packaging
pip install flash_attn==2.7.4.post1
pip install -r requirements.txt
conda install -c conda-forge librosa ffmpeg
pip install -r requirements_avatar.txt下载仓库链接的 LongCat-Video-Avatar-1.5 权重。不要悄悄换成原始 Avatar 检查点:它的音频编码器和推理路径都不一样。
单人示例用官方的 run_demo_avatar_single_audio_to_video.py,参数加 --model_type avatar-v1.5 和 --use_distill。人像加音频时选 --stage_1=ai2v,通过 --input_json 提供示例要求的图片、音频和提示词。脚本默认是原始 Avatar 版本,只下载新权重并不会自动切到新的音频路径。
官方配置默认开 FlashAttention-2,也记录了装好之后可以换 FlashAttention-3 或 xFormers。注意力后端报错就当成环境问题处理,别捕获之后用未知配置继续跑。
社区 ComfyUI 路径
Kijai 当前的封装在主分支上维护 LongCat 节点和示例工作流:
cd ComfyUI/custom_nodes
git clone https://github.com/kijai/ComfyUI-WanVideoWrapper.git
cd ComfyUI-WanVideoWrapper
pip install -r requirements.txt
git rev-parse HEAD最后一条命令打印的提交号,要跟每一份保存的工作流一起记下来。链接的 LongCatAvatar_audio_image_to_video_example_01.json 是原始 Avatar 工作流:2026 年 9 月 13 日核对时,它加载的是 LongCat-Avatar_bf16.safetensors 和 Wav2Vec2 音频编码器,不是官方 1.5 的 Whisper 示例。用它就得配它自己的权重和依赖,别把 1.5 的权重塞进去。要用 1.5,就走上面的官方路径。
封装作者自己说这个项目是「个人用、永远在施工中的沙盒」。这不是批评,而是提醒:在单独的副本里升级,先用一个已知输入跑通,并保留上一个能用的提交,避免一次节点改名把所有任务打挂。
本地 Avatar 的输入检查清单
- 用清晰人像,整颗头都在画面里,脸上没有遮挡物。
- 先单人、先短而干净的 WAV,再上多人音频。
- 各次测试的采样率和声道布局保持一致。
- 提示词写清身份、取景、服装、背景和克制的动作。
- 记录模型文件名、封装提交号、工作流 JSON、种子、尺寸、时长和音频文件名。
显存与时长:只能自己量
官方 Avatar 1.5 页面没有公布「8GB/12GB 能跑」这种通用下限。社区的 FP8、GGUF、CPU offload、block swap 都能压低峰值显存,但结果取决于检查点格式、分辨率、帧数、注意力后端、系统内存和封装版本。
用一条有边界的测试阶梯:
- 先按官方文档的设置跑仓库自带的已知示例。
- 用自己的人像和音频跑 3–5 秒。
- 记录峰值显存、系统内存、实际耗时和输出尺寸。
- 一次只改一个变量。
- 口型和身份都稳住了,再往上加时长。
「支持长视频」不等于无限长的片段零漂移。续写本质上是反复生成;每个接缝都要检查换脸、偏色、手部瑕疵、背景跳变和音画偏移。
故障排查
| 现象 | 大概率原因 | 先做什么 |
|---|---|---|
| 节点缺失 | 封装没装好或节点定义过期 | 重启 ComfyUI,核对锁定的封装提交 |
| 检查点加载失败 | 原始 Avatar 和 1.5 文件混用 | 核对确切的模型文件名和来源 |
| CUDA 显存不足 | 分辨率、帧数、模型格式或 offload 不够 | 先降一个维度或缩短片段,再测 |
| 口型滞后于音频 | 音频预处理、帧时间或编码器路径不对 | 用官方 v1.5 示例跑干净的单人音频 |
| 接缝处换脸 | 续写重叠不足或参考图取景太难 | 缩短续写长度,换更清晰的参考图 |
| 首次能跑、更新后坏了 | 社区依赖在动 | 回到记录的提交,在另一个副本里升级 |
上线前检查
发布之前,带声音完整看一遍,确认口型时序、身份、手部、牙齿、眼部运动、场景连续性、音频版权、肖像授权和披露要求。不要只因为「开源」就推断可以商用;模型许可证、每一份输入的权利、以及所有第三方依赖,都要分别确认。
相关内容
- LongCat Video 完整指南:三条路线与硬件边界。
- ComfyUI 超长视频与显存:显存与拼接的通用做法。
- LongCat 提示词指南:镜头、动作、一致性怎么写。
- 查看积分方案:托管生成的现价。