开源视频生成迎来重大突破
美团于2025年9月在MIT许可证下发布了Longcat Video,为开源视频生成领域带来了136亿参数的Dense Transformer架构。该模型可生成多达961帧的视频,支持文生视频和图生视频两种工作流程,输出分辨率为480p或720p。
Longcat Video与早期开源模型的核心区别在于长序列的时间连贯性。大多数视频模型难以在几秒钟之外保持主体外观一致性和逻辑运动进展。Longcat Video通过其Dense Transformer架构解决了这一问题,但您仍需要精心设计提示词才能获得可靠的结果。请注意,Longcat Video与Longcat-Flash是不同的产品,后者是用于文本推理的5600亿参数语言模型。
有效的提示词结构
Longcat Video对详细、结构化的提示词响应良好。简单的描述只能产生简单的结果。您的提示词需要包含五个要素:
- 场景描述:视觉元素、环境设置、氛围
- 动作指导:对象或角色在画面中如何移动
- 电影元素:镜头运动、光线、视角
- 风格参考:视觉美学(写实、动漫、纪录片风格)
- 技术限定词:分辨率和质量指标
对比这两个提示词:
弱提示词:"一辆汽车在路上行驶"
强提示词:"一辆流线型红色跑车在日落时分沿着蜿蜒的海滨公路行驶。镜头跟随在车辆旁边,捕捉金色阳光在其抛光表面上的反射。场景从车轮的特写细节过渡到展示下方壮观海岸线的高空广角镜头。电影级光线,照片写实,4K质量。"
第二个提示词为模型提供了具体的视觉目标和运动编排。
负面提示词的重要性
Longcat Video接受负面提示词来过滤不需要的元素。默认负面提示词包括:
"明亮色调、过曝、静态、模糊细节、字幕、风格化、作品、绘画、图像、静止、整体灰暗、最差质量、低质量、JPEG压缩残留、丑陋、不完整、多余手指、手部绘制不良、面部绘制不良、变形、畸形、肢体错位、手指融合、静止画面、杂乱背景"
根据您的具体需求添加特定排除项:"镜头抖动"、"色彩失真"或"场景突变"以提高输出质量。
文生视频技巧
时序编排
视频生成需要顺序思维。使用时间标记来构建提示词:
"一只蝴蝶从蛹中破茧而出,缓慢展开其鲜艳的翅膀。起初,翅膀显得潮湿而皱缩。然后,随着体液泵入翅脉,它们逐渐展开。最后,蝴蝶短暂停歇后,在阳光明媚的花园中开始了它的首次飞行。"
这种顺序结构引导模型实现连贯的叙事进展,而不是产生几乎没有动态的静态场景。
动作词汇
使用具体的动作术语:
- 动词:漂浮、加速、消融、涌现、盘旋
- 副词:平滑地、逐渐地、快速地、有节奏地、轻柔地
- 过渡词:转变为、渐变至、拉远镜头揭示
示例:"一颗种在肥沃土壤中的小种子逐渐发芽,细嫩的绿色嫩芽慢慢从土中冒出,稳步向阳光生长。"
图生视频策略
源图像选择
并非所有图像都适合转换为视频。有效的源图像应具备:
- 清晰的焦点:可被动画化的明确主体
- 深度线索:暗示前景、中景、背景的视觉信息
- 方向性元素:暗示运动的组件(蜿蜒的小路、流动的水)
- 动态潜力:自然暗示运动的主体(云彩、树木、织物)
补充性提示词
您的提示词应该延展图像中的内容,而非与之矛盾。对于山景图像:
"壮丽的山景栩栩如生,云朵缓缓飘过山峰。微风轻拂,前景的松树轻轻摇曳,远处一只雄鹰翱翔于山谷之上。午后的光线逐渐转为金色的落日色调,在地形上投下越来越长的阴影。"
参数配置
| 参数 | 范围 | 推荐设置 |
|---|---|---|
| 分辨率 | 480p / 720p | 480p用于测试;720p 30fps用于最终输出 |
| num_frames | 17-961 | 60-120用于概念验证;150-300用于完整场景;300+用于长序列 |
| num_inference_steps | 8-50 | 15-20用于草稿;30-40平衡质量;40-50最高质量 |
| guidance_scale | 1-10 | 4-6平衡结果;7-10严格遵循提示词 |
| fps | 1-60 | 480p使用15fps;720p使用30fps |
输出格式选项
- X264 (.mp4):通用兼容性
- VP9 (.webm):网页优化
- PRORES4444 (.mov):专业编辑工作流程
- GIF (.gif):社交媒体分享
常见问题及解决方案
静态或动作微弱
如果您的视频看起来太静态:
- 在提示词中添加动作特定的语言
- 增加帧数
- 使用动态动词和过渡描述
主体外观不一致
如果主体在整个视频中外观发生变化:
- 在提示词中添加"consistent"(一致)
- 加强对定义特征的描述
- 使用负面提示词指定"no changing appearance"(外观不变)
动作不自然
如果动作感觉机械:
- 使用有机运动术语("flowing"、"natural"、"smooth")
- 避免矛盾的运动方向
- 在提示词中添加"realistic physics"(真实物理效果)
API集成
使用队列API进行基本集成只需最少的设置:
import { fal } from '@fal-ai/client';
const result = await fal.subscribe('fal-ai/longcat-video/text-to-video/720p', {
input: {
prompt: 'realistic filming style, a person wearing a dark helmet...',
num_frames: 300,
num_inference_steps: 30,
guidance_scale: 5,
},
onQueueUpdate: (update) => {
if (update.status === 'IN_PROGRESS') {
console.log(`Processing: ${update.logs}`);
}
},
});subscribe方法自动处理请求队列和状态更新。生成时间根据队列深度和系统负载而变化。
部署注意事项
对于本地部署,Longcat Video需要NVIDIA GPU系统上约80GB的显存。这一硬件要求使得云部署成为大多数生产场景的实际选择。
在优化的云平台上运行可以免除基础设施管理,同时提供优化的生成服务。平台处理后端需求,包括模型加载、GPU分配和队列管理。
专有模型的开源替代方案
虽然OpenAI的Sora 2在2025年占据了头条新闻,但Longcat Video代表了一个可行的开源替代方案。关键区别:您可以控制整个生成流程。无订阅费用、无内容限制、无黑盒处理。
权衡之处在于提示词复杂性。专有模型通常包含额外的安全护栏和提示词优化层。使用Longcat Video,您可以控制每个参数,这意味着更大的灵活性,但也意味着在提示词工程和调优方面承担更多责任。
对于需要生成透明度、模型定制或摆脱供应商锁定的团队,Longcat Video在完全运营控制下提供生产级结果。