ComfyUI Tutorial Ep 44: Dominando LongCat Video para

LongCat Video no ComfyUI: Tutorial Completo do Episódio 44

Você está cansado de usar múltiplos modelos diferentes para gerar vídeos? O LongCat Video revoluciona o workflow no ComfyUI ao oferecer uma arquitetura unificada que suporta texto-para-vídeo, imagem-para-vídeo e continuação de vídeos em um único modelo.

Com 13.6 bilhões de parâmetros e licença MIT open source, o LongCat Video oferece desempenho comparável aos principais modelos comerciais, mas totalmente gratuito e personalizável.

TL;DR

Este tutorial do LongCat Video cobre:

• ✅ Modelo Unificado: Um único modelo substitui workflows complexos de múltiplos modelos
• ✅ 3 Modos Principais: Texto-para-vídeo, imagem-para-vídeo, e continuação de vídeo
• ✅ Vídeos Longos: Gere vídeos de vários minutos sem mudança de cor entre clipes
• ✅ Alta Eficiência: Gere 720p @ 30fps em poucos minutos (27 segundos em ~10 minutos)
• ✅ Open Source: Licença MIT - modifique e use livremente
• ✅ Workflow Avançado: Configure variáveis globais e automação de overlap
• ✅ Otimização VRAM: Block attention e block swap para GPUs de 8GB+

Tempo de Leitura: 15 minutos | Nível: Intermediário a Avançado | VRAM Mínima: 8GB

💡 Principais Vantagens

1. 🎯 Arquitetura Unificada vs. Modelos Múltiplos: Diferente do Wan One que exige modelos separados (high, low, text-video, audio, image-video), o LongCat usa um único modelo para tudo

2. ⚡ Geração Nativa de Vídeos Longos: Treinado especificamente para continuação de vídeo, mantendo consistência de cor e evitando necessidade de correção de cor manual

3. 🚀 Inferência Ultra-Rápida: Gera vídeos 720p em poucos minutos - 27 segundos de vídeo em aproximadamente 10 minutos na RTX 4090

4. 📊 Desempenho Comparável aos Líderes: Benchmarks internos mostram resultados similares aos modelos comerciais de ponta

5. 🔧 RLHF Otimizado: Método GRPO (Group Relative Policy Optimization) com múltiplas recompensas melhora qualidade dos resultados

6. 💰 Totalmente Gratuito: Licença MIT permite uso comercial e modificação sem restrições

📖 Índice

1. Introdução ao LongCat Video
2. Instalação do Modelo
3. Estrutura do Workflow Avançado
4. Modo Image-to-Video
5. Modo Text-to-Video
6. Criando Vídeos Longos com Overlap
7. Casos de Uso Reais
8. Otimização e Troubleshooting

Introdução ao LongCat Video

O Que Torna o LongCat Especial?

O LongCat Video é um modelo fundamental de geração de vídeo com 13.6 bilhões de parâmetros que se destaca pela sua versatilidade e eficiência.

Comparação com Outros Modelos:

Principais Recursos Técnicos

1. Arquitetura Unificada

Unifica texto-para-vídeo, imagem-para-vídeo e continuação em um único framework:

• Suporte nativo a todas as tarefas
• Desempenho consistente em cada modo
• Reduz complexidade do workflow

2. Geração de Vídeos Longos

• Treinado nativamente para continuação de vídeo
• Produz vídeos de vários minutos
• Sem alteração de cor entre clipes consecutivos
• Elimina necessidade de correção de cor manual

3. Inferência Eficiente

• Gera vídeos 720p @ 30 frames em poucos minutos
• Block attention aumenta eficiência em altas resoluções
• Otimizado para GPUs de consumidor (RTX 3060+)

4. Otimização com RLHF

Utiliza método GRPO (Group Relative Policy Optimization) baseado em múltiplas recompensas para melhorar qualidade visual e coerência temporal.

Instalação do Modelo

Arquivos Necessários

Baixe os modelos do Hugging Face (Kijai):

Passo a Passo de Instalação

Passo 1: Escolha a Versão do Modelo

Para VRAM 24GB ou menos: Use o modelo FP8 Scaled

models/diffusion_models/longcat-video-fp8-scaled.safetensors

Para VRAM superior a 24GB: Pode usar o modelo Full Precision

models/diffusion_models/longcat-video-full.safetensors

Passo 2: Instale as LoRAs

A Distill LoRA é essencial para reduzir tempo de geração:

models/loras/longcat-distill-lora.safetensors

Se tiver memória limitada, considere a LoRA alternativa.

Passo 3: Configure o VAE

O LongCat usa o VAE padrão do Wan 2.2:

models/vae/wan-2.2-vae.safetensors

Passo 4: Instale Nodes Customizados

Através do ComfyUI Manager, instale:

• Wan Video Wrapper (nodes principais do LongCat)
• Video Helper Suite (processamento de vídeo)

Passo 5: Carregue o Workflow

Baixe o workflow base e arraste para o ComfyUI. Pressione tecla R para atualizar definições dos nodes.

Estrutura do Workflow Avançado

Visão Geral da Arquitetura

O workflow avançado organiza-se em dois grupos principais:

1. Grupo Text-to-Video: Gera vídeo a partir de prompts de texto
2. Grupo Image-to-Video: Usa imagem de referência como ponto de partida

Sistema de Variáveis Globais

Para facilitar ajustes, configure variáveis centralizadas:

# Variáveis de Resolução
largura_texto_video = 832
altura_texto_video = 480

largura_imagem_video = 720
altura_imagem_video = 1280

# Variáveis de Geração
steps = 10  # Com Distill LoRA
overlap = 8  # Frames de sobreposição entre clipes
shift = 12  # Parâmetro de qualidade
cfg = 1     # Guidance scale

# Otimização VRAM
block_swap = 0   # 0 para 24GB+, 10-20 para 16GB, 48 para 8GB

Estrutura de Fluxo Multi-Clipe

O workflow suporta geração sequencial de múltiplos clipes:

Vídeo 1 → Overlap Cut → Vídeo 2 → Overlap Cut → Vídeo 3 → Vídeo Final
   ↓                       ↓                       ↓
Prompt 1              Prompt 2                Prompt 3

Benefícios do Sistema de Overlap:

• Transições suaves entre clipes
• Consistência temporal mantida
• Evita cortes abruptos

Modo Image-to-Video

Preparação da Imagem

Passo 1: Carregamento e Redimensionamento

Load Image → Resize Node → Aspect Ratio Selection

Aspect Ratios Recomendados:

Configuração do Sampler

Steps: 10
CFG: 1
Shift: 12
Sampler: euler (versão mais recente)
Scheduler: simple

Exemplo Prático: Mulher Tomando Café

Cenário: Criar vídeo de 27 segundos de uma mulher em uma cafeteria

Prompts Sequenciais:

Vídeo 1 (0-5s):
"Uma mulher sentada em uma cafeteria, segurando uma xícara de café com a mão direita, sorrindo suavemente"

Vídeo 2 (5-10s):
"Ela mexe o café lentamente com a colher, olhando para a xícara com expressão relaxada"

Vídeo 3 (10-15s):
"Ela levanta a xícara em direção aos lábios, faz carinho em um gato ao lado com a mão esquerda"

Vídeo 4 (15-20s):
"A mulher toma um gole de café enquanto continua acariciando o gato, mantendo o sorriso"

Vídeo 5 (20-27s):
"Ela coloca a xícara de volta na mesa e olha pela janela com expressão pensativa"

Resultado:

• Tempo de geração: ~10 minutos (RTX 4090)
• Resolução: 720×1280
• Frames: 15 fps
• Qualidade: Boa consistência de personagem, pequenos artefatos nas mãos

Modo Text-to-Video

Ativando o Modo Text-to-Video

Para alternar do modo Image-to-Video para Text-to-Video:

1. Selecione o grupo Image-to-Video
2. Pressione Ctrl+B para desativar (bypass)
3. Ative o grupo Text-to-Video

Estrutura do Prompt

Para melhores resultados, estruture prompts assim:

Formato Recomendado:

[Sujeito principal] + [Ação] + [Ambiente] + [Movimento da câmera]

Exemplo:

❌ Ruim:
"Um homem dirigindo um carro"

✅ Bom:
"Um homem dirigindo um Mustang conversível vermelho em uma estrada da cidade moderna, prédios altos ao fundo, câmera em POV do motorista"

Exemplo Prático: Casal no Estádio

Sequência de 4 Clipes:

Clipe 1:
"Um casal jovem entrando em um estádio de futebol lotado, vestindo camisetas do time, câmera seguindo de trás"

Clipe 2:
"O casal se abraça e se beija rapidamente no meio da multidão, torcida vibrando ao redor"

Clipe 3:
"Eles pegam copos de cerveja de um vendedor ambulante, sorrindo e brindando"

Clipe 4:
"O casal assiste ao jogo animadamente, gritando e comemorando, palco do estádio visível ao fundo"

Configurações Usadas:

• Resolução: 16:9 (~832×480)
• Steps: 10
• Tempo por clipe: ~2 minutos de geração
• Resultado: Boa consistência dos rostos, público e ambiente realistas

Criando Vídeos Longos com Overlap

Sistema de Overlap Explicado

O overlap garante transições suaves entre clipes:

Vídeo 1: [========] (frames 0-33)
                  ↓
            Overlap Cut (últimos 8 frames)
                  ↓
Vídeo 2:      [========] (frames 25-58)
                      ↓
                Overlap Cut
                      ↓
Vídeo 3:          [========] (frames 50-83)

Configuração de Overlap

Valores Recomendados:

Workflow de 3 Clipes

Estrutura de Nodes:

1. Gerar Vídeo 1 → Salvar como "video_1_final"
2. Overlap Cut (Vídeo 1) → Feed para Sampler 2
3. Gerar Vídeo 2 → Salvar como "video_2_final"
4. Overlap Cut (Vídeo 2) → Feed para Sampler 3
5. Gerar Vídeo 3 → Salvar como "video_final"

Seeds Importantes:

• Vídeo 1: Pode ser fixo ou randômico
• Vídeo 2: DEVE ser diferente do Vídeo 1
• Vídeo 3: DEVE ser diferente do Vídeo 2

Prompt Engineering para Continuidade

Técnicas para Manter Consistência:

1. Referencie o estado anterior:

Prompt 1: "Mulher segurando café com a mão direita"
Prompt 2: "A mesma mulher ainda segurando o café com a mão direita, mexendo com colher na mão esquerda"

2. Mantenha elementos visuais constantes:

✅ "O homem ainda está dirigindo o Mustang vermelho, agora em uma estrada deserta..."
❌ "Um homem dirigindo em uma estrada deserta" (pode perder consistência)

3. Descreva transições graduais:

"A câmera lentamente se afasta do rosto da mulher, revelando o ambiente ao redor"

Casos de Uso Reais

Caso 1: Mulher na Cafeteria (Image-to-Video)

Configuração:

• Imagem: Retrato de mulher em pé
• Resolução: 720×1280
• Clipes: 5 sequências
• Tempo total: 27 segundos
• Tempo de geração: ~10 minutos

Resultados:

• ✅ Excelente consistência de personagem
• ✅ Movimentos naturais de beber café
• ✅ Transições suaves entre clipes
• ⚠️ Pequenos artefatos nas mãos (comum em modelos de vídeo)
• ✅ Cor consistente em todos os clipes

Caso 2: Casal no Estádio (Text-to-Video)

Configuração:

• Modo: Text-to-Video puro
• Resolução: 832×480 (16:9)
• Clipes: 4 sequências
• Sem interpolação (15 fps)

Resultados:

• ✅ Rostos consistentes ao longo do vídeo
• ✅ Multidão e ambiente realistas
• ✅ Ações complexas (abraçar, brindar, comemorar)
• ⚠️ Movimento um pouco lento (15 fps)
• 💡 Recomendação: Aplicar interpolação para 30/60 fps

Caso 3: Dirigindo Mustang (Image-to-Video vs Text-to-Video)

Teste Comparativo:

Image-to-Video (com imagem FLUX):

• Gerou imagem do Mustang vermelho em FLUX primeiro
• Usou como referência no LongCat
• Resultado: POV correto, mãos na posição certa

Text-to-Video Puro:

• Problemas encontrados:
  • ❌ Motorista às vezes aparece do lado errado
  • ❌ Mãos na posição incorreta (esquerda/direita invertidas)
  • ❌ Carro andando de ré em alguns testes
  • ⚠️ Prédios com textura muito artificial
  • ⚠️ Retrovisores com física inconsistente

Prompts Testados:

Prompt 1:
"Um homem dirigindo um Mustang conversível em uma estrada urbana moderna com prédios altos"

Problema: Prédios muito artificiais, parecem texturas de jogo antigo

Prompt 2:
"O homem dirige para frente pela estrada deserta com árvores desérticas e sol quente"

Problema: Não adicionou elementos novos, carro parecia parado

Prompt 3:
"Um ônibus aparece na estrada na direção oposta, sendo seguido por carros de polícia"

Resultado: Apareceram dois ônibus, mas nenhum carro de polícia

Lições Aprendidas:

1. Text-to-Video requer prompts muito detalhados
2. Elementos de movimento precisam ser explícitos
3. Image-to-Video oferece mais controle sobre composição inicial
4. Prompt engineering demanda iteração e testes

Otimização e Troubleshooting

Otimização de VRAM

Configuração de Block Swap:

Outras Otimizações:

# Adicione ao seu arquivo de inicialização do ComfyUI
--cache-none --fp8-e4m3fn-text-enc

Problemas Comuns e Soluções

Problema 1: Primeira Geração Muito Lenta

Sintoma: Primeiro vídeo demora muito, mas subsequentes são rápidos

Solução:

• Limpe cache: Reinicie o ComfyUI
• Verifique uso de RAM/VRAM
• Primeira geração compila shaders (normal)

Problema 2: Movimento de Câmera Não Funciona

Sintoma: Prompts com "câmera zoom" ou "pan" são ignorados

Solução:

❌ "A câmera faz zoom no rosto da mulher"
✅ "O rosto da mulher fica mais próximo gradualmente, ocupando mais da tela"

Problema 3: Consistência de Cor Entre Clipes

Sintoma: Cores mudam entre vídeos consecutivos

Solução:

• Verifique se está usando o modelo correto (não FP8 text encoder)
• Aumente o overlap para 12-15 frames
• Use prompts que referenciem cores: "A mulher ainda vestindo blusa vermelha..."

Problema 4: Artefatos nas Mãos

Sintoma: Dedos extras, geometria estranha

Solução parcial:

• Evite prompts com "segurando objetos pequenos"
• Aumente parâmetro shift para 14-16
• Considere inpainting manual em pós-produção

Problema 5: Prédios/Objetos Artificiais

Sintoma: Texturas repetitivas, baixa qualidade visual

Solução:

• Aumente detalhes no prompt:

❌ "Cidade moderna"
✅ "Cidade moderna com arranha-céus de vidro espelhado, reflexos realistas, iluminação natural do pôr do sol, arquitetura variada"

Ajustes do Parâmetro Shift

O parâmetro shift afeta qualidade visual:

Conclusão e Próximos Passos

O LongCat Video representa um avanço significativo na geração de vídeos open source:

Principais Vantagens:

• 🎯 Modelo unificado simplifica workflows complexos
• ⚡ Geração rápida comparada a outros modelos
• 💰 Totalmente gratuito com licença MIT
• 🎬 Vídeos longos sem inconsistência de cor

Áreas para Melhorar:

• Prompt engineering requer mais experimentação
• Movimentos de câmera ainda não são intuitivos
• Alguns artefatos visuais (mãos, objetos pequenos)

Recursos para Download

• Workflow Avançado: Disponível no Discord da comunidade
• Modelos: Hugging Face - Kijai
• Tutorial em Vídeo: Episódio 44 da série ComfyUI

Apoie o Projeto

Este tutorial é totalmente gratuito (enquanto outros cobram $30+ por workflows similares). Se achou útil, considere apoiar criadores de conteúdo gratuito em suas comunidades.

Quer aprender mais sobre LongCat e ComfyUI?

• 📺 Assista ao Tutorial Completo em Vídeo
• 📚 Leia Mais Tutoriais de ComfyUI
• 💬 Junte-se à Comunidade no Discord

Tags: #ComfyUI #LongCatVideo #AIVideo #TextToVideo #ImageToVideo #OpenSource #Tutorial #Português