AnimateDiff: qué es, cómo usarlo en ComfyUI y si vale la pena en 2026
AnimateDiff explicado: el módulo open source que anima modelos de Stable Diffusion, qué GPU pide, cómo usarlo en ComfyUI y cuándo conviene en 2026.
- Empresa
- Yuwei Guo et al. (investigación académica, CUHK/Shanghai AI Lab)
- Modelo actual
- v3 / SparseCtrl
- Precio
- Gratis (open source)
- Gratis
- Totalmente gratis en local
- Audio nativo
- No
- Duración máx.
- —
- Resolución máx.
- 1024×1024
- App / API
- Web
En esta página
AnimateDiff es un módulo de movimiento de código abierto que convierte modelos de imagen de Stable Diffusion en generadores de animación, sin necesidad de reentrenarlos. Lo publicaron investigadores académicos en 2023 y fue aceptado como Spotlight en ICLR 2024. Es gratis, corre en tu GPU con 8 a 12 GB de VRAM y se usa casi siempre dentro de ComfyUI. En 2026 ya no es la opción para video realista, pero sigue siendo de las mejores para animación estilizada, loops y video a video con aspecto dibujado.
How to AI Animate. AnimateDiff in ComfyUI Tutorial.
Tutorial en inglés, paso a paso, para montar AnimateDiff dentro de ComfyUI.
¿Qué es AnimateDiff y cómo funciona?#
Un modelo de imagen como Stable Diffusion sabe dibujar un fotograma, pero no sabe cómo se mueven las cosas entre un fotograma y el siguiente. AnimateDiff añade esa pieza: un módulo de movimiento entrenado aparte que se inserta en el modelo de imagen y le enseña coherencia temporal. Según su repositorio oficial, funciona como un complemento «plug-and-play» sobre los modelos de la comunidad.
La consecuencia práctica es enorme para quien anima: todo el ecosistema de estilos de Stable Diffusion (checkpoints, LoRA, ControlNet) se vuelve animable. Si un modelo de imagen dibuja acuarela, anime de los 90 o grabado, AnimateDiff puede animarlo conservando ese estilo.
Versiones de AnimateDiff#
| Versión | Fecha | Qué aportó |
|---|---|---|
| v1 | julio de 2023 | primer módulo de movimiento para SD1.5 |
| v2 | septiembre de 2023 | MotionLoRA: 8 movimientos de cámara, unos 74 MB cada uno |
| SDXL-Beta | noviembre de 2023 | 16 fotogramas a 1024×1024 con unos 13 GB de VRAM |
| v3 + SparseCtrl | diciembre de 2023 | control por imagen RGB y por bocetos (scribble) |
No hay versiones nuevas del repositorio original desde finales de 2023. El desarrollo práctico continúa en la extensión AnimateDiff-Evolved para ComfyUI, que admite los módulos v1, v2 y v3 de SD1.5, AnimateDiff-SDXL, HotshotXL (unos 8 fotogramas), AnimateLCM, CameraCtrl y PIA.
¿AnimateDiff sigue valiendo la pena en 2026?#
Sí, para casos concretos. Los modelos nativos de video como Wan, LTX-Video o HunyuanVideo dominan hoy el realismo: generan movimiento más natural, a mayor resolución y con menos parpadeo. AnimateDiff juega en otra liga: es la herramienta para quien quiere un estilo de animación muy definido y control fino sobre él.
AnimateDiff no compite con Wan en realismo; compite en estilo. Si tu proyecto es un videoclip con estética de cuaderno de bocetos, un loop para redes o la conversión de un video real a anime con ControlNet, sigue siendo una opción gratuita con mucho control. Si necesitas una persona realista caminando por una calle, usa un modelo de video nativo.
¿Qué necesitas para usarlo?#
- GPU: 8 a 12 GB de VRAM para SD1.5; unos 13 GB para la versión SDXL. La extensión Evolved permite fp8 para reducir memoria.
- Sistema: Windows o Linux con NVIDIA es lo más directo; la extensión Evolved también funciona en Mac M1 a M3.
- Interfaz: ComfyUI, gratuita, con la extensión AnimateDiff-Evolved.
- Modelos: un checkpoint de Stable Diffusion 1.5 del estilo que busques y uno de los módulos de movimiento.
Cómo empezar en ComfyUI#
- Instala ComfyUI (la app de escritorio es la vía más sencilla) y añade la extensión AnimateDiff-Evolved.
- Descarga un módulo de movimiento de AnimateDiff (v2 o v3 para SD1.5) y un checkpoint SD1.5 con el estilo que quieres.
- Carga un workflow de ejemplo de la extensión: ya trae conectados el modelo, el módulo de movimiento y el guardado de video.
- Ajusta la ventana de contexto. AnimateDiff genera unos 16 fotogramas por ventana, alrededor de 2 segundos; con ventanas deslizantes encadenas clips más largos.
- Añade control si lo necesitas: MotionLoRA para movimientos de cámara, ControlNet para seguir un video, SparseCtrl para animar desde bocetos clave.
Make your own ANIME with this new mind-blowing AI TOOL! (ComfyUI Tutorial + FREE Workflows!)
Flujo en inglés para producir animación de estilo anime en ComfyUI con workflows descargables.
Tres usos donde AnimateDiff brilla#
Animación estilizada y anime. Con checkpoints y LoRA de anime de SD1.5 más ControlNet, AnimateDiff convierte un video de referencia en animación de aspecto dibujado. Es la versión abierta de lo que hacen herramientas de pago como DomoAI; la comparativa está en mejores IA para anime.
Animar desde bocetos. SparseCtrl, en v3, acepta bocetos o imágenes clave y genera el movimiento entre ellos. Para un animador es lo más cercano a dibujar fotogramas clave y dejar que la máquina haga los intercalados. Más técnicas en animar dibujos con IA.
Loops y video a video. Los loops cortos para redes y las transformaciones de un clip real, una forma de rotoscopia automática, son terreno natural de AnimateDiff porque el estilo pesa más que el realismo.
MotionLoRA y control de cámara#
Uno de los aportes más útiles de AnimateDiff v2 fueron los MotionLoRA: pequeños archivos, de unos 74 MB cada uno, que enseñan al módulo 8 movimientos de cámara concretos, como acercarse, alejarse o desplazarse en una dirección. Se cargan junto al módulo de movimiento y su fuerza se ajusta como la de cualquier LoRA. La extensión Evolved añade CameraCtrl para un control de cámara más preciso.
Desde el oficio, la regla es la misma que en un rodaje: un movimiento de cámara por plano. Combinar un zoom con un paneo y además un personaje que corre suele producir deformaciones, porque el módulo tiene que repartir poca coherencia temporal entre demasiadas cosas. Si necesitas una secuencia compleja, divídela en planos cortos y móntalos después. El vocabulario de cámara, con su equivalente en inglés para los prompts, está en la guía de movimientos de cámara.
¿Se puede usar comercialmente?#
La licencia del repositorio es Apache-2.0, una licencia que normalmente permite uso comercial, pero el README de AnimateDiff habla de uso académico. Además, cada checkpoint y LoRA de Stable Diffusion que combines tiene su propia licencia. Para un encargo comercial, revisa la licencia de cada pieza del flujo, no solo la de AnimateDiff. Si necesitas una licencia más clara, Wan 2.1 y 2.2 usan Apache 2.0 con uso comercial explícito.
Dónde falla AnimateDiff#
| Síntoma | Causa | Solución |
|---|---|---|
| Parpadeo entre fotogramas | coherencia temporal limitada del módulo | baja la fuerza de estilo, usa ControlNet o un paso de interpolación |
| Clips de 2 segundos | ventana de unos 16 fotogramas | ventanas de contexto deslizantes en Evolved |
| Caras que se deforman en movimiento | modelo de imagen sin datos de video | planos más abiertos o movimientos más lentos |
| Falta de memoria | SDXL o resoluciones altas | SD1.5, fp8 o menor resolución |
Otros límites: no genera audio, la resolución es la del modelo de imagen (hasta 1024×1024 en SDXL) y la curva técnica es la de ComfyUI.
¿AnimateDiff o Wan?#
- Si buscas estética dibujada y control de estilo, AnimateDiff con LoRA y ControlNet.
- Si buscas movimiento realista y uso comercial claro, Wan 2.2 en ComfyUI.
- Si no tienes GPU, ninguno de los dos en local: mira las opciones con créditos gratis en la guía para crear videos con IA.
Desde el oficio, AnimateDiff es la herramienta abierta que mejor respeta la cadencia y el estilo de la animación dibujada. El mapa completo de modelos libres está en IA de video open source, y el flujo 2D de principio a fin en animación 2D con IA.