LipSync Studio: animación de boca guiada por audio para Blender

Tres motores de análisis más un alineador Vosk opcional sin conexión, seis presets de rig de visemas (ARKit 52 / FACEIT / Preston Blair / MetaHuman / CC4 / Genérico), personajes multimalla, rigs con hueso de mandíbula, un driver de apertura de boca horneado, parpadeo e inactividad automáticos, intensidad según el volumen, punch-in por rango, envío a NLA, capa de emociones y descarga de Rhubarb con un clic.

Novedades de la v1.4.4: carga la línea de diálogo desde un archivo .txt: un botón junto al campo Dialog lee UTF-8 (con o sin BOM), UTF-16 y Windows-1252 y conserva todas las líneas, algo que pegar no consigue: los campos de texto de Blender solo conservan la primera línea del portapapeles. Ahora el panel muestra el motor junto al texto y avisa cuando ese motor lo ignora (solo Rhubarb y Vosk leen el texto del diálogo; Built-in y Whisper no), y cada análisis informa de qué motor se ejecutó y si se usó el texto. También es nuevo un motor Vosk opcional sin conexión que coloca cada palabra de tu texto sobre el audio. En nuestras grabaciones de prueba cerró los labios a tiempo en el 99,1-100 % de las palabras que empiezan por B, M o P, frente al 83,6-84,8 % de Rhubarb con el mismo texto. Las grabaciones de prueba son voces sintetizadas con tiempos de palabra conocidos; no disponemos de grabaciones de voz real con una referencia así, así que considera estas cifras un resultado de prueba y no una promesa para cada toma. Viene desactivado por defecto y se instala con un botón en su propia carpeta, con todas las descargas listadas antes de pulsarlo.

En la v1.4.3: los visemas se emparejan primero por familia de rig. En un conjunto ARKit de 52 formas, el mismo que hornea Faceit, buscar un código de visema en cualquier parte del nombre de una forma enviaba EE a una mejilla, OO a un párpado y RR a la nariz, de modo que solo se abría la mandíbula. Ahora el add-on reconoce la familia de tu rig y usa su propia tabla, y un visema ya no puede acabar en un ojo, una ceja, una mejilla o la nariz. Medido en un personaje de Faceit: 17 de 17 visemas correctos, 20 formas en movimiento en lugar de 14.

En la v1.4.1: los parpadeos automáticos y la micro inactividad ahora funcionan en rigs de control. Los drivers y las restricciones se evalúan después de las curvas F, por lo que los fotogramas clave insertados se sobrescribían en cada fotograma; ahora los parpadeos silencian los drivers de sus propias formas, y la inactividad se reproduce mediante una tira NLA aditiva.

Desde la v1.4.0: seis herramientas nuevas que llevan el resultado de «la boca se mueve» a «el plano está animado». Hornea un valor de apertura de boca con el que puedes controlar cualquier shader u objeto, añade parpadeos naturales y una inactividad sutil, controla un hueso de mandíbula en rigs sin shape keys de boca, copia un análisis a todos los personajes seleccionados a la vez, escala la boca según el volumen del habla y vuelve a hornear solo una frase dentro de un rango de fotogramas sin tocar el resto.

Desde la v1.3.0: los personajes multimalla se animan como uno solo: cuando una cara de Faceit o ARKit está dividida en varias mallas que comparten los mismos blendshapes (cabeza, barba, cejas, lengua, dientes), LipSync Studio controla la boca de todas ellas de forma sincronizada. Sobre la base de la v1.2.0: compatibilidad total con ARKit / Faceit / MetaHuman con shape keys izquierda y derecha separadas, el preset FACEIT asignado a los blendshapes de ARKit que hornea el Faceit actual y un flujo de trabajo Push-to-NLA totalmente reversible.

---

Por qué LipSync Studio

La animación de la boca es una de las tareas más costosas en el trabajo con personajes, y los add-ons de Blender existentes o llegan con una descarga de 30 MB que ningún marketplace permite, o te obligan a instalar herramientas adicionales a mano. LipSync Studio toma el camino intermedio: un add-on diminuto que descarga solo el binario que necesitas la primera vez que se ejecuta, elige un preset de visemas que coincide con tu rig actual y hornea el resultado en una tira NLA que puedes mezclar con el resto de la interpretación.

---

Características

Motores de análisis

• Built-in: análisis de energía. Rápido, independiente del idioma, menos preciso.
• Rhubarb Lip Sync: preciso a nivel de fonemas, asistido por texto. Descarga con un clic.
• OpenAI Whisper: voz a texto más fonemas (solo inglés).
• Vosk (opcional): alineación sin conexión palabra por palabra de tu texto de diálogo, en inglés. Desactivado por defecto; un botón descarga libvosk, un modelo en inglés de 39 MB y el diccionario CMUdict en su propia carpeta. Sin pip, sin cuenta, sin clave, sin nube.

Descarga de Rhubarb con un clic

Detecta automáticamente tu plataforma (Windows, macOS Intel, macOS Apple Silicon, Linux), obtiene la versión oficial y la configura automáticamente. Unos 8 MB en lugar de incluir 30 MB en la descarga.

Seis presets de rig de visemas

Asignación con un clic que rellena los 17 espacios de visemas con los nombres de shape keys que ya usa tu rig:

• Generic: nomenclatura de visemas predeterminada de Blender
• ARKit 52: Apple ARKit / Live Link Face / captura con iPhone
• FACEIT: el add-on FACEIT para Blender
• Preston Blair: el clásico conjunto de 9 formas de los animadores
• MetaHuman: rig de control Epic MetaHuman / Live Link Face
• CC4: Reallusion Character Creator 4 / iClone 8

La detección automática analiza los nombres de tus shape keys y los asigna automáticamente cuando ningún preset encaja.

Personajes multimalla

Los personajes de Faceit y ARKit suelen dividir una cara en varias mallas que comparten los mismos blendshapes: una cabeza, barba, cejas, lengua o dientes por separado. LipSync Studio aplica la misma animación de visemas a cada malla del personaje que tenga shape keys coincidentes, de modo que todo el rostro habla a la vez. Cada malla resuelve sus propios nombres de shape keys (incluidas las mitades izquierda y derecha) y los drivers de su rig de control se gestionan por malla, así que la boca se abre de forma fiable incluso cuando el vello facial la cubre. Una sola casilla en Ajustes lo activa o desactiva; cuando está desactivada, solo se anima la malla seleccionada. Clear elimina la animación de todas las mallas que tocó y restaura los drivers que silenció.

Driver de apertura de boca horneado (nuevo)

Hornea en el personaje, como propiedad personalizada, un valor de apertura de boca de 0 a 1 con fotogramas clave que sigue cuánto está abierta la boca en cada fotograma (las vocales abiertas dan valores altos; las formas cerradas y de labios apretados, casi cero). Añade un driver a partir de él para una entrada de shader, un hueso de mandíbula, un jiggle, un correctivo o un segundo personaje: una única señal de habla fiable que puedes conectar a cualquier parte. Funciona por sí solo o automáticamente al construir.

Parpadeo automático y micro inactividad (nuevo)

Añade parpadeos naturales en las shape keys eyeBlink (ARKit izquierda y derecha, o una única forma de parpadeo) a intervalos ligeramente aleatorios, cada uno un cierre y apertura rápidos. Una micro inactividad opcional añade un suave balanceo de cabeza para que el personaje nunca esté perfectamente quieto, de forma conservadora para que nunca entre en conflicto con la sincronización labial. El tempo es reproducible, así que una reconstrucción da la misma interpretación.

Rigs con hueso de mandíbula (nuevo)

Para rigs cuya boca es un hueso y no shape keys: elige el tipo de rig Jaw Bone, selecciona el armature y el hueso de la mandíbula, y LipSync Studio rota la mandíbula abriéndola y cerrándola al ritmo del habla, muy abierta en vocales abiertas y cerrada en las formas de labios apretados y de reposo, con un eje de apertura seleccionable y un ángulo máximo.

Copiar a otros personajes (nuevo)

Analiza una pista de audio, selecciona cualquier número de mallas de otros personajes y construye la misma sincronización labial en todos con un clic. Cada personaje resuelve sus propios nombres de shape keys mediante su preset, de modo que una multitud o un interlocutor pueden compartir un único análisis.

Intensidad según el volumen (nuevo)

Escala cada fotograma clave de visema según lo fuerte que suene el habla en ese momento: un grito abre mucho la boca, un susurro la mantiene pequeña. Un control deslizante de fuerza mezcla entre una interpretación plana y una totalmente guiada por el volumen.

Re-horneado por rango / punch-in (nuevo)

Itera sobre una sola frase. Activa Limit to Range, define un fotograma inicial y final y vuelve a hornear solo esa ventana: cada fotograma clave fuera de ella queda exactamente como estaba. Ajusta la intensidad o la mezcla en una línea sin alterar el resto de la toma.

Push to NLA

Tras construir, envía la acción de sincronización labial a una tira NLA dedicada en la pista de shape keys de cada malla animada para que se mezcle con otras acciones (respiración en reposo, capas de expresión). Totalmente reversible.

Capa de emociones

Expresión aditiva Happy / Sad / Angry / Surprised con fotogramas clave sobre el habla, con un control deslizante de fuerza ajustable. Usa shape keys de emociones con nombre: renómbralas para adaptarlas a tu rig.

Análisis modal con hilos

Whisper, Rhubarb y Vosk se ejecutan en hilos de trabajo controlados por un temporizador modal: la interfaz de Blender sigue respondiendo durante los análisis de audio largos.

Mezcla automática

Entrada y salida suavizadas configurables por cada fotograma clave de visema, con multiplicador de intensidad ajustable.

Resultado limpio y editable

Las nuevas ejecuciones sobrescriben la acción de sincronización labial existente en lugar de generar copias duplicadas numeradas que engordan el archivo de la escena.

Errores de audio en lenguaje claro

Un audio dañado, un archivo que falta o un códec no compatible ahora informan de una causa clara en lugar de un error de Python.

Exportación: FBX / glTF / JSON

Envía el resultado a Unity (FBX con animación de shape keys), Unreal (FBX) o a cualquier pipeline personalizado (línea de tiempo de visemas en JSON).

---

Compatibilidad

• Blender: 4.2 LTS y posteriores (probado en 4.2, 5.1 y 5.2)
• SO: Windows / macOS (Intel y Apple Silicon) / Linux
• Rhubarb: cualquier compilación reciente (descárgala desde el panel de preferencias)
• Whisper: el paquete OpenAI Whisper en el Python de Blender (solo inglés)
• Vosk (opcional): Windows x64, macOS (Apple Silicon e Intel), Linux x64; inglés

---

Qué incluye

• Add-on LipSync Studio (solo Python, sin binarios en la descarga)
• Seis presets de visemas listos para usar
• Descargador de Rhubarb con un clic
• README con una guía de inicio rápido completa
• Actualizaciones gratuitas para la v1.x
• Soporte mediante mensajes del marketplace

---

Instalación

Preferences, Add-ons, Install, elige el ZIP descargado y actívalo. La pestaña LipSync aparece en la barra lateral del 3D Viewport (pulsa N).

Para el análisis con Rhubarb: abre las preferencias del add-on y haz clic en Download Rhubarb. Se descarga el binario adecuado para tu plataforma (unos 8 MB).

---

Licencia

GPL-3.0. Estándar para los add-ons de Blender. El propio Rhubarb es MIT: puedes distribuir la animación resultante en cualquier proyecto comercial.