LipSync Studio : animation de la bouche pilotée par l'audio pour Blender

Trois moteurs d'analyse plus un aligneur Vosk hors ligne optionnel, six préréglages de rig de visèmes (ARKit 52 / FACEIT / Preston Blair / MetaHuman / CC4 / Générique), personnages multi-maillages, rigs à os de mâchoire, un driver d'ouverture de bouche pré-calculé, clignements et mouvements au repos automatiques, intensité selon le volume, punch-in par plage, envoi vers NLA, calque d'émotions et téléchargement de Rhubarb en un clic.

Nouveautés de la v1.4.4 : chargez la ligne de dialogue depuis un fichier .txt : un bouton à côté du champ Dialog lit l'UTF-8 (avec ou sans BOM), l'UTF-16 et le Windows-1252 et conserve toutes les lignes, ce que le copier-coller ne permet pas : les champs de texte de Blender ne conservent que la première ligne du presse-papiers. Le panneau affiche désormais le moteur à côté du texte et vous avertit lorsque ce moteur l'ignore (seuls Rhubarb et Vosk lisent le texte du dialogue ; Built-in et Whisper ne le lisent pas), et chaque analyse indique quel moteur a été exécuté et si le texte a été utilisé. Nouveau également : un moteur Vosk hors ligne optionnel qui place chaque mot de votre texte sur l'audio. Sur nos enregistrements de test, il a fermé les lèvres au bon moment sur 99,1 à 100 % des mots commençant par B, M ou P, contre 83,6 à 84,8 % pour Rhubarb avec le même texte. Les enregistrements de test sont des voix synthétisées dont les durées de mots sont connues ; nous n'avons pas d'enregistrements de voix réelles avec une telle référence, considérez donc ces chiffres comme un résultat de test et non comme une promesse pour chaque prise. Il est désactivé par défaut et s'installe en un clic dans son propre dossier, avec la liste de chaque téléchargement affichée avant que vous ne cliquiez.

Dans la v1.4.3 : les visèmes sont d'abord associés par famille de rig. Sur un jeu ARKit de 52 formes, celui que génère Faceit, rechercher un code de visème n'importe où dans le nom d'une forme envoyait EE sur une joue, OO sur une paupière et RR sur le nez, si bien que seule la mâchoire s'ouvrait. L'add-on reconnaît désormais la famille de votre rig et utilise sa propre table, et un visème ne peut plus atterrir sur un œil, un sourcil, une joue ou un nez. Mesuré sur un personnage Faceit : 17 visèmes sur 17 corrects, 20 formes en mouvement au lieu de 14.

Dans la v1.4.1 : les clignements automatiques et les micro-mouvements au repos fonctionnent désormais sur les rigs de contrôle. Les drivers et les contraintes sont évalués après les courbes F, de sorte que les clés insérées étaient écrasées à chaque image ; les clignements désactivent désormais les drivers de leurs propres formes, et le repos est joué via une bande NLA additive.

Depuis la v1.4.0 : six nouveaux outils qui font passer le résultat de « la bouche bouge » à « le plan est animé ». Pré-calculez une valeur d'ouverture de bouche avec laquelle vous pouvez piloter n'importe quel shader ou objet, ajoutez des clignements d'yeux naturels et un mouvement subtil au repos, pilotez un os de mâchoire pour les rigs sans shape keys de bouche, copiez une analyse sur tous les personnages sélectionnés en une fois, adaptez l'amplitude de la bouche à la force de la voix et recalculez une seule phrase dans une plage d'images sans toucher au reste.

Depuis la v1.3.0 : les personnages multi-maillages s'animent comme un seul : lorsqu'un visage Faceit ou ARKit est réparti sur plusieurs maillages partageant les mêmes blendshapes (tête, barbe, sourcils, langue, dents), LipSync Studio pilote la bouche de chacun d'eux de façon synchronisée. En s'appuyant sur la v1.2.0 : prise en charge complète d'ARKit / Faceit / MetaHuman avec shape keys gauche et droite séparées, préréglage FACEIT associé aux blendshapes ARKit que génère le Faceit actuel et un flux de travail Push-to-NLA entièrement réversible.

---

Pourquoi LipSync Studio

L'animation de la bouche est l'une des tâches les plus coûteuses du travail sur les personnages, et les add-ons Blender existants imposent soit un téléchargement de 30 Mo qu'aucune place de marché n'autorise, soit l'installation manuelle d'outils supplémentaires. LipSync Studio choisit la voie du milieu : un add-on minuscule qui ne télécharge que le binaire dont vous avez besoin au premier lancement, sélectionne un préréglage de visèmes correspondant à votre rig existant et pré-calcule le résultat dans une bande NLA que vous pouvez mélanger au reste de la performance.

---

Fonctionnalités

Moteurs d'analyse

• Built-in : analyse d'énergie. Rapide, indépendante de la langue, moins précise.
• Rhubarb Lip Sync : précis au niveau des phonèmes, assisté par le texte. Téléchargement en un clic.
• OpenAI Whisper : reconnaissance vocale plus phonèmes (anglais uniquement).
• Vosk (optionnel) : alignement hors ligne mot par mot de votre texte de dialogue, en anglais. Désactivé par défaut ; un bouton télécharge libvosk, un modèle anglais de 39 Mo et le dictionnaire CMUdict dans son propre dossier. Sans pip, sans compte, sans clé, sans cloud.

Téléchargement de Rhubarb en un clic

Détecte automatiquement votre plateforme (Windows, macOS Intel, macOS Apple Silicon, Linux), récupère la version officielle et la configure automatiquement. Environ 8 Mo au lieu d'inclure 30 Mo dans le téléchargement.

Six préréglages de rig de visèmes

Une association en un clic qui remplit les 17 emplacements de visèmes avec les noms de shape keys que votre rig utilise déjà :

• Generic : nomenclature de visèmes par défaut de Blender
• ARKit 52 : Apple ARKit / Live Link Face / capture iPhone
• FACEIT : l'add-on FACEIT pour Blender
• Preston Blair : le classique jeu de 9 formes des animateurs
• MetaHuman : rig de contrôle Epic MetaHuman / Live Link Face
• CC4 : Reallusion Character Creator 4 / iClone 8

La détection automatique analyse les noms de vos shape keys et les associe automatiquement lorsqu'aucun préréglage ne convient.

Personnages multi-maillages

Les personnages Faceit et ARKit répartissent souvent un visage sur plusieurs maillages qui portent tous les mêmes blendshapes : une tête, une barbe, des sourcils, une langue ou des dents séparés. LipSync Studio applique la même animation de visèmes à chaque maillage du personnage ayant des shape keys correspondantes, pour que tout le visage parle ensemble. Chaque maillage résout ses propres noms de shape keys (moitiés gauche et droite comprises) et les drivers de son rig de contrôle sont gérés maillage par maillage, de sorte que la bouche s'ouvre de façon fiable même lorsque la pilosité faciale la recouvre. Une seule case à cocher dans les Paramètres l'active ou la désactive ; désactivée, seul le maillage sélectionné est animé. Clear supprime l'animation de tous les maillages touchés et rétablit les drivers qu'il avait désactivés.

Driver d'ouverture de bouche pré-calculé (nouveau)

Pré-calculez sur le personnage, comme propriété personnalisée, une valeur d'ouverture de bouche de 0 à 1 avec des clés d'animation, qui suit le degré d'ouverture de la bouche à chaque image (les voyelles ouvertes donnent des valeurs élevées, les formes fermées et lèvres pressées des valeurs proches de zéro). Ajoutez un driver à partir de cette valeur pour une entrée de shader, un os de mâchoire, un jiggle, un correctif ou un deuxième personnage : un signal de parole fiable que vous pouvez brancher n'importe où. Fonctionne seul ou automatiquement lors du Build.

Clignements automatiques et micro-mouvements au repos (nouveau)

Ajoute des clignements d'yeux naturels sur les shape keys eyeBlink (ARKit gauche et droite, ou une seule forme de clignement) à des intervalles légèrement aléatoires, chacun étant une fermeture et une ouverture rapides. Un micro-mouvement au repos optionnel ajoute un léger balancement de la tête pour que le personnage ne soit jamais parfaitement immobile, de façon mesurée pour ne jamais entrer en conflit avec la synchronisation labiale. Le timing est reproductible : une reconstruction donne la même performance.

Rigs à os de mâchoire (nouveau)

Pour les rigs dont la bouche est un os plutôt que des shape keys : choisissez le type de rig Jaw Bone, sélectionnez l'armature et l'os de la mâchoire, et LipSync Studio fait pivoter la mâchoire pour l'ouvrir et la fermer en rythme avec la parole, grande ouverte sur les voyelles ouvertes, fermée sur les formes lèvres pressées et de repos, avec un axe d'ouverture sélectionnable et un angle maximal.

Copie vers d'autres personnages (nouveau)

Analysez une piste audio, sélectionnez autant de maillages d'autres personnages que vous le souhaitez, et construisez la même synchronisation labiale sur tous en un clic. Chaque personnage résout ses propres noms de shape keys via son préréglage, de sorte qu'une foule ou un partenaire de dialogue peuvent partager une seule analyse.

Intensité selon le volume (nouveau)

Adaptez chaque clé de visème à la force de la voix à cet instant : un cri ouvre grand la bouche, un chuchotement la garde petite. Un curseur de force permet de passer d'une performance uniforme à une performance entièrement pilotée par le volume.

Recalcul par plage / punch-in (nouveau)

Itérez sur une seule phrase. Activez Limit to Range, définissez une image de début et de fin, et recalculez uniquement cette fenêtre : toutes les clés en dehors restent exactement comme elles étaient. Ajustez l'intensité ou le mélange sur une ligne sans perturber le reste de la prise.

Push to NLA

Après le Build, envoyez l'action de synchronisation labiale dans une bande NLA dédiée sur la piste de shape keys de chaque maillage animé afin qu'elle se mélange avec d'autres actions (respiration au repos, calques d'expression). Entièrement réversible.

Calque d'émotions

Expression additive Happy / Sad / Angry / Surprised animée par clés par-dessus la parole, avec un curseur de force réglable. Utilise des shape keys d'émotion nommées : renommez-les pour les adapter à votre rig.

Analyse modale multithread

Whisper, Rhubarb et Vosk s'exécutent dans des threads de travail pilotés par un minuteur modal : l'interface de Blender reste réactive pendant les longues analyses audio.

Mélange automatique

Entrée et sortie progressives configurables pour chaque clé de visème, avec multiplicateur d'intensité réglable.

Résultat propre et modifiable

Les nouvelles exécutions écrasent l'action de synchronisation labiale existante au lieu de laisser s'accumuler des copies numérotées en double qui alourdissent le fichier de la scène.

Erreurs audio en langage clair

Un audio corrompu, un fichier manquant ou un codec non pris en charge indiquent désormais une cause claire au lieu d'une erreur Python.

Export : FBX / glTF / JSON

Envoyez le résultat vers Unity (FBX avec animation de shape keys), Unreal (FBX) ou tout pipeline personnalisé (chronologie de visèmes en JSON).

---

Compatibilité

• Blender : 4.2 LTS et versions ultérieures (testé sur 4.2, 5.1 et 5.2)
• Système : Windows / macOS (Intel et Apple Silicon) / Linux
• Rhubarb : toute version récente (à télécharger depuis le panneau des préférences)
• Whisper : le paquet OpenAI Whisper dans le Python de Blender (anglais uniquement)
• Vosk (optionnel) : Windows x64, macOS (Apple Silicon et Intel), Linux x64 ; anglais

---

Ce que vous obtenez

• L'add-on LipSync Studio (Python uniquement, aucun binaire dans le téléchargement)
• Six préréglages de visèmes prêts à l'emploi
• Téléchargeur de Rhubarb en un clic
• README avec un guide de démarrage rapide complet
• Mises à jour gratuites pour la v1.x
• Assistance via la messagerie de la place de marché

---

Installation

Preferences, Add-ons, Install, choisissez le ZIP téléchargé, activez-le. L'onglet LipSync apparaît dans la barre latérale du 3D Viewport (appuyez sur N).

Pour l'analyse avec Rhubarb : ouvrez les préférences de l'add-on et cliquez sur Download Rhubarb. Le binaire adapté à votre plateforme est récupéré (environ 8 Mo).

---

Licence

GPL-3.0. Standard pour les add-ons Blender. Rhubarb lui-même est sous licence MIT : vous pouvez diffuser l'animation obtenue dans n'importe quel projet commercial.