MoCap AI - Capture de mouvement vidéo vers armature pour Blender

Suivi du corps, du visage et des mains avec MediaPipe et retargeting. 100 % local sur votre machine. Pas de cloud, pas de combinaison à marqueurs, aucun réseau pendant la capture : juste une vidéo et un clic.

---

Pourquoi MoCap AI

La capture de mouvement traditionnelle exige une combinaison, un plateau et un budget à cinq chiffres. L'estimation de pose par IA fonctionne avec des images ordinaires de téléphone ou de webcam et suffit amplement pour des personnages de jeux indépendants, des influenceurs virtuels et le blocking d'animatiques. MoCap AI l'intègre au système d'animation de Blender avec un retargeting soigné, de sorte que le résultat s'applique directement à votre rig existant. Tout s'exécute sur votre propre ordinateur avec Google MediaPipe : vos images ne quittent jamais la machine.

---

Fonctionnalités

• Capture locale avec MediaPipe (interface Tasks moderne) : os du corps, du visage et des mains, ou corps entier ; les modèles de repères sont inclus, la capture fonctionne donc entièrement hors ligne
• La pose est calculée, pas copiée. La rotation de chaque os est résolue en partant du parent, selon l'évaluation propre à Blender de votre rig, puis vérifiée par rapport à celle-ci, si bien qu'un os pointe là où le tracker indique que le membre pointe ; mesuré sur des rigs aux poses de repos, bone rolls et os auxiliaires différents. Les articulations que le tracker ne voit pas sont laissées telles quelles au lieu de recevoir une estimation
• Le personnage reste au sol. Keep on Ground (activé par défaut) déduit la hauteur du bassin des propres membres du rig, de sorte que les pieds ne flottent ni ne s'enfoncent ; désactivez-le pour capturer des sauts et des marches avec une caméra fixe. Les coupes de caméra et les zooms ne sont pas interprétés comme du mouvement
• Votre scène n'est pas devinée. La capture anime le Target que vous choisissez, l'armature active ou la seule armature présente, n'en crée une que dans une scène qui n'en a aucune, conserve l'action que le rig possédait déjà et rétablit le rig et la fréquence d'images de la scène si elle ne peut pas aboutir
• Les rigs faciaux Faceit, ARKit et MetaHuman sont pilotés directement. Le modèle de visage inclus prédit l'ensemble d'expressions ARKit par nom, de sorte que les valeurs capturées arrivent sur les shape keys que votre personnage possède déjà, sans rien à associer à la main. MoCap AI ne crée jamais de shape keys : un maillage sans shape keys ARKit ne reçoit aucune animation faciale, et le panneau Results l'indique
• Les drivers des shape keys animées sont mis en sourdine, afin qu'un rig de contrôle n'écrase pas silencieusement le visage capturé
• Installation des dépendances en un clic depuis le panneau ou depuis Add-on Preferences, dans les versions avec lesquelles MoCap AI est testé, dans un dossier dédié (environ 300 Mo). Les fichiers propres à Blender ne sont pas modifiés ; Cancel Install l'arrête et Remove Packages supprime à nouveau le dossier
• Contrôles de plage et de pas d'images pour les captures partielles. Quelle que soit la fréquence d'images de la scène, le clip dure dans Blender aussi longtemps que dans la vidéo : la scène adopte la fréquence de la vidéo, ou le mouvement est rééchantillonné sur les images de la scène. Les simulations, les geometry nodes, les images Grease Pencil et le séquenceur ne sont pas pris en compte ; pour de telles scènes, réglez Timing sur Keep Scene FPS.
• Model Accuracy (Fast, Balanced, Accurate) et Detection Confidence : de véritables options MediaPipe dans Preferences
• Smoothing : filtre gaussien sur les courbes des os (None, Low, Medium, High). Il adoucit les mouvements rapides ; None conserve chaque image telle que suivie. Remove Jitter ne nivelle que les canaux au repos
• Retargeting vers Rigify, Auto-Rig Pro et Mixamo d'après leurs propres noms de contrôles (le type de rig est reconnu à partir du rig) et vers d'autres rigs humanoïdes d'après la partie du corps indiquée dans le nom de l'os. Les membres Rigify sont basculés en FK afin que les rotations clés atteignent le maillage
• Doigts sur les rigs qui ont des os de doigts
• Fix Foot Sliding (désactivé par défaut) maintient le pied d'appui là où il a touché le sol en corrigeant le déplacement de la racine, pour les plans où un pied reste posé la plupart du temps
• Traitement par lots : mettez plusieurs vidéos en file d'attente ; chacune produit sa propre action de corps et sa propre action de visage
• Curseur d'attente et indicateur de progression pendant les longues captures

---

Compatibilité

• Blender : 4.2 LTS, 5.1 et 5.2, capture comprise.
• Système : Windows et macOS sont testés en conditions réelles. Linux utilise le même code et les mêmes builds MediaPipe, mais nous ne l'avons pas exécuté nous-mêmes.
• Dépendances : les paquets Python gratuits MediaPipe et OpenCV (tous deux entièrement exécutés sur l'appareil), installés d'un seul bouton dans un dossier propre à l'add-on. Les modèles de repères sont livrés dans l'add-on, il n'y a donc aucun téléchargement de modèle séparé. Sur Blender 4.2, dont le NumPy propre est en 1.x, la session utilise NumPy 2 depuis ce dossier tant que MoCap AI est activé ; sur Blender 5.x, le NumPy propre à Blender est utilisé.

---

Ce que vous recevez

• L'add-on MoCap AI. Son propre code est en Python ; les paquets MediaPipe et OpenCV qu'il installe contiennent des bibliothèques compilées
• README avec guide de démarrage rapide et d'installation
• Mises à jour gratuites pour la série 1.x
• Assistance via la messagerie de la marketplace

---

Limites

• La capture s'exécute sur le thread principal ; les longues vidéos bloquent l'interface pendant que l'indicateur de progression avance.
• Un seul interprète est suivi. Le déplacement vers la caméra ou en s'en éloignant n'est pas capturé, pas plus que la torsion le long de l'axe propre d'un membre.
• Avec Keep on Ground activé (le réglage par défaut), rien ne quitte le sol : les sauts, les montées de marches et le fait de s'asseoir sur une chaise ressortent au niveau du sol. Désactivé, la caméra ne doit pas bouger et l'interprète doit se tenir debout sur le sol pendant une partie du clip.
• La perception de la profondeur du tracker est approximative : un interprète debout et droit ressort généralement penché de 10 à 20 degrés vers l'avant.
• Une webcam n'est pas lue en direct : enregistrez le clip, puis traitez le fichier.
• Les noms de contrôles d'Auto-Rig Pro sont intégrés, mais ce rig ne fait pas partie de notre jeu de tests ; Rigify, les rigs aux noms Mixamo et un humanoïde simple, si.
• La capture faciale pilote des shape keys ARKit qui existent déjà sur votre maillage ; elle ne les crée ni ne les sculpte. Faceit et des outils comparables les créent.

---

Installation

Ouvrez Edit, puis Preferences, puis Add-ons, puis Install from Disk. Choisissez le ZIP de l'add-on MoCap AI et activez-le. Appuyez sur la touche N dans le 3D Viewport pour ouvrir l'onglet MoCap AI, puis cliquez sur Install MediaPipe and OpenCV : il télécharge les deux dans les versions testées (environ 300 Mo), dans un dossier dédié, sans modifier les fichiers propres à Blender. Les modèles de repères sont déjà dans le ZIP. Les instructions pour une installation manuelle sur une machine sans accès à internet figurent dans le README inclus.

---

Journal des modifications : version 1.3.0

• Le squelette adopte désormais la pose indiquée par le tracker. Les rotations étaient calculées dans l'espace de l'armature et écrites comme rotations locales des os, en ignorant la hiérarchie des os : des clés étaient écrites, les os bougeaient, et la pose n'était pas celle de la vidéo. Mesuré sur un clip réel, un os pointait en moyenne à 74 degrés de la direction donnée par le tracker pour son membre, et à 89 sur Rigify, où une direction aléatoire donne 90. La pose est maintenant résolue en partant du parent, selon l'évaluation propre à Blender du rig, et vérifiée par rapport à celle-ci. Sur notre clip de test de 120 images, avec Smoothing réglé sur None, le même angle sur 10 os de membres est de 0,0 degré sur l'armature de MoCap AI, sur un humanoïde simple, sur un rig aux noms Mixamo et sur les os déformants d'un rig Rigify ; avec le Smoothing Medium par défaut, il est en moyenne de 1,4 degré et atteint 24 sur les images les plus rapides. Cela mesure que le rig fait ce que dit le tracker, pas à quel point le tracker a raison.
• Le bouton Install va jusqu'au bout sous Windows. La sortie de l'installateur allait dans un tube qui n'était lu qu'après la fin de l'installateur ; il le remplissait, se bloquait, et le bouton affichait « téléchargement » indéfiniment. Mesuré sous Windows 11 : 25 minutes, rien d'installé. La sortie est maintenant lue en continu et affichée dans la barre d'état. Le bouton est désactivé pendant une installation, Cancel Install l'arrête, un dossier incomplet est reconnu comme tel, et un bouton Remove Packages supprime le dossier.
• La capture fonctionne sur Blender 5.1 et 5.2. L'add-on refusait d'y capturer, en affirmant que MediaPipe n'avait pas de build pour Python 3.13. Il en a un depuis la 0.10.30. Sur Blender 5.x, MediaPipe utilise désormais le NumPy propre à Blender.
• Une première capture ne se termine plus par un traceback. Les images étaient écrites dans un dossier de cache dont la valeur par défaut pointait vers un emplacement non inscriptible dans un fichier jamais enregistré. Les images sont maintenant décodées en mémoire ; le cache, sa préférence et le bouton Clear Frame Cache ont disparu, tout comme les quelque 2 Mo par image qu'il laissait sur le disque.
• Le personnage reste au sol. La hauteur de la racine est déduite des propres membres du rig (Keep on Ground, activé par défaut) ou, s'il est désactivé, des membres plus la distance à laquelle l'image montre le corps au-dessus du sol, au lieu de la position du bassin dans l'image. Les coupes de caméra et les zooms ne sont pas interprétés comme un interprète qui vole, et le déplacement et la hauteur des sauts sont mis à l'échelle selon la longueur des jambes. Sur le clip de test, qui comporte une coupe, les pieds restent à moins de 2 mm du sol sur les 120 images avec les réglages par défaut.
• L'armature n'est jamais devinée. Avec plusieurs armatures dans la scène et aucune choisie, la capture prenait la première et remplaçait son action. Elle s'arrête maintenant et indique quoi choisir ; chaque bouton suit la même règle, et un rig Rigify, Auto-Rig Pro ou Mixamo est reconnu sans qu'on le lui dise. Une action que le rig possédait déjà est conservée avec un fake user, et une capture qui échoue remet le rig et la fréquence d'images de la scène comme ils étaient.
• Les doigts et les membres bougent sur Rigify. Les clés des doigts allaient aux os DEF, qui copient d'autres os via des contraintes et ignorent leurs propres clés, et chaque chaîne de doigts commençait une articulation trop tôt. Les clés vont maintenant aux contrôles des doigts. Les membres sont basculés en FK, en capture comme dans Retarget Animation, afin que les rotations clés atteignent le maillage.
• Les articulations hors champ sont laissées telles quelles au lieu de recevoir l'estimation du tracker. Dans une vidéo en plan taille, les jambes restent au repos.
• Le clip garde sa durée. Une vidéo à 30 fps dans une scène à 24 fps durait 5 secondes au lieu de 4. Timing décide si la scène adopte la fréquence d'images de la vidéo ou si le mouvement est rééchantillonné sur les images de la scène ; la fréquence de la scène n'est pas modifiée lorsque d'autres animations s'y trouvent, sauf si vous le demandez. Les simulations, les geometry nodes, les images Grease Pencil et le séquenceur ne sont pas pris en compte ; pour de telles scènes, réglez Timing sur Keep Scene FPS.
• Visage : rien n'est créé, et rien ne reste. Un maillage sans shape keys ARKit n'en reçoit plus huit vides. Chaque capture écrit son visage dans une nouvelle action, de sorte qu'un clip plus court ne garde plus la fin d'un clip antérieur plus long, et un lot donne à chaque vidéo sa propre action de visage. L'estimation de huit expressions à partir des distances entre repères a été supprimée.
• Un os ne tourne plus sur lui-même quand sa cible est opposée à sa direction de repos. Des bras au repos pendants, puis levés au-dessus de la tête, pivotaient jusqu'à 175 degrés en une seule image. Sur un bras qui décrit des cercles au-dessus de la tête, la rotation varie maintenant de 2 à 12 degrés par image, un mouvement répété se répète exactement, et un bras levé et maintenu immobile reste immobile.
• Fix Foot Sliding fait quelque chose. Il cherchait des clés de position sur les pieds, n'en trouvait aucune, ne changeait rien et annonçait un succès. Il maintient maintenant le pied d'appui en corrigeant la racine, est désactivé par défaut et est décrit pour ce qu'il est : un outil pour les plans où un pied reste posé la plupart du temps.
• Smoothing n'exécute plus Remove Jitter dans votre dos. Medium transformait un mouvement lent et régulier en escalier. Remove Jitter est son propre bouton et ne nivelle que les canaux au repos.
• Preview Video fonctionne. Il échouait à chaque pression, après avoir modifié la plage d'images de la scène et chargé une autre copie du clip.
• La gauche est la gauche : l'armature propre à MoCap AI avait les bras en miroir et un torse de 0,3 m, et la profondeur était inversée. Les visages sont trouvés dans les plans en pied en réexaminant la zone de la tête. Un seul paquet OpenCV est installé, et OpenCV et NumPy sont bornés en version comme MediaPipe. Ce qu'une capture a modifié ou n'a pas pu faire est indiqué dans le panneau Results. Batch Add, Remove et Clear peuvent être annulés.

---

Journal des modifications : version 1.2.0

• La capture faciale ne survivait pas à un visage détecté. Une valeur de visibilité vide sur les repères du visage provoquait une erreur dès la première image où un visage était réellement trouvé, et la capture plantait. Corrigé, et verrouillé par un test de régression.
• MediaPipe 1.0 n'entraîne plus Blender dans sa chute. Ce build interrompt le processus au chargement d'un modèle de capture : Blender se ferme sans erreur et sans possibilité d'enregistrer, et aucun add-on ne peut l'intercepter. MoCap AI lit désormais la version installée avant de toucher à l'interface de capture et refuse, avec un message clair, au lieu de continuer.
• Installation des dépendances en un clic dans Add-on Preferences, dans les versions avec lesquelles MoCap AI est testé, dans le dossier propre à MoCap AI. En cas d'échec, elle rapporte ce que l'installateur a réellement dit, et indique quand un redémarrage est nécessaire.
• La capture faciale pilote directement les shape keys ARKit : les rigs Faceit, ARKit et MetaHuman sont animés avec les noms qu'ils utilisent déjà, lus depuis la tête d'expressions propre au modèle inclus au lieu d'être estimés à partir des distances entre repères. Les drivers de ces canaux sont mis en sourdine pour que la capture ne soit pas écrasée silencieusement.
• Les canaux prédits pour lesquels votre rig n'a pas de shape key sont nommés dans le rapport ; une capture qui n'a trouvé aucun visage le dit au lieu d'annoncer un succès.
• Les longs messages du panneau passent à la ligne selon la largeur du panneau au lieu d'être coupés en plein milieu.

---

Journal des modifications : version 1.1.0

• Migration de la capture vers l'interface Tasks moderne de MediaPipe, afin qu'elle fonctionne avec les versions actuelles de MediaPipe qui s'installent sur le Blender d'aujourd'hui (l'ancienne interface dont elle dépendait a été supprimée en amont).
• Les modèles officiels de repères de pose, de mains et de visage sont intégrés à l'add-on : la capture est entièrement hors ligne, sans téléchargement de modèle séparé.
• Pipeline désormais 100 % local. Le backend OpenPose et le chemin d'envoi à distance ont été entièrement supprimés : aucune image vidéo ne quitte jamais votre machine et il n'y a aucun appel réseau nulle part.
• Ajout d'instructions complètes d'installation des dépendances par système d'exploitation et d'une détection dans l'application, avec un message clair en langage simple lorsque MediaPipe ou OpenCV est absent.
• Correction de l'extraction des images afin que le pipeline relise toujours exactement les images qu'il a écrites.
• Chaque capture utilise un nouveau cache d'images, de sorte que des images périmées d'une vidéo antérieure ne peuvent jamais être réutilisées. Ajout d'un bouton Clear Frame Cache.
• Les keyframes respectent désormais Start Frame et Frame Step.
• L'armature générée ne contient plus d'os non animés : le cou, la tête et les pieds sont désormais pilotés à partir des repères MediaPipe.
• Remplacement des réglages non fonctionnels Model Path et Enable GPU par de véritables options MediaPipe (Model Accuracy et Detection Confidence).
• La compatibilité est désormais correctement indiquée, de Blender 4.2 à 5.1, y compris le nouveau système d'actions de la 4.4 et des versions suivantes.

---

Licence

GPL-3.0. Standard pour les add-ons Blender.

1.1.1 : le panneau de l'add-on s'affiche de nouveau sur Blender 5.x. Il demandait une icône nommée STACKED, qui n'existe plus, et un mauvais nom d'icône interrompt tout le dessin : l'onglet MoCap AI apparaissait vide, sans rien sur quoi cliquer. Chaque nom d'icône de l'add-on est maintenant vérifié par rapport à la liste propre à Blender.