MoCap AI - Captura de movimiento de vídeo a armature para Blender

Seguimiento de cuerpo, rostro y manos con MediaPipe y retargeting. 100 % local en tu equipo. Sin nube, sin traje de marcadores, sin red durante la captura: solo un vídeo y un clic.

---

Por qué MoCap AI

La captura de movimiento tradicional necesita un traje, un plató y un presupuesto de cinco cifras. La estimación de pose con IA funciona con grabaciones normales de un móvil o una webcam y es lo bastante buena para personajes de juegos indie, influencers virtuales y bloqueo de animáticas. MoCap AI la integra en el sistema de animación de Blender con un retargeting correcto, de modo que el resultado se aplica directamente a tu rig existente. Todo se ejecuta en tu propio ordenador con Google MediaPipe: tu metraje nunca sale de la máquina.

---

Características

• Captura local con MediaPipe (interfaz Tasks moderna): huesos de cuerpo, rostro y manos, o cuerpo completo; los modelos de puntos de referencia vienen incluidos, así que la captura funciona totalmente sin conexión
• La pose se resuelve, no se copia. La rotación de cada hueso se resuelve empezando por el padre, según la propia evaluación de Blender de tu rig, y después se comprueba contra ella, de modo que un hueso apunta adonde el tracker dice que apunta la extremidad; medido en rigs con distintas poses de reposo, bone rolls y huesos auxiliares. Las articulaciones que el tracker no ve se dejan como están en lugar de recibir una suposición
• El personaje se apoya en el suelo. Keep on Ground (activado por defecto) toma la altura de las caderas a partir de las propias extremidades del rig, así que los pies ni flotan ni se hunden; desactívalo para capturar saltos y escalones con una cámara que no se mueve. Los cortes de cámara y los zooms no se interpretan como movimiento
• Tu escena no se adivina. La captura anima el Target que elijas, la armature activa o la única que haya; crea una propia solo en una escena que no tenga ninguna, conserva la acción que el rig ya tenía y, si no puede terminar, restaura el rig y la velocidad de fotogramas de la escena
• Los rigs faciales de Faceit, ARKit y MetaHuman se controlan directamente. El modelo facial incluido predice el conjunto de expresiones ARKit por nombre, de modo que los valores capturados llegan a las shape keys que tu personaje ya tiene, sin nada que asignar a mano. MoCap AI nunca crea shape keys: una malla sin shape keys ARKit no recibe animación facial, y el panel Results lo indica
• Los drivers de las shape keys animadas se silencian, para que un rig de control no sobrescriba en silencio el rostro capturado
• Instalación de dependencias con un clic desde el panel o desde Add-on Preferences, en las versiones con las que se prueba MoCap AI, en una carpeta propia (unos 300 MB). Los archivos propios de Blender no se modifican; Cancel Install lo detiene y Remove Packages vuelve a borrar la carpeta
• Controles de rango y paso de fotogramas para capturas parciales. Sea cual sea la velocidad de fotogramas de la escena, el clip dura en Blender lo mismo que en el vídeo: la escena adopta la velocidad del vídeo, o el movimiento se remuestrea sobre los fotogramas de la escena. No se tienen en cuenta las simulaciones, los geometry nodes, los fotogramas de Grease Pencil ni el secuenciador; para esas escenas, configura Timing en Keep Scene FPS.
• Model Accuracy (Fast, Balanced, Accurate) y Detection Confidence: opciones reales de MediaPipe en Preferences
• Smoothing: filtro gaussiano sobre las curvas de los huesos (None, Low, Medium, High). Suaviza los movimientos rápidos; None conserva cada fotograma tal como lo siguió el tracker. Remove Jitter nivela solo los canales que están en reposo
• Retargeting a Rigify, Auto-Rig Pro y Mixamo según los nombres de sus propios controles (el tipo de rig se reconoce a partir del rig) y a otros rigs humanoides según la parte del cuerpo indicada en el nombre del hueso. Las extremidades de Rigify se cambian a FK para que las rotaciones con keyframes lleguen a la malla
• Dedos en los rigs que tienen huesos de dedos
• Fix Foot Sliding (desactivado por defecto) mantiene el pie de apoyo donde tocó el suelo corrigiendo el desplazamiento de la raíz, pensado para planos en los que un pie está apoyado la mayor parte del tiempo
• Procesamiento por lotes: pon en cola varios vídeos; cada uno genera su propia acción de cuerpo y su propia acción de rostro
• Cursor de espera e indicador de progreso durante las capturas largas

---

Compatibilidad

• Blender: 4.2 LTS, 5.1 y 5.2, captura incluida.
• SO: Windows y macOS se prueban en vivo. Linux usa el mismo código y las mismas compilaciones de MediaPipe, pero no lo hemos ejecutado nosotros.
• Dependencias: los paquetes gratuitos de Python MediaPipe y OpenCV (ambos se ejecutan por completo en el dispositivo), que se instalan con un botón en una carpeta propia del add-on. Los modelos de puntos de referencia vienen dentro del add-on, así que no hay que descargar ningún modelo aparte. En Blender 4.2, cuyo NumPy propio es 1.x, la sesión usa NumPy 2 de esa carpeta mientras MoCap AI está activado; en Blender 5.x se usa el NumPy propio de Blender.

---

Qué recibes

• El add-on MoCap AI. Su propio código es Python; los paquetes MediaPipe y OpenCV que instala contienen bibliotecas compiladas
• README con guía de inicio rápido e instalación
• Actualizaciones gratuitas de la serie 1.x
• Soporte mediante los mensajes del marketplace

---

Limitaciones

• La captura se ejecuta en el hilo principal; los vídeos largos bloquean la interfaz mientras avanza el indicador de progreso.
• Se sigue a un solo intérprete. No se captura el desplazamiento hacia la cámara o alejándose de ella, ni la torsión sobre el eje propio de una extremidad.
• Con Keep on Ground activado (el valor por defecto), nada se despega del suelo: los saltos, los escalones hacia arriba y el sentarse en una silla quedan a nivel del suelo. Con él desactivado, la cámara no debe moverse y el intérprete debe estar de pie en el suelo durante parte del clip.
• La percepción de profundidad del tracker es aproximada: un intérprete de pie y erguido suele salir inclinado de 10 a 20 grados hacia delante.
• Una webcam no se lee en directo: graba el clip y luego procesa el archivo.
• Los nombres de control de Auto-Rig Pro están integrados, pero ese rig no forma parte de nuestro conjunto de pruebas; Rigify, los rigs con nombres de Mixamo y un humanoide sencillo sí.
• La captura facial controla shape keys ARKit que ya existen en tu malla; no las crea ni las esculpe. Faceit y herramientas similares las crean.

---

Instalación

Abre Edit, luego Preferences, luego Add-ons y después Install from Disk. Elige el ZIP del add-on MoCap AI y actívalo. Pulsa la tecla N en el 3D Viewport para abrir la pestaña MoCap AI y pulsa Install MediaPipe and OpenCV: descarga ambos en las versiones probadas (unos 300 MB), en una carpeta propia, sin modificar los archivos propios de Blender. Los modelos de puntos de referencia ya están dentro del ZIP. Las instrucciones para instalarlo a mano en un equipo sin conexión a internet están en el README incluido.

---

Registro de cambios: versión 1.3.0

• El esqueleto ahora adopta la pose que indica el tracker. Las rotaciones se calculaban en el espacio de la armature y se escribían como rotaciones locales de los huesos, ignorando la jerarquía de huesos: se escribían keys, los huesos se movían y la pose no era la del vídeo. Medido en un clip real, un hueso apuntaba de media 74 grados lejos de la dirección que el tracker daba para su extremidad, y 89 en Rigify, donde una dirección aleatoria da 90. Ahora la pose se resuelve empezando por el padre, según la propia evaluación de Blender del rig, y se comprueba contra ella. En nuestro clip de prueba de 120 fotogramas, con Smoothing en None, el mismo ángulo sobre 10 huesos de extremidades es de 0,0 grados en la armature de MoCap AI, en un humanoide sencillo, en un rig con nombres de Mixamo y en los huesos de deformación de un rig Rigify; con el Smoothing Medium por defecto, la media es de 1,4 grados y llega a 24 en los fotogramas más rápidos. Esto mide que el rig hace lo que dice el tracker, no cuánta razón tiene el tracker.
• El botón Install termina en Windows. La salida del instalador iba a una tubería que solo se leía después de que el instalador hubiera terminado; la llenaba, se bloqueaba y el botón decía "descargando" para siempre. Medido en Windows 11: 25 minutos, sin nada instalado. Ahora la salida se lee de forma continua y se muestra en la barra de estado. El botón se desactiva mientras se ejecuta una instalación, Cancel Install la detiene, una carpeta incompleta se reconoce como incompleta y un botón Remove Packages borra la carpeta.
• La captura funciona en Blender 5.1 y 5.2. El add-on se negaba a capturar allí, diciendo que MediaPipe no tenía compilación para Python 3.13. La tiene desde la 0.10.30. En Blender 5.x, MediaPipe ahora usa el NumPy propio de Blender.
• Una primera captura ya no termina en un traceback. Los fotogramas se escribían en una carpeta de caché cuyo valor por defecto apuntaba a un lugar sin permiso de escritura en un archivo que nunca se había guardado. Ahora los fotogramas se decodifican en memoria; la caché, su preferencia y el botón Clear Frame Cache han desaparecido, y también los aproximadamente 2 MB por fotograma que dejaba en disco.
• El personaje se apoya en el suelo. La altura de la raíz se toma de las propias extremidades del rig (Keep on Ground, activado por defecto) o, con eso desactivado, de las extremidades más lo que la imagen muestra que el cuerpo se separa del suelo, en lugar de tomarla de dónde están las caderas en la imagen. Los cortes de cámara y los zooms no se interpretan como que el intérprete vuela, y el desplazamiento y la altura de los saltos se escalan según la longitud de la pierna. En el clip de prueba, que tiene un corte, los pies se mantienen a menos de 2 mm del suelo en los 120 fotogramas con los ajustes por defecto.
• La armature nunca se adivina. Con varias armatures en la escena y ninguna elegida, la captura tomaba la primera y reemplazaba su acción. Ahora se detiene e indica qué elegir; todos los botones siguen la misma regla, y un rig Rigify, Auto-Rig Pro o Mixamo se reconoce sin que se lo indiques. Una acción que el rig ya tenía se conserva con un fake user, y una captura que falla deja el rig y la velocidad de fotogramas de la escena como estaban.
• Los dedos y las extremidades se mueven en Rigify. Las keys de los dedos iban a los huesos DEF, que copian otros huesos mediante constraints e ignoran sus propias keys, y cada cadena de dedos empezaba una articulación demasiado pronto. Ahora las keys van a los controles de los dedos. Las extremidades se cambian a FK, en la captura y en Retarget Animation, para que las rotaciones con keyframes lleguen a la malla.
• Las articulaciones fuera de plano se dejan como están en lugar de recibir la suposición del tracker. En un vídeo de cintura para arriba, las piernas permanecen en reposo.
• El clip conserva su duración. Un vídeo de 30 fps en una escena de 24 fps duraba 5 segundos en lugar de 4. Timing decide si la escena adopta la velocidad de fotogramas del vídeo o si el movimiento se remuestrea sobre los fotogramas de la escena; la velocidad de la escena no se cambia cuando hay otra animación en ella, a menos que lo pidas. No se tienen en cuenta las simulaciones, los geometry nodes, los fotogramas de Grease Pencil ni el secuenciador; para esas escenas, configura Timing en Keep Scene FPS.
• Rostro: no se crea nada y no sobra nada. Una malla sin shape keys ARKit ya no recibe ocho vacías. Cada captura escribe su rostro en una acción nueva, de modo que un clip más corto ya no conserva la cola de uno anterior más largo, y un lote da a cada vídeo su propia acción de rostro. Se ha eliminado la estimación de ocho expresiones a partir de distancias entre puntos de referencia.
• Un hueso ya no gira sobre sí mismo cuando su objetivo es opuesto a su dirección de reposo. Los brazos que reposan colgando y se levantan por encima de la cabeza giraban hasta 175 grados en un solo fotograma. En un brazo que da círculos por encima de la cabeza, el giro ahora cambia de 2 a 12 grados por fotograma, un movimiento repetido se repite exactamente y un brazo levantado y mantenido quieto permanece quieto.
• Fix Foot Sliding hace algo. Buscaba keys de ubicación en los pies, no encontraba ninguna, no cambiaba nada e informaba de éxito. Ahora mantiene el pie de apoyo corrigiendo la raíz, está desactivado por defecto y se describe tal como es: una herramienta para planos en los que un pie está apoyado la mayor parte del tiempo.
• Smoothing ya no ejecuta Remove Jitter a tus espaldas. Medium convertía un movimiento lento y constante en una escalera. Remove Jitter es su propio botón y solo nivela los canales que están en reposo.
• Preview Video funciona. Fallaba en cada pulsación, después de cambiar el rango de fotogramas de la escena y de cargar otra copia del clip.
• La izquierda es la izquierda: la armature propia de MoCap AI tenía los brazos en espejo y un torso de 0,3 m, y la profundidad estaba invertida. Los rostros se encuentran en planos de cuerpo completo volviendo a mirar la zona de la cabeza. Solo se instala un paquete de OpenCV, y OpenCV y NumPy tienen límites de versión como MediaPipe. Lo que una captura cambió o no pudo hacer se indica en el panel Results. Batch Add, Remove y Clear se pueden deshacer.

---

Registro de cambios: versión 1.2.0

• La captura facial no sobrevivía a un rostro detectado. Un valor de visibilidad vacío en los puntos de referencia faciales provocaba un error en el primer fotograma en el que realmente se encontraba un rostro, y la captura moría. Corregido, y respaldado por una prueba de regresión.
• MediaPipe 1.0 ya no se lleva Blender por delante. Esa compilación aborta el proceso cuando se carga un modelo de captura: Blender se cierra sin error y sin oportunidad de guardar, y ningún add-on puede detectarlo. MoCap AI ahora lee la versión instalada antes de tocar la interfaz de captura y se niega a continuar con un mensaje claro en lugar de eso.
• Instalación de dependencias con un clic en Add-on Preferences, en las versiones con las que se prueba MoCap AI, en la carpeta propia de MoCap AI. Si falla, informa de lo que dijo realmente el instalador e indica cuándo hace falta reiniciar.
• La captura facial controla directamente las shape keys ARKit: los rigs de Faceit, ARKit y MetaHuman se animan con los nombres que ya usan, leídos de la propia cabeza de expresiones del modelo incluido en lugar de estimarse a partir de distancias entre puntos de referencia. Los drivers de esos canales se silencian para que la captura no se sobrescriba en silencio.
• Los canales predichos para los que tu rig no tiene shape key se nombran en el informe; una captura que no encontró ningún rostro lo dice en lugar de informar de éxito.
• Los mensajes largos del panel se ajustan al ancho del panel en lugar de cortarse por la mitad.

---

Registro de cambios: versión 1.1.0

• Se migró la captura a la interfaz Tasks moderna de MediaPipe, de modo que funciona con las versiones actuales de MediaPipe que se instalan en el Blender de hoy (la interfaz antigua en la que se basaba antes se eliminó en origen).
• Se incluyeron dentro del add-on los modelos oficiales de puntos de referencia de pose, manos y rostro: la captura funciona totalmente sin conexión, sin descargar ningún modelo aparte.
• Ahora es un pipeline 100 % local. Se eliminaron por completo el backend de OpenPose y la ruta de subida remota: ningún fotograma de vídeo sale nunca de tu máquina y no hay llamadas de red en ningún sitio.
• Se añadieron instrucciones completas de instalación de dependencias por sistema operativo y detección en la aplicación, con un mensaje claro en lenguaje sencillo cuando falta MediaPipe o OpenCV.
• Se corrigió la extracción de fotogramas para que el pipeline lea siempre exactamente los fotogramas que escribió.
• Cada captura usa una caché de fotogramas nueva, de modo que nunca se pueden reutilizar fotogramas obsoletos de un vídeo anterior. Se añadió un botón Clear Frame Cache.
• Los keyframes ahora respetan Start Frame y Frame Step.
• La armature generada ya no contiene huesos sin animar: el cuello, la cabeza y los pies ahora se controlan a partir de los puntos de referencia de MediaPipe.
• Se sustituyeron los ajustes no funcionales Model Path y Enable GPU por opciones reales de MediaPipe (Model Accuracy y Detection Confidence).
• La compatibilidad ahora se indica correctamente como de Blender 4.2 a 5.1, incluido el nuevo sistema de acciones de 4.4 y posteriores.

---

Licencia

GPL-3.0. Estándar para los add-ons de Blender.

1.1.1: el panel del add-on vuelve a dibujarse en Blender 5.x. Pedía un icono llamado STACKED, que ya no existe, y un nombre de icono incorrecto aborta todo el dibujo: la pestaña MoCap AI aparecía vacía, sin nada en lo que hacer clic. Ahora cada nombre de icono del add-on se comprueba contra la lista propia de Blender.