AI Mocap Studio

AI Mocap Studio превращает вашу веб-камеру или любое видео в профессиональную

анимацию персонажа — без дорогих костюмов для motion capture или студий

не требуется. Благодаря передовой AI-оценке позы, это дополнение Blender

определяет движения тела, рук и лица и выполняет ретаргетинг на

ваших персонажей с ригом в реальном времени.

Режимы захвата

- Body Capture — 33 точки-ориентира для полнотелого трекинга с точной оценкой

вращения суставов

- Hand Capture — 21 landmark на каждую руку для детальной анимации пальцев

- Face Capture — 468 мимических landmark с отслеживанием радужки, сопоставляемых с

blendshapes/shape keys

- Holistic Mode — одновременный захват тела, рук и лица в

одном сеансе

AI-модели детекции

- MediaPipe — быстрый и лёгкий, работает на CPU, идеально для real-time

предварительного просмотра

- YOLO-Pose — ускоренный на GPU, поддерживает трекинг нескольких людей

- MotionBERT — передовое 2D-to-3D lifting позы для превосходной

точности глубины

Автоматический ретаргетинг

Работает из коробки с популярными системами ригов:

- Rigify

- Mixamo

- Auto Rig Pro

- Simple/Generic humanoid rigs

Live Streaming

- Unreal Engine Live Link — стримите трансформации костей напрямую в UE в

real-time

- VMC Protocol — поддержка VTubing для VSeeFace, VMagicMirror и других

приложений, совместимых с VMC

Поддержка Multi-Camera

Настройте несколько камер для повышения точности. Дополнение синхронизирует

кадры, калибрует камеры и триангулирует 3D-позиции с

нескольких ракурсов, чтобы снизить проблемы с перекрытиями (occlusion).

Обработка движения и очистка

- Фильтры скользящего среднего, Gaussian и Butterworth low-pass

- Автоматическое заполнение пробелов и интерполяция для пропущенных кадров

- Обнаружение и удаление выбросов

- Foot locking для устранения