MoCap AI - захоплення руху з відео на армату для Blender

Відстеження тіла, обличчя та рук на основі MediaPipe з ретаргетингом. 100% локально на вашому комп'ютері. Без хмари, без костюма з маркерами, без мережі під час захоплення: лише відео і один клік.

---

Чому MoCap AI

Традиційний мокап потребує костюма, студії та бюджету з п'ятьма нулями. ШІ-оцінка пози працює зі звичайним відео з телефона чи вебкамери й достатньо якісна для персонажів інді-ігор, віртуальних інфлюенсерів і блокінгу аніматиків. MoCap AI вбудовує її в систему анімації Blender з коректним ретаргетингом, тож результат лягає на ваш наявний риг. Усе працює на вашому комп'ютері з Google MediaPipe: ваші відеоматеріали ніколи не залишають машину.

---

Можливості

• Локальне захоплення через MediaPipe (сучасний інтерфейс Tasks): кістки тіла, обличчя, рук або все тіло; моделі орієнтирів входять до комплекту, тож захоплення працює повністю офлайн
• Поза обчислюється, а не копіюється. Обертання кожної кістки розв'язується від батьківської, за власною оцінкою Blender вашого рига, а потім звіряється з нею, тож кістка вказує туди, куди трекер вважає, що вказує кінцівка; виміряно на ригах з різними позами спокою, bone roll і допоміжними кістками. Суглоби, яких трекер не бачить, лишаються без змін, а не отримують здогадку
• Персонаж стоїть на підлозі. Keep on Ground (увімкнено за замовчуванням) бере висоту тазу з власних кінцівок рига, тож стопи не зависають і не провалюються; вимкніть його, щоб захоплювати стрибки та кроки на сходинки з нерухомою камерою. Різкі зміни кадру та зуми не сприймаються як рух
• Вашу сцену не вгадують. Захоплення анімує обраний вами Target, активну армату або єдину наявну; створює власну лише в сцені, де її немає, зберігає дію, яку риг уже мав, і повертає риг та частоту кадрів сцени назад, якщо не може завершитися
• Лицьові риги Faceit, ARKit і MetaHuman керуються напряму. Вбудована модель обличчя передбачає набір виразів ARKit за назвами, тож захоплені значення потрапляють на shape keys, які ваш персонаж уже має, і нічого не потрібно зіставляти вручну. MoCap AI ніколи не створює shape keys: меш без shape keys ARKit не отримує лицьової анімації, і панель Results про це повідомляє
• Драйвери на анімованих shape keys вимкнено, щоб контрольний риг непомітно не перезаписав захоплене обличчя
• Встановлення залежностей одним кліком з панелі або з Add-on Preferences, у версіях, з якими тестується MoCap AI, до власної теки (близько 300 МБ). Власні файли Blender не змінюються; Cancel Install зупиняє встановлення, а Remove Packages знову видаляє теку
• Керування діапазоном і кроком кадрів для часткового захоплення. Незалежно від частоти кадрів сцени, кліп у Blender триває стільки ж, скільки у відео: сцена бере частоту відео, або рух перевибирається на кадри сцени. Симуляції, geometry nodes, кадри Grease Pencil і секвенсор не враховуються; для таких сцен установіть Timing у Keep Scene FPS.
• Model Accuracy (Fast, Balanced, Accurate) і Detection Confidence: справжні параметри MediaPipe в Preferences
• Smoothing: гауссів фільтр на кривих кісток (None, Low, Medium, High). Він згладжує швидкі рухи; None зберігає кожен кадр так, як його відстежено. Remove Jitter вирівнює лише канали, що перебувають у спокої
• Ретаргетинг на Rigify, Auto-Rig Pro і Mixamo за їхніми власними назвами контролів (тип рига розпізнається з самого рига) та на інші гуманоїдні риги за частиною тіла в назві кістки. Кінцівки Rigify перемикаються на FK, щоб ключові обертання доходили до меша
• Пальці на ригах, які мають кістки пальців
• Fix Foot Sliding (вимкнено за замовчуванням) утримує опорну стопу там, де вона торкнулася землі, коригуючи переміщення кореня, для кадрів, де стопа більшу частину часу стоїть на місці
• Пакетна обробка: поставте в чергу кілька відео; кожне створює власну дію тіла та власну дію обличчя
• Курсор очікування та індикація прогресу під час довгих захоплень

---

Сумісність

• Blender: 4.2 LTS, 5.1 і 5.2, зокрема захоплення.
• ОС: Windows і macOS тестуються наживо. Linux використовує той самий код і ті самі збірки MediaPipe, але ми його не запускали.
• Залежності: безкоштовні пакети Python MediaPipe і OpenCV (обидва працюють повністю на пристрої), що встановлюються однією кнопкою до власної теки додатка. Моделі орієнтирів постачаються всередині додатка, тож окремого завантаження моделей немає. У Blender 4.2, власний NumPy якого має версію 1.x, сесія використовує NumPy 2 із цієї теки, поки MoCap AI увімкнено; у Blender 5.x використовується власний NumPy Blender.

---

Що ви отримуєте

• Додаток MoCap AI. Його власний код написано на Python; пакети MediaPipe і OpenCV, які він встановлює, містять скомпільовані бібліотеки
• README зі швидким стартом і посібником зі встановлення
• Безкоштовні оновлення для серії 1.x
• Підтримка через повідомлення на маркетплейсі

---

Обмеження

• Захоплення виконується в основному потоці; довгі відео блокують інтерфейс, поки просувається індикатор прогресу.
• Відстежується один виконавець. Рух до камери або від неї не захоплюється, так само як і скручування вздовж власної осі кінцівки.
• З Keep on Ground (значення за замовчуванням) ніщо не відривається від підлоги: стрибки, підйом на сходинки та сидіння на стільці виходять на рівні підлоги. З вимкненим параметром камера не повинна рухатися, а виконавець має стояти на підлозі протягом частини кліпу.
• Відчуття глибини в трекера приблизне: виконавець, що стоїть прямо, зазвичай виходить нахиленим вперед на 10-20 градусів.
• Вебкамера не зчитується наживо: запишіть кліп, а потім обробіть файл.
• Назви контролів Auto-Rig Pro вбудовано, але цей риг не входить до нашого тестового набору; Rigify, риги з назвами Mixamo і звичайний гуманоїд входять.
• Лицьове захоплення керує shape keys ARKit, які вже існують на вашому меші; воно не створює і не скульптурує їх. Їх створюють Faceit та подібні інструменти.

---

Встановлення

Відкрийте Edit, потім Preferences, потім Add-ons, потім Install from Disk. Виберіть ZIP-архів додатка MoCap AI і ввімкніть його. Натисніть клавішу N у 3D Viewport, щоб відкрити вкладку MoCap AI, і натисніть Install MediaPipe and OpenCV: вона завантажить обидва пакети у протестованих версіях (близько 300 МБ) до власної теки, не змінюючи власних файлів Blender. Моделі орієнтирів уже всередині ZIP. Інструкції щодо встановлення вручну на комп'ютері без доступу до інтернету є у вкладеному README.

---

Журнал змін: версія 1.3.0

• Скелет тепер приймає позу, яку повідомляє трекер. Обертання обчислювалися в просторі армати й записувалися як локальні обертання кісток без урахування ієрархії кісток: ключі записувалися, кістки рухалися, але поза не відповідала відео. Виміряно на реальному кліпі: кістка вказувала в середньому на 74 градуси убік від напрямку, який трекер давав для її кінцівки, а на Rigify на 89, тоді як випадковий напрямок дає 90. Тепер поза розв'язується від батьківської кістки за власною оцінкою Blender рига та звіряється з нею. На нашому тестовому кліпі зі 120 кадрів, із Smoothing у None, той самий кут на 10 кістках кінцівок становить 0,0 градуса на арматі MoCap AI, на звичайному гуманоїді, на ригу з назвами Mixamo та на деформівних кістках рига Rigify; зі стандартним Smoothing Medium він у середньому дорівнює 1,4 градуса і сягає 24 на найшвидших кадрах. Це вимірює, що риг робить те, що каже трекер, а не наскільки правий сам трекер.
• Кнопка Install завершується у Windows. Вивід інсталятора йшов у канал, який зчитувався лише після завершення інсталятора; він заповнював канал, блокувався, і кнопка навіки показувала «завантаження». Виміряно у Windows 11: 25 хвилин, нічого не встановлено. Тепер вивід зчитується безперервно та показується в рядку стану. Кнопка вимкнена, поки триває встановлення, Cancel Install зупиняє його, неповна тека розпізнається як неповна, а кнопка Remove Packages видаляє теку.
• Захоплення працює у Blender 5.1 і 5.2. Додаток відмовлявся там захоплювати, стверджуючи, що для MediaPipe немає збірки під Python 3.13. Вона є з версії 0.10.30. У Blender 5.x MediaPipe тепер використовує власний NumPy Blender.
• Перше захоплення більше не закінчується traceback. Кадри записувалися в теку кешу, значення якої за замовчуванням вказувало на недоступне для запису місце у файлі, що ніколи не зберігався. Тепер кадри декодуються в пам'яті; кеш, його параметр і кнопка Clear Frame Cache зникли, як і приблизно 2 МБ на кадр, які він залишав на диску.
• Персонаж стоїть на підлозі. Висота кореня береться з власних кінцівок рига (Keep on Ground, увімкнено за замовчуванням) або, якщо його вимкнено, з кінцівок плюс того, наскільки зображення показує тіло над підлогою, а не з того, де на зображенні розташований таз. Різкі зміни кадру та зуми не сприймаються як політ виконавця, а переміщення і висота стрибків масштабуються за довжиною ніг. На тестовому кліпі, де є одна монтажна склейка, стопи залишаються в межах 2 мм від підлоги на всіх 120 кадрах зі стандартними налаштуваннями.
• Армату більше не вгадують. Якщо в сцені кілька армат і жодну не вибрано, захоплення брало першу й замінювало її дію. Тепер воно зупиняється та повідомляє, що вибрати; кожна кнопка дотримується того самого правила, а риг Rigify, Auto-Rig Pro чи Mixamo розпізнається без підказки. Дія, яку риг уже мав, зберігається з fake user, а невдале захоплення повертає риг і частоту кадрів сцени такими, якими вони були.
• Пальці та кінцівки рухаються на Rigify. Ключі пальців потрапляли на кістки DEF, які копіюють інші кістки через обмеження й ігнорують власні ключі, а кожен ланцюжок пальця починався на один суглоб раніше. Тепер ключі йдуть на контролі пальців. Кінцівки перемикаються на FK, під час захоплення та в Retarget Animation, щоб ключові обертання доходили до меша.
• Суглоби поза кадром лишаються без змін, а не отримують здогадку трекера. У відео по пояс ноги залишаються в спокої.
• Кліп зберігає свою тривалість. Відео на 30 fps у сцені на 24 fps відтворювалося 5 секунд замість 4. Timing вирішує, чи сцена бере частоту кадрів відео, чи рух перевибирається на кадри сцени; частота сцени не змінюється, коли в сцені є інша анімація, доки ви цього не попросите. Симуляції, geometry nodes, кадри Grease Pencil і секвенсор не враховуються; для таких сцен установіть Timing у Keep Scene FPS.
• Обличчя: нічого не створюється й нічого не залишається. Меш без shape keys ARKit більше не отримує вісім порожніх. Кожне захоплення записує обличчя в нову дію, тож коротший кліп більше не зберігає хвіст довшого попереднього, а пакет дає кожному відео власну дію обличчя. Оцінку восьми виразів за відстанями між орієнтирами вилучено.
• Кістка більше не крутиться, коли її ціль протилежна напрямку спокою. Руки, що спокійно звисають і піднімаються над головою, провертались до 175 градусів за один кадр. На руці, що описує кола над головою, обертання тепер змінюється на 2-12 градусів за кадр, повторюваний рух повторюється точно, а рука, піднята й утримувана нерухомо, залишається нерухомою.
• Fix Foot Sliding тепер щось робить. Він шукав ключі розташування на стопах, не знаходив жодного, нічого не змінював і повідомляв про успіх. Тепер він утримує опорну стопу, коригуючи корінь, вимкнений за замовчуванням і описаний так, як є: інструмент для кадрів, де стопа більшу частину часу стоїть на місці.
• Smoothing більше не запускає Remove Jitter за вашою спиною. Medium перетворював повільний рівномірний рух на сходинки. Remove Jitter - окрема кнопка, що вирівнює лише канали в спокої.
• Preview Video працює. Він давав збій при кожному натисканні, після зміни діапазону кадрів сцени та завантаження ще однієї копії кліпу.
• Ліве - це ліве: власна арматі MoCap AI мала дзеркально відображені руки та торс 0,3 м, а глибина була перевернута. Обличчя знаходяться в кадрах на повний зріст повторним оглядом області голови. Встановлюється лише один пакет OpenCV, а OpenCV і NumPy мають обмеження за версіями, як і MediaPipe. Що захоплення змінило або чого не змогло зробити, перелічено на панелі Results. Batch Add, Remove і Clear можна скасувати.

---

Журнал змін: версія 1.2.0

• Лицьове захоплення не переживало виявленого обличчя. Порожнє значення видимості на лицьових орієнтирах викликало помилку на найпершому кадрі, де обличчя справді знаходили, і захоплення падало. Виправлено та закріплено регресійним тестом.
• MediaPipe 1.0 більше не валить Blender разом із собою. Ця збірка перериває процес під час завантаження моделі захоплення: Blender закривається без помилки та без можливості зберегти, і жоден додаток не може цього перехопити. Тепер MoCap AI зчитує встановлену версію, перш ніж торкатися інтерфейсу захоплення, і замість цього відмовляє простою мовою.
• Встановлення залежностей одним кліком в Add-on Preferences, у версіях, з якими тестується MoCap AI, до власної теки MoCap AI. У разі збою воно повідомляє, що насправді сказав інсталятор, і вказує, коли потрібне перезавантаження.
• Лицьове захоплення керує shape keys ARKit напряму: риги Faceit, ARKit і MetaHuman анімуються за назвами, які вони вже використовують, зчитаними з власної голови виразів вбудованої моделі, а не оціненими за відстанями між орієнтирами. Драйвери на цих каналах вимкнено, щоб захоплення не перезаписувалося непомітно.
• Передбачені канали, для яких у вашому ригу немає shape key, названо у звіті; захоплення, яке не знайшло обличчя, так і каже, а не повідомляє про успіх.
• Довгі повідомлення панелі переносяться за шириною панелі, а не обриваються посередині.

---

Журнал змін: версія 1.1.0

• Захоплення перенесено на сучасний інтерфейс MediaPipe Tasks, тож воно працює з актуальними випусками MediaPipe, які встановлюються в сьогоднішній Blender (старий інтерфейс, на який воно раніше спиралося, вилучено в першоджерелі).
• Офіційні моделі орієнтирів пози, рук і обличчя вбудовано в додаток: захоплення повністю офлайн, без окремого завантаження моделей.
• Тепер це 100% локальний пайплайн. Бекенд OpenPose і шлях віддаленого завантаження повністю вилучено: жоден кадр відео ніколи не залишає вашу машину, і ніде немає мережевих викликів.
• Додано повні інструкції зі встановлення залежностей для кожної ОС і виявлення в самому додатку з чітким повідомленням простою мовою, коли MediaPipe або OpenCV відсутні.
• Виправлено вилучення кадрів, щоб пайплайн завжди зчитував рівно ті кадри, які записав.
• Кожне захоплення використовує свіжий кеш кадрів, тож застарілі кадри з попереднього відео ніколи не можуть бути використані повторно. Додано кнопку Clear Frame Cache.
• Keyframes тепер враховують Start Frame і Frame Step.
• Згенерована армата більше не містить неанімованих кісток: шия, голова та стопи тепер керуються орієнтирами MediaPipe.
• Нефункціональні налаштування Model Path і Enable GPU замінено справжніми параметрами MediaPipe (Model Accuracy і Detection Confidence).
• Сумісність тепер правильно вказана: від Blender 4.2 до 5.1, зокрема нова система дій у 4.4 і новіших.

---

Ліцензія

GPL-3.0. Стандарт для додатків Blender.

1.1.1: панель додатка знову малюється в Blender 5.x. Вона запитувала піктограму STACKED, якої більше не існує, а неправильна назва піктограми перериває все малювання: вкладка MoCap AI з'являлася порожньою, без жодного елемента для кліку. Тепер кожну назву піктограми в додатку звіряють із власним списком Blender.