LipSync Studio: анімація рота за аудіо для Blender

Три рушії аналізу плюс необов'язковий офлайн-вирівнювач Vosk, шість пресетів рига візем (ARKit 52 / FACEIT / Preston Blair / MetaHuman / CC4 / Generic), персонажі з кількома мешами, риги з кісткою щелепи, запечений драйвер відкритості рота, автоматичне кліпання та неактивний стан, інтенсивність за гучністю, punch-in за діапазоном, передача в NLA, шар емоцій і завантаження Rhubarb в один клік.

Нове у v1.4.4: завантажуйте рядок діалогу з файлу .txt: кнопка біля поля Dialog читає UTF-8 (з BOM або без), UTF-16 і Windows-1252 та зберігає кожен рядок, чого не вдається зробити вставкою: текстові поля Blender зберігають лише перший рядок буфера обміну. Тепер панель показує рушій поруч із текстом і попереджає, коли цей рушій його ігнорує (текст діалогу читають лише Rhubarb і Vosk; Built-in і Whisper не читають), а кожен аналіз повідомляє, який рушій працював і чи використано текст. Також нове: необов'язковий офлайн-рушій Vosk, який розміщує кожне слово вашого тексту на аудіо. На наших тестових записах він вчасно зімкнув губи на 99,1-100 % слів, що починаються на B, M або P, проти 83,6-84,8 % у Rhubarb з тим самим текстом. Тестові записи - це синтезовані голоси з відомим таймінгом слів; записів живої мови з таким еталоном у нас немає, тож сприймайте ці цифри як результат тесту, а не обіцянку для кожного дубля. За замовчуванням його вимкнено, він встановлюється однією кнопкою у власну папку, а всі завантаження перелічено до натискання.

У v1.4.3: віземи спочатку зіставляються за родиною рига. На наборі ARKit із 52 форм, який запікає Faceit, пошук коду віземи будь-де в назві форми відправляв EE на щоку, OO на повіку, а RR на ніс, тож відкривалася лише щелепа. Тепер додаток розпізнає родину вашого рига й використовує власну таблицю, і візема більше не може потрапити на око, брову, щоку чи ніс. Виміряно на персонажі Faceit: 17 із 17 візем правильні, 20 форм рухаються замість 14.

У v1.4.1: автоматичне кліпання та мікро-неактивний стан тепер працюють на контрольних ригах. Драйвери та обмеження обчислюються після F-кривих, тому вставлені ключі перезаписувалися на кожному кадрі; тепер кліпання вимикають драйвери на власних формах, а неактивний стан відтворюється через адитивну NLA-смугу.

Починаючи з v1.4.0: шість нових інструментів, що доводять результат від «рот рухається» до «кадр анімовано». Запечіть значення відкритості рота, яким можна керувати будь-яким шейдером чи об'єктом, додайте природне кліпання та ледь помітний неактивний стан, керуйте кісткою щелепи для ригів без shape keys рота, скопіюйте один аналіз на всіх виділених персонажів одразу, масштабуйте рот залежно від гучності мови та перезапікайте лише одну фразу в межах діапазону кадрів, не чіпаючи решти.

Починаючи з v1.3.0: персонажі з кількома мешами анімуються як один: коли обличчя Faceit чи ARKit розбито на кілька мешів зі спільними blendshapes (голова, борода, брови, язик, зуби), LipSync Studio синхронно керує ротом на кожному з них. На основі v1.2.0: повна підтримка ARKit / Faceit / MetaHuman з окремими лівими та правими shape keys, пресет FACEIT, зіставлений із blendshapes ARKit, які запікає сучасний Faceit, та повністю оборотний процес Push-to-NLA.

---

Чому LipSync Studio

Анімація рота - одна з найдорожчих частин роботи з персонажами, а наявні додатки Blender або постачаються із завантаженням на 30 МБ, яке не дозволяє жоден маркетплейс, або змушують вручну встановлювати додаткові інструменти. LipSync Studio обирає золоту середину: крихітний додаток, що під час першого запуску завантажує лише потрібний вам бінарний файл, добирає пресет візем, який відповідає вашому ригу, і запікає результат у NLA-смугу, яку можна змішувати з рештою виконання.

---

Можливості

Рушії аналізу

• Built-in: аналіз енергії. Швидкий, не залежить від мови, менш точний.
• Rhubarb Lip Sync: точність до фонем, із підтримкою тексту. Завантаження в один клік.
• OpenAI Whisper: мова в текст плюс фонеми (лише англійська).
• Vosk (необов'язково): офлайн-вирівнювання тексту діалогу слово за словом, англійською. За замовчуванням вимкнено; одна кнопка завантажує libvosk, англійську модель на 39 МБ і словник CMUdict у власну папку. Без pip, без облікового запису, без ключа, без хмари.

Завантаження Rhubarb в один клік

Автоматично визначає вашу платформу (Windows, macOS Intel, macOS Apple Silicon, Linux), завантажує офіційний реліз і налаштовує його автоматично. Близько 8 МБ замість 30 МБ у складі завантаження.

Шість пресетів рига візем

Зіставлення в один клік, що заповнює всі 17 слотів візем назвами shape keys, які ваш риг уже використовує:

• Generic: стандартні назви візем Blender
• ARKit 52: Apple ARKit / Live Link Face / захоплення на iPhone
• FACEIT: додаток FACEIT для Blender
• Preston Blair: класичний набір аніматорів із 9 форм
• MetaHuman: контрольний риг Epic MetaHuman / Live Link Face
• CC4: Reallusion Character Creator 4 / iClone 8

Автовизначення сканує назви ваших shape keys і зіставляє їх автоматично, коли жоден пресет не підходить.

Персонажі з кількома мешами

Персонажі Faceit і ARKit часто розбивають одне обличчя на кілька мешів, які мають однакові blendshapes: окрема голова, борода, брови, язик чи зуби. LipSync Studio застосовує ту саму анімацію візем до кожного меша персонажа з відповідними shape keys, тож усе обличчя говорить разом. Кожен меш визначає власні назви shape keys (зокрема ліву та праву половини), а драйвери його контрольного рига обробляються для кожного меша окремо, тому рот надійно відкривається, навіть коли його закриває волосся на обличчі. Один прапорець у Налаштуваннях вмикає або вимикає це; коли вимкнено, анімується лише виділений меш. Clear прибирає анімацію з кожного зачепленого меша й відновлює драйвери, які було вимкнено.

Запечений драйвер відкритості рота (нове)

Запечіть на персонажі як користувацьку властивість значення відкритості рота від 0 до 1 з ключовими кадрами, що відстежує, наскільки відкритий рот на кожному кадрі (відкриті голосні дають високі значення, закриті форми та стиснуті губи дають значення близько нуля). Додайте від нього драйвер до входу шейдера, кістки щелепи, jiggle, коригувальної форми чи другого персонажа: один надійний сигнал мовлення, який можна підключити куди завгодно. Працює окремо або автоматично під час Build.

Автоматичне кліпання та мікро-неактивний стан (нове)

Додає природне кліпання на shape keys eyeBlink (ліве та праве ARKit або одна форма кліпання) з трохи випадковими інтервалами, кожне з яких - швидке заплющення й розплющення. Необов'язковий мікро-неактивний стан додає легке погойдування голови, щоб персонаж ніколи не стояв ідеально нерухомо, і залишається стриманим, щоб не конфліктувати із синхронізацією губ. Таймінг відтворюваний, тож повторна побудова дає те саме виконання.

Риги з кісткою щелепи (нове)

Для ригів, де рот - це кістка, а не shape keys: оберіть тип рига Jaw Bone, виберіть армату та кістку щелепи, і LipSync Studio обертатиме щелепу, відкриваючи й закриваючи її в такт мовленню: широко на відкритих голосних, закрито на формах зі стиснутими губами та спокою, з вибором осі відкриття та максимальним кутом.

Копіювання на інших персонажів (нове)

Проаналізуйте одну аудіодоріжку, виділіть будь-яку кількість мешів інших персонажів і побудуйте однакову синхронізацію губ на всіх одним кліком. Кожен персонаж визначає власні назви shape keys через свій пресет, тож натовп або співрозмовник можуть спільно використовувати один аналіз.

Інтенсивність за гучністю (нове)

Масштабуйте кожен ключовий кадр віземи залежно від гучності мови в цей момент: крик широко відкриває рот, шепіт тримає його малим. Повзунок сили змішує плоске виконання з повністю керованим гучністю.

Перезапікання за діапазоном / punch-in (нове)

Доопрацьовуйте одну фразу. Увімкніть Limit to Range, задайте початковий і кінцевий кадри та перезапечіть лише це вікно: усі ключові кадри поза ним залишаються точно такими, як були. Змінюйте інтенсивність або змішування на одному рядку, не порушуючи решти дубля.

Push to NLA

Після побудови відправте дію синхронізації губ в окрему NLA-смугу на доріжці shape keys кожного анімованого меша, щоб вона змішувалася з іншими діями (дихання у спокої, шари виразів). Повністю оборотно.

Шар емоцій

Адитивні вирази Happy / Sad / Angry / Surprised із ключовими кадрами поверх мовлення та регульованим повзунком сили. Використовує іменовані shape keys емоцій: перейменуйте їх під свій риг.

Модальний аналіз у потоках

Whisper, Rhubarb і Vosk працюють у робочих потоках, якими керує модальний таймер: інтерфейс Blender залишається чутливим під час тривалого аналізу аудіо.

Автозмішування

Налаштовуване плавне наростання й спад для кожного ключового кадру віземи, регульований множник інтенсивності.

Чистий, редагований результат

Повторні запуски перезаписують наявну дію синхронізації губ замість створення нумерованих дублікатів, що роздувають файл сцени.

Помилки аудіо простою мовою

Пошкоджене аудіо, відсутній файл чи непідтримуваний кодек тепер повідомляють чітку причину замість помилки Python.

Експорт: FBX / glTF / JSON

Передайте результат в Unity (FBX з анімацією shape keys), Unreal (FBX) або в будь-який власний пайплайн (часова шкала візем у JSON).

---

Сумісність

• Blender: 4.2 LTS і новіші (перевірено на 4.2, 5.1 та 5.2)
• ОС: Windows / macOS (Intel і Apple Silicon) / Linux
• Rhubarb: будь-яка свіжа збірка (завантажується з панелі налаштувань)
• Whisper: пакет OpenAI Whisper у Python Blender (лише англійська)
• Vosk (необов'язково): Windows x64, macOS (Apple Silicon і Intel), Linux x64; англійська

---

Що ви отримаєте

• Додаток LipSync Studio (лише Python, без бінарних файлів у завантаженні)
• Шість готових пресетів візем
• Завантажувач Rhubarb в один клік
• README із повним посібником швидкого старту
• Безкоштовні оновлення для v1.x
• Підтримка через повідомлення маркетплейсу

---

Встановлення

Preferences, Add-ons, Install, виберіть завантажений ZIP, увімкніть. Вкладка LipSync з'явиться на бічній панелі 3D Viewport (натисніть N).

Для аналізу Rhubarb: відкрийте налаштування додатка й натисніть Download Rhubarb. Буде завантажено потрібний для вашої платформи бінарний файл (близько 8 МБ).

---

Ліцензія

GPL-3.0. Стандарт для додатків Blender. Сам Rhubarb має ліцензію MIT: отриману анімацію можна поширювати в будь-якому комерційному проєкті.