LipSync Studio — Анимация рта под аудиодрайв для Blender

Three analysis engines, six viseme rig presets (ARKit 52 / FACEIT / Preston Blair / MetaHuman / CC4 / Generic), multi-mesh characters, jaw-bone rigs, a baked mouth-openness driver, auto blink and idle, loudness intensity, range punch-in, push-to-NLA, emotion overlay and one-click Rhubarb download.

Новые в версии v1.4.0: шесть новых инструментов, которые превращают результат «рот двигается» в «кадрируемый кадр». Запекайте значение открытости рта, которое можно управлять любым шейдером или объектом, добавляйте естественные моргания глаз и умеренную паузу, управляйте челюстью для схем без ключей формы рта, копируйте одну аналитику на все выбранные персонажи сразу, масштабируйте рот в зависимости от громкости речи, и заново запекайте только одну фразу внутри диапазона кадров, не трогая остальное.

Со времён v1.3.0: мультими mesh-персонажи анимируются как единое целое — когда Faceit или ARKit лицо разделено на несколько мешей, которые используют одни и те же blendshape (голова, борода, брови, язык, зубы), LipSync Studio управляет ртом на каждом из них синхронно. Впереди от v1.2.0: полная поддержка ARKit / Faceit / MetaHuman с разделёнными по левой и правой стороны shape keys, пресет FACEIT сопоставлен с современными blendshapes ARKit, и полностью обратимый рабочий процесс Push-to-NLA.

---

Зачем LipSync Studio

Анимация рта — одна из самых дорогих составляющих в работе с персонажами — и существующие аддоны Blender либо требуют загрузки около 30 МБ, которую marketplace не допускает, либо требуют установку дополнительных инструментов вручную. LipSync Studio выбирает средний путь: крошечный аддон скачивает только бинарник, который нужен при первом запуске, подбирает пресет viseme, соответствующий вашей существующей системе рига, и запекает результат в NLA-линию, которую можно сочетать с остальной частью производительности.

---

Особенности

Три analyse engines

• Встроенная — анализ энергии. Быстрая, язык-независимая, менее точная.
• Rhubarb Lip Sync — фонемно-точная, с подсказкой текста. Одно нажатие для загрузки.
• OpenAI Whisper — речь в текст плюс фонемы (на данный момент только английский).

Однонажатый Rhubarb download

Автоопределение вашей платформы (Windows, macOS Intel, macOS Apple Silicon, Linux), получение официального релиза и автоматическая настройка. Около 8 МБ вместо того, чтобы включать 30 МБ в загрузке.

Шесть пресетов rig для viseme

Одно нажатие для сопоставления, которое заполняет все 17 слотов viseme именами форм‑ключей, которые уже использует ваш риг:

• Generic — стандартное Blender именование viseme
• ARKit 52 — Apple ARKit / Live Link Face / запись с iPhone
• FACEIT — аддон Blender FACEIT
• Preston Blair — классический набор из 9 форм-аниматора
• MetaHuman — Epic MetaHuman / Live Link Face управляющий риг
• CC4 — Reallusion Character Creator 4