Lip-sync (синхронизация губ)

Lip-sync связывает звук и лицо. Модель разбирает речь на фонемы — минимальные звуковые единицы вроде /а/, /б/ или английского /th/, — подбирает каждой из них форму рта (визему) и перерисовывает лицо кадр за кадром.

Хорошая синхронизация — это не только форма рта: важны раскрытие челюсти, видимость языка, округление губ и паузы между словами. Плохая выглядит «резиновой» или двигает губами в тишине.

Два вида синхронизации губ

Липсинк по фото начинается с неподвижного портрета и голосовой дорожки. Модель создаёт всё исполнение целиком: рот, челюсть, моргание, лёгкие повороты головы. Так получаются говорящий аватар и говорящее фото — из лица, которое никогда не снимали в движении.

Липсинк на готовом видео сохраняет снятое исполнение и перерисовывает только область рта под новый звук: переведённую фразу, исправленное название продукта, более удачный дубль. Тело, фон и движение камеры остаются такими, какими их сняли, поэтому правку трудно заметить, если новые слова звучат примерно столько же, сколько старые.

Синхронизация губ в VlogMe

Оба вида работают в Video Studio.

• Чтобы фото заговорило, раздел Говорящее фото берёт один портрет и одну голосовую дорожку и рендерит их с Hedra Avatar (до 10 минут) или OmniHuman 1.5 (до 60 секунд, с более выразительным движением).
• Чтобы заново синхронизировать снятое видео, модель Lipsync 2 Pro получает исходный клип и новый звук. Длина результата и цена определяются более коротким из двух файлов, поэтому сначала обрежьте звук.

Пример: основательница стартапа записала 40-секундный рассказ об обновлении, а потом функцию переименовали. Она заново записывает текст с новым названием (или озвучивает его в Audio Studio клоном своего голоса, созданным с её согласия) и отправляет видео и новую дорожку в Lipsync 2 Pro. Клип возвращается с губами, которые произносят новое название, — и ничего не пришлось переснимать. Стоимость в кредитах видна до запуска.

Чтобы перевести на другой язык всё видео, DUB сначала переводит и заново озвучивает речь; синхронизация губ с новой дорожкой — отдельный шаг в Video Studio.

Ограничения и риски

• Лицо должно быть видно и повёрнуто примерно к камере в каждом кадре: профиль, рука у рта и резкие повороты ломают синхронизацию.
• Музыка или шум толпы под речью размывают формы рта; чистый голос даёт чёткую артикуляцию.
• Если новая фраза намного длиннее исходной, тело продолжает двигаться в старом ритме; переписывайте текст под похожую длину.
• Чтобы изменить слова реального человека, нужно его разрешение, а правки, вводящие зрителей в заблуждение, запрещены (Условия, разделы 5 и 6).

Вопросы

Липсинк и дубляж — одно и то же?

Нет. Дубляж заменяет речь переводом на другой язык, а липсинк подстраивает движение губ под звук. Дублированное видео можно затем синхронизировать, чтобы новые слова выглядели произнесёнными.

Можно ли синхронизировать пение?

Да, если вокал чистый. По возможности отделите голос от аккомпанемента: барабаны и синтезаторы под вокалом сбивают формы рта. Для этого есть раздел Поющее фото.

Какой звук подходит лучше всего?

Любая голосовая дорожка, которую можно загрузить в Lab или создать в Audio Studio. Главное — один чёткий голос без музыки под ним.