ИИ-дубляж (AI dubbing)

Современный ИИ-дубляж состоит из трёх компонентов: (1) распознавание речи транскрибирует оригинал, (2) перевод переписывает текст на целевой язык с сохранением длины и тона, (3) клонированный или нейронный голос читает перевод. Затем синхронизация губ может заново анимировать лицо, чтобы рот совпадал с новыми словами.

ИИ-дубляж открывает одно исходное видео зрителям на других языках — это полезно авторам курсов, ютуберам и SaaS-маркетингу.

Дубляж, субтитры и закадровый перевод

Субтитры оставляют оригинальный голос и добавляют переведённый текст — это подходит зрителям, которые готовы читать. Закадровый перевод накладывает нового диктора поверх приглушённого оригинала, как в документальном кино. Дубляж заменяет саму речь, в идеале голосом, похожим на голос говорящего, и видео выглядит так, будто его сняли на новом языке. Для зрителя это самый естественный вариант и самый требовательный: при переводе должны сохраниться тайминг, имена и интонация.

ИИ-дубляж в VlogMe

DUB переводит речь в готовом видео (MP4, MOV или M4V) на один из 28 языков и озвучивает её голосом, похожим на голос говорящего; изображение остаётся без изменений. Перед запуском вы подтверждаете, что у вас есть права на видео и на каждый голос в нём. Цена зависит от длины исходного видео — за каждую начатую минуту — и видна до запуска.

Пример: у кулинарного блогера Анны есть удачное 6-минутное видео с рецептом на английском. Она загружает его в DUB, выбирает испанский, а затем португальский и получает два дублированных MP4, где звучит голос, похожий на её собственный. Перед публикацией она пересматривает оба ролика: не изменил ли перевод названия блюд и граммовки. Для короткой вертикальной нарезки, где она говорит в камеру, она пропускает испанскую дорожку через Lipsync 2 Pro в Video Studio, чтобы губы следовали новым словам.

Ограничения и риски

• Распознавание и перевод автоматические: имена, цифры, профессиональный жаргон и шутки могут получиться неверно. Посмотрите дублированный файл до публикации.
• Одновременная речь нескольких людей, громкая музыка под речью и плохой микрофон снижают качество голоса.
• Для каждого голоса, который вы дублируете, нужно разрешение его владельца — в том числе на языки и площадки, где появится результат, — а на само видео нужны ваши права (Условия, раздел 11).
• Проект каждого дубляжа вместе с клонированными для него голосами хранится у провайдера дубляжа, пока вы не удалите сам дубляж (его проект DUB, дублированное или исходное видео), данные DUB или аккаунт; тогда мы удаляем его и там, как описано в Политике конфиденциальности.

Вопросы

Меняет ли DUB движение губ?

Нет. DUB переводит и заново озвучивает речь, изображение не меняется. Синхронизация губ — отдельный шаг в Video Studio.

На сколько языков можно перевести одно видео?

На любой из 28 языков, которые поддерживает DUB; каждый дубляж делается из того же оригинала, по одному языку за раз.

Может, лучше перевести сценарий самому?

Для ролика с ведущим, созданного в VlogMe, — можно: переведите сценарий, озвучьте его в Audio Studio и отрендерите тот же портрет заново. Для снятого видео быстрее DUB.