Синтез речи (TTS)

Синтез речи озвучивает текст выбранным голосом. Ранние системы звучали «как робот»; современные нейросети обучены на сотнях часов записей и передают естественную интонацию, дыхание и эмоции.

В VlogMe можно выбрать готовый голос, клонировать голос с согласия его владельца или загрузить запись, а говорящий аватар затем синхронизирует губы портрета с выбранной дорожкой.

Как работает нейросетевой синтез речи

Сначала система решает, как текст должен звучать: как произносится каждое слово, на какие слоги падает ударение, где голос поднимается, где пауза. Затем она генерирует звук выбранным голосом. Многоязычные модели читают разные языки одним голосом, а выразительные учитывают знаки препинания, логическое ударение и смысл фразы.

Голоса бывают трёх видов:

• Библиотечные — записанные дикторами, которые разрешили их синтез.
• Клонированные — созданные по короткому образцу речи одного человека с его согласия.
• Сконструированные — сгенерированные по текстовому описанию, без записи.

Синтез речи в VlogMe

Audio Studio озвучивает текст длиной до 5000 знаков за раз на моделях ElevenLabs v3 и Multilingual v2. Возьмите голос из библиотеки или клонируйте его по чистой записи до 8 МБ, если говорящий на это согласился. Счёт идёт за каждый начатый блок из 1000 знаков, и цену вы видите до подтверждения. Модели многоязычные, поэтому один голос может перейти на другой язык и остаться узнаваемым.

Чтобы у голоса появилось лицо, используйте его в разделе Голос в видео с аватаром: портрет произносит дорожку с синхронизацией губ столько, сколько она длится.

Ограничения и риски

• Имена, сокращения и числа могут прозвучать неверно: пишите их словами или так, как они произносятся.
• Длинные тексты звучат естественнее, если озвучивать и проверять их по абзацам.
• Клонированный голос можно использовать только так, как разрешил его владелец, в том числе на каких языках и где появится результат (Условия, раздел 6).

Вопросы

Чем синтез речи отличается от клонирования голоса?

Синтез речи читает текст вслух выбранным голосом. Клонирование создаёт сам голос по образцу речи реального человека; затем клоном пользуются через синтез речи, как любым библиотечным голосом.

На каких языках может говорить голос?

В VlogMe — на языках, которые поддерживают модели ElevenLabs, одним и тем же голосом.

Можно ли поправить речь после генерации?

Измените текст и озвучьте фрагмент заново — цена каждого запуска видна заранее. Записи из Lab в Audio Studio также можно очистить от шума или расшифровать.