VlogMe

术语表

文本转语音(TTS)

把书面文字转换为语音的技术。如今的神经网络 TTS 已接近真人朗读,大多数会说话的数字人都靠它发声。

TTS 用选定的声音把文本读出来,生成音频。早期 TTS 听起来很机械;如今的系统用数百小时真人语音训练深度神经网络,能生成自然的语调、气息与情绪。

在 VlogMe 中,您可以选用 TTS 声线、在取得声音所有者同意的前提下克隆声音,或上传录音;会说话的数字人工作流会让肖像的口型与所选音频同步。

神经网络 TTS 如何工作

系统先判断文本应该怎么读:每个词的读音、重音落在哪个音节、哪里语调上扬、哪里停顿。然后用选定的声音生成音频波形。多语言模型能用同一个声音朗读多种语言,表现力强的模型还会根据标点、强调和句意调整语气。

常见的声音有三类:

  • 声音库中的声音: 由授权用于合成的配音演员录制。
  • 克隆声音: 在本人同意的前提下,用一个人的一小段语音样本制作。
  • 设计出的声音: 不靠录音,而是根据文字描述生成。

在 VlogMe 中使用

Audio Studio 使用 ElevenLabs 的 v3 和 Multilingual v2 模型,一次可以把最多 5,000 个字符的文字变成语音。可以从声音库里挑选,也可以用说话人同意提供的、不超过 8 MB 的干净录音克隆一个声音。费用以每 1,000 个字符为一档计算,确认前就能看到金额。由于模型支持多语言,同一个声音换一种语言,听起来仍是同一个人。

要让声音有一张脸,请在语音转数字人视频中使用它:肖像会以口型同步说出这段音轨,时长与音频相同。

限制与风险

  • 人名、缩写和数字可能读错:请写成汉字或按读音改写。
  • 长文本按段落生成并逐段检查,听起来更自然。
  • 克隆声音只能在声音所有者同意的范围内使用,包括语言和发布场合(服务条款第 6 节)。

常见问题

TTS 和声音克隆有什么区别?

TTS 是用某个声音把文字读出来。声音克隆是根据真实人物的样本创造出这个声音本身;克隆好的声音之后和声音库里的声音一样,通过 TTS 使用。

一个声音能说哪些语言?

在 VlogMe 中,可以用同一个声音说 ElevenLabs 模型支持的各种语言。

生成后还能修改吗?

修改文字后重新生成这一段即可,每次运行前都会显示价格。Lab 中的录音也可以在 Audio Studio 中降噪或转写。

全部术语