TTSは、テキストを指定した声で読み上げた音声に変換します。初期のTTSはロボットのような声でしたが、現在のシステムは数百時間分の人の音声で学習したディープニューラルネットワークを使い、自然な抑揚や息づかい、感情を表現します。
VlogMeでは、TTS音声を選ぶ、声の持ち主の同意を得てクローンする、録音をアップロードする、のどれでも構いません。どの音声を選んでも、トーキングアバターのワークフローがポートレートの口の動きをその音声に合わせます。
ニューラルTTSのしくみ
システムはまず、テキストがどう聞こえるべきかを決めます。各単語の読み方、アクセントの位置、声が上がる箇所、間を置く箇所です。そのうえで、選んだ声の音声波形を生成します。多言語モデルは1つの声で複数の言語を読み上げ、表現力の高いモデルは句読点、強調、文の意味にも反応します。
よく使われる声は3種類です。
- ライブラリの声： 合成への利用を許諾した声優が収録した声。
- クローン音声： 1人の話し声の短いサンプルから、本人の同意を得て作った声。
- デザインした声： 録音ではなく、文章による説明から生成した声。
VlogMeでのテキスト読み上げ
Audio Studioは、ElevenLabsのv3とMultilingual v2のモデルで、最大5,000文字の文章を1回で音声にします。ライブラリの声を選ぶか、話し手が同意した8MBまでのきれいな録音から声をクローンします。料金は1,000文字単位（端数は切り上げ）で計算され、確定前に金額が表示されます。モデルが多言語に対応しているため、1つの声が言語を切り替えても同じ人の声に聞こえます。
声に顔を付けるには、音声からアバター動画で使います。ポートレートが、音声の長さだけリップシンクしながら話します。
制限とリスク
- 固有名詞、略語、数字は誤って読まれることがあります。ひらがなやカタカナで書く、読み方どおりに書き換えるなどで対処します。
- 長い文章は、段落ごとに生成して確認したほうが自然に聞こえます。
- クローン音声は、言語や公開先を含め、声の持ち主が同意した範囲でのみ使えます（利用規約 第6条）。
よくある質問
TTSとボイスクローンの違いは？
TTSは、ある声でテキストを読み上げる技術です。ボイスクローンは、実在の人のサンプルからその声自体を作る技術で、作ったクローンはライブラリの声と同じようにTTSで使います。
どの言語を話せますか？
VlogMeでは、ElevenLabsのモデルが対応する言語を同じ声で話せます。
生成した音声は後から直せますか？
テキストを直して、その部分を生成し直します。毎回、実行前に料金が表示されます。Labの録音は、Audio Studioでノイズ除去や文字起こしもできます。
