現代のAIダビングは3つの要素を組み合わせます：（1）音声認識が元音声を文字起こし、（2）翻訳が長さと調子を保ちつつ対象言語に書き換え、（3）クローンまたはニューラル音声が翻訳を読みます。その後リップシンクで顔の動きを作り直し、口の形を新しい言葉に合わせることもできます。
AIダビングを使えば、1本の元動画をほかの言語の視聴者にも届けられます。講座制作者、YouTuber、SaaSのマーケティングに役立ちます。
吹き替え、字幕、ボイスオーバー
字幕は元の声を残して翻訳テキストを加えるもので、文字を読みながら見る視聴者に向いています。ボイスオーバーは、音量を下げた元の音声の上に新しいナレーターの声を重ねるもので、ドキュメンタリーでよく使われます。吹き替えは話している声そのものを置き換えます。理想的には元の話者に似た声で、動画が最初からその言語で作られたように感じられます。視聴者にとって最も自然な方法ですが、タイミング、固有名詞、口調のすべてを翻訳後も保つ必要があり、最も手間がかかります。
VlogMeでのAIダビング
DUBは、完成した動画（MP4、MOV、M4V）の音声を28言語のいずれかに翻訳し、元の話者に似た声で吹き替えます。映像そのものは変わりません。吹き替えを始める前に、動画とその中のすべての声について権利を持っていることを確認します。料金は元の動画の長さに応じて1分単位（1分未満は切り上げ）で計算され、開始前に表示されます。
例：ある料理クリエイターには、よく再生されている6分間の英語のレシピ動画があります。DUBにアップロードしてスペイン語、続いてポルトガル語を選ぶと、声が本人らしいままの吹き替えMP4が2本できあがります。公開前に、翻訳で料理名や分量が変わっていないか両方を確認します。カメラに向かって話す短い縦型の切り抜きには、スペイン語の音声をVideo StudioのLipsync 2 Proにかけ、唇の動きを新しい言葉に合わせます。
制限とリスク
- 音声認識と翻訳は自動のため、名前、数字、専門用語、冗談が誤って訳されることがあります。公開前に吹き替えたファイルを確認してください。
- 複数人が同時に話す場面、声の下の大きな音楽、質の低いマイクは、声の品質を下げます。
- 吹き替える声ごとに、結果を使う言語や掲載先も含めて持ち主の許可が必要で、動画そのものの権利も必要です（利用規約 第11条）。
- 各吹き替えプロジェクトは、そのためにクローンされた声とともに吹き替えの提供元に残りますが、その吹き替え（DUBプロジェクト、吹き替え済みの動画、元の動画のいずれか）、DUBのデータ、またはアカウントを削除すると、当社が提供元からも削除します。詳しくはプライバシーポリシーをご覧ください。
よくある質問
DUBで話者の唇の動きは変わりますか？
いいえ。DUBは音声を翻訳して吹き替えるだけで、映像は変わりません。リップシンクはVideo Studioでの別の手順です。
1本の動画を何言語にできますか？
DUBが対応する28言語のどれにでもできます。吹き替えは毎回同じ元動画から、1言語ずつ作ります。
台本を自分で翻訳したほうがいいですか？
VlogMeで作ったプレゼンター動画なら、それも可能です。台本を翻訳してAudio Studioで音声にし、同じポートレートでもう一度レンダーします。撮影した映像なら、DUBのほうが早く済みます。
