リップシンクは、音声と顔の動きを結びつける技術です。モデルは音声から音素（/a/、/b/、/th/ などの最小単位）の並びを取り出し、音素ごとに対応する口の形（ビゼーム）を割り当てて、フレームごとに顔を描き直します。
自然なリップシンクには、口の形だけでなく、顎の開き、舌の見え方、唇のすぼまり、言葉の間の取り方も欠かせません。うまくいかないと、口元がゴムのように不自然に伸び縮みしたり、音がないのに口が動いたりします。
リップシンクの2つの種類
写真からのリップシンクは、静止したポートレートと音声トラックから始まります。口、顎、まばたき、小さな首の動きまで、話す様子をすべてモデルが作り出します。トーキングアバターや話す写真は、この方法で、話す姿を撮影したことのない顔から作られます。
撮影済み動画のリップシンクは、撮影した演技を残したまま口元だけを描き直し、新しい音声に合わせます。翻訳したセリフ、訂正した製品名、より良いテイクなどです。体、背景、カメラの動きは撮影したままなので、新しい言葉の長さが元とほぼ同じなら、修正はほとんどわかりません。
VlogMeでのリップシンク
どちらもVideo Studioで行えます。
- 写真を話させるには、写真を話させるでポートレート1枚と音声トラック1本を用意し、Hedra Avatar（最長10分）またはOmniHuman 1.5（最長60秒、より豊かな動き）でレンダーします。
- 撮影済みの動画を合わせ直すには、Lipsync 2 Proに元のクリップと新しい音声を渡します。結果の長さと料金は2つのうち短いほうに合わせて決まるため、先に音声を切りそろえてください。
例：ある創業者が40秒の製品アップデート動画を撮影した後、機能の名前が変わりました。新しい名前でアップデートを録音し直し（または本人の同意を得て作った声のクローンでAudio Studioから読み上げ）、動画と新しい音声をLipsync 2 Proに送ります。戻ってきたクリップでは唇の動きが新しい名前に合っており、撮り直しは一度もありません。クレジット料金は実行前に表示されます。
動画全体を別の言語にするなら、まずDUBで音声を翻訳・吹き替えします。吹き替えた音声へのリップシンクは、Video Studioでの別の手順です。
制限とリスク
- すべてのフレームで顔が見え、おおむねカメラを向いている必要があります。横顔、口元にかかる手、速い振り向きは同期を崩します。
- 声の下に音楽や雑踏の音があると口の形があいまいになります。クリアな音声ほど発音がはっきりします。
- 新しいセリフが元よりずっと長いと、体の動きが元のリズムのまま残ります。ほぼ同じ長さに書き直してください。
- 実在の人物が話す内容を変えるには本人の許可が必要で、視聴者を誤解させる編集は禁止されています（利用規約 第5条・第6条）。
よくある質問
リップシンクと吹き替えは同じですか？
いいえ。吹き替えは声を別の言語の声に置き換え、リップシンクは口の動きを声に合わせます。吹き替えた動画に後からリップシンクをかければ、新しい言葉を実際に話しているように見せられます。
歌声でもリップシンクできますか？
はい、ボーカルがクリアなら可能です。できれば伴奏からボーカルを分けてください。ドラムやシンセが重なると口の形が乱れます。そのための機能が写真を歌わせるです。
どんな音声が向いていますか？
Labにアップロードできる音声、またはAudio Studioで作った音声なら使えます。大切なのは、音楽の入っていない、1人のクリアな声であることです。
