リップシンクでAIモデルに歌わせる動画は、ElevenLabsで歌を作り、DomoAIでAIモデルの画像を生成して、DomoAIの「AIアバター」で歌声に口の動きを合わせると作れます。この3つの工程を、実際の画面とともに順番に見ていきましょう。
仕上げの編集のコツや権利の注意点、RunwayなどDomoAIのほかの選択肢も紹介します。
＼ MiraLab AI限定！下記のリンクから購入で10%OFF ／
リップシンクでAIモデルに歌わせるとは？初心者にもわかりやすく解説
リップシンクでAIモデルに歌わせる仕組みと、用意する素材を先に押さえておくと、完成までの流れがつかみやすくなります。実際にリップシンクで歌わせている動画の例と合わせて紹介します。
リップシンクでAIモデルに歌わせるとはどういうことか
リップシンクとは、音声に合わせてキャラクターや人物の口の動きを同期させる技術です。AIでモデルの画像と歌声のデータを作り、その歌声に合わせてAIモデルが口を動かし、歌っているように見える動画を作ります。
撮影や作画をしなくても、画像と歌声の音源さえあれば作れるので、初心者でも短時間でリップシンク動画を作ることができます。
リップシンクでAIモデルに歌わせるために必要な素材
リップシンクでAIモデルに歌わせる動画を作るためには、音声データと画像データが必要です。
音声データとは、リップシンクでAIモデルに歌わせたいボーカル音源と伴奏用の音源です。ただ、AIモデルにアカペラで歌わせる場合は、伴奏用のデータは必要ありません。
画像データとは、リップシンクで歌わせたいAIモデルの写真です。実写にするのかアニメ調にするのか、自分の作りたい動画に合わせて用意してください。
実際にリップシンクを活用した動画の事例
実際にリップシンクを活用している動画はたくさんあります。例えばキャラクターが音声に合わせて口を動かし、自然に会話しているものや、自分が好きな動物にリップシンクで歌ってるように見せている動画もあります。
その他にもペット画像から動画を生成し歌わせる動画や、アニメキャラのMV動画など、様々なリップシンク動画の事例があり、今後も注目される技術の一つです。
＼ MiraLab AI限定！下記のリンクから購入で10%OFF ／
リップシンク動画を作る全体フロー
DomoAIとElevenLabsを使ってリップシンク動画を作るときは、DomoAIでAIモデルの画像生成とリップシンク動画の作成、ElevenLabsで歌声・音源データの作成と役割を分けて、段階的に生成していくのが基本の流れです。
まずElevenLabsの「ミュージック」で歌を作り、DomoAIの「画像編集」でAIモデルの画像を生成します。次に、作った歌とAIモデルの画像をDomoAIに読み込んで、リップシンク動画を生成します。最後に、動画編集ツールで音と映像のタイミングや冒頭の見せ方を整えれば完成です。
歌はElevenLabs、画像と口の動きはDomoAIと、それぞれ得意な生成データの種類があるので、組み合わせて使うことで効率良くリップシンク動画が作れます。
＼ MiraLab AI限定！下記のリンクから購入で10%OFF ／
リップシンク動画の作り方①：ElevenLabsで歌を作成
まずは、ElevenLabsを使ってAIモデルに歌わせるオリジナルの歌を作成していきます。歌詞もメロディーもプロンプトの指示から作られるので、作曲の知識が無くても進められます。
ElevenLabsでオリジナルの歌を作る流れ
ElevenLabsの「ミュージック」は無料プランでも曲を生成して試せますが、作った曲をダウンロードしてDomoAIに読み込むには、Starter以上の有料プランが必要です。音楽の利用条件（Music Terms）では、プランごとの毎月のダウンロードの上限が次のように決められています。
Monthly Download Limit
Free: Not permitted
Starter: 30 minutes和訳：毎月のダウンロードの上限
出典：ElevenLabs Music Terms（Exhibit A – Music Commercial Rights）
Free：認めない
Starter：30分
無料プランで曲の雰囲気を確かめてから、ElevenLabs公式サイトの料金ページでStarter以上に切り替えれば、完成した曲を持ち出せるでしょう。
曲づくりは、ElevenLabs公式のEleven Musicの使い方のページのとおり、プロンプトの入力・曲の数と長さの設定・編集・ダウンロードの順に進めます。ここからは、アカウント登録から歌の生成・ダウンロードまでを解説します。
登録してログインすると、「何を作成しますか？」と書かれたホームの画面が開きます。曲は、左のメニューの「ミュージック」から作るので、クリックしてください。
ミュージックの画面は、最初に「マーケットプレイス」のタブが開きます。モデルや曲の長さを選んで作るのは「生成」のタブなので、こちらに切り替えましょう。
左の「プロンプト」の欄に、作りたい音楽を入力します。今回は「女性が歌っていてサビで盛り上がる音楽を作ってください。」と入力しました。その下の「歌詞」は「自動」のままにしておくと、歌詞もプロンプトから作られます。
入力欄の上の「Music v2」がモデル、下に並ぶ時計のアイコンのボタンが曲の長さ、重なった四角のアイコンのボタンが一度に作る曲の数（バリアントの数）です。モデルは初めから選ばれている「Music v2」のままで構いません。音質と指示への忠実さを上げた新しい「Music v2.5」も、同じ一覧から選べます。
長さは「Auto」「30s」「1m」「2m」「4m」「6m」と「カスタム」から選びます。曲の数は1〜4曲で、初めは2曲です。
リップシンクに使うDomoAIのAIアバターは、1本の動画の長さが最長60秒（プロ以上のプラン。ベーシック・スタンダードは最長20秒）です。曲は長めに作っておき、DomoAIに読み込むときに歌わせたい部分だけを切り出します。
設定が済んだら、右下の「→」をクリックすると生成が始まります。ボタンの左の数字は、生成で使うクレジットです。長さを30秒、曲の数を2曲にしたときは、900クレジットと表示されました。
しばらくすると、右の一覧に選んだ数だけ曲ができます。再生して聞き比べ、使う曲の「曲を編集」をクリックしてください。
エディターでは、パートごとにスタイルのタグと歌詞が並びます。歌詞の書き換え、パートの追加・削除、パートごとの長さやスタイルの調整ができるので、歌いにくい歌詞や長すぎる間奏があれば、ここで整えておきましょう。直し終えたら「生成」をクリックして、編集を曲に反映させます。
曲が仕上がったら、エディターの右下の「ダウンロード」をクリックします。開いたメニューの「フルソング」の右にある保存のアイコンを押すと、MP3・MP4・WAVから形式を選べるので、「MP3」を選んでください。
無料プランのままMP3を選ぶと、「ミュージックをダウンロードするにはアップグレードしてください」と表示され、保存できません。
実際に完成した音楽がこちらです。2025年12月に、同じプロンプトで当時のモデル（Music v1）を使って作りました。
歌に伴奏がある場合のポイント
歌に伴奏がある場合は、伴奏の音で歌声が埋もれないようにしましょう。リップシンク動画は、歌声が鮮明に聞こえているかどうかで口の動きの合い方が変わるからです。
伴奏が大きく、歌声が聞き取りにくいときは、歌声と伴奏を分離させてから読み込むと、口の動きが歌声に合いやすくなります。ElevenLabsで作った曲なら、「ダウンロード」のメニューにある「ボーカル & インストゥルメンタル」の「生成する」から、クレジットを使って歌声と伴奏を分けられます。
ほかのツールで作った曲は、LALAL.AIやMoisesなどの、歌声と伴奏を分けるツールを使ってください。ElevenLabsのボイスアイソレーターは話し声から雑音を取り除く機能で、音楽の歌声の分離向けには作られていないため、うまく分けられるかは音源によります。
＼ 無料プランでお試し ／
リップシンク動画の作り方②：DomoAIでAIモデルを画像生成
次にDomoAIを使って、歌わせるAIモデルの画像を生成していきます。リップシンクに向いた画像の条件と合わせて確認していきましょう。
DomoAIでAIモデルを画像生成する流れ
「AI画像」の「画像編集」で、プロンプトからリップシンクさせるAIモデルを生成します。
「AI画像」には「テキスト→画像生成」もありますが、こちらは用意されたアニメのテンプレートに沿って画像を作る機能です。実写風の人物など、思いどおりのAIモデルを作るときは「画像編集」を使います。正面を向いた歌い手の画像を作って素材に保存し、リップシンクに使う流れは、DomoAI公式ブログのキャラクターやモノに話させるAI動画の作り方でも紹介しています。
「DomoAIへようこそ」の画面が開くので、Google・Discord・メールアドレスのどれかを選んでログインします。
ログイン後の左のメニューにある「AI画像」をクリックします。
画面の上のプルダウンを開き、「テキスト→画像生成」「画像編集」「画像アップスケール」の中から「画像編集」を選びます。
プルダウンの下のモデルの欄をクリックすると、モデルの一覧が開きます。初めは「GPT Image 2.5 Sunburst」が選ばれていて、ほかに「GPT Image 2」「Nano Banana 2」などが並びます。今回は「GPT Image 2」を選びました。
「プロンプト(Prompt)」の欄に、作りたいAIモデルの説明を入力します。今回は「正面を向いたロングヘアーの女性を生成してください。」と入力しました。
左下の比率のボタンで、画像の縦横の比率を選べます。ショート動画にするなら、9:16の縦長にしておくと後の編集が楽になります。比率を選んだら「生成」をクリックしてください。
生成が終わると、右の「履歴」のタブに画像が表示されます。クオリティに問題がなければ、画像をクリックして詳細を開きます。
画像の詳細の右にある「操作」の中から「AIアバター」をクリックします。リップシンク動画を作る「AIアバター」の画面が開き、画像の欄にこの画像が入ります。
画像の欄に入った画像の下に並ぶアイコンのうち、真ん中の「アセットに保存」をクリックします。「素材追加成功」と表示されれば、画像が素材に保存されています。保存した画像は、リップシンク動画を作るときに素材の一覧から選べます。
2025年12月に、同じプロンプトで生成したAIモデルの画像がこちらです。
歌わせやすい画像のポイント
DomoAIのリップシンク機能では、不自然な口パクや表情の硬さが出ることがあります。原因の多くは、顔の角度などの画像の条件・音声の品質・音声と動画の長さの不一致です。
なかでも口元の情報量を確保することが、口の動きを自然にする近道です。よくある失敗例と、それを防ぐためのポイントを次の表にまとめました。
| 失敗例 | ポイント |
|---|---|
| 顔が横向きで口パクが不自然 | 顔の向きが正面かつ明るい画像を使用する |
| 音声がこもり口の開閉が合わない | 歌声と伴奏を分離させる |
| 途中で動きが止まる | 音声と動画の長さを合わせる |
| 表情が硬い／ぎこちない | 自然な表情の画像を生成する |
＼ MiraLab AI限定！下記のリンクから購入で10%OFF ／
リップシンク動画の作り方③：DomoAIでリップシンク動画を生成
歌と画像の素材が揃ったので、DomoAIでリップシンク動画を生成していきます。使うのは「AIビデオ」の中の「AIアバター」です。DomoAI公式ブログでは、同じ機能を「トーキングアバター」と呼んでいます。
DomoAIでリップシンク動画を生成する流れ
「AIアバター」にAIモデルの画像と歌の音声を読み込むと、歌声に合わせて口が動く動画を生成できます。
読み込む音声は、伴奏の無いボーカルだけの音源にすると、口の動きが歌声に合いやすくなります。1本の動画の長さには上限があるので、長い曲は歌わせたい部分だけを切り出してから読み込みましょう。歌のMVを短い区切りで作ってつなぐ流れは、DomoAI公式ブログの長い歌のMVを短い区切りで作ってつなぐ手順にまとまっています。
左のメニューの「AIビデオ」をクリックします。手順②の最後で画像を保存した後なら、すでに「AIアバター」の画面が開いているので、次の「音声の欄」のSTEPへ進んでください。
画面の上のプルダウンを開き、並んだ機能の中から「AIアバター」を選びます。
右の音声の欄をクリックし、ElevenLabsでダウンロードした歌のファイルを選びます。ファイルを欄にドラッグして置いても読み込めます。欄の下の3つのアイコンは、左から「録音開始」「素材を選択」「音声合成」です。
音声が入ると、音声の欄に再生のボタンと長さが表示されます。次に、左の画像の欄の「素材」をクリックしてください。
「素材」の一覧が開くので、手順②で保存したAIモデルの画像をクリックして選びます。
画面の下の「自動 | 5s」のボタンをクリックすると、比率と動画の長さを選べます。動画の長さは、読み込んだ音声と同じか、それより長い秒数を選びましょう。初回は、5秒ほどに切り出した音声で試すのがおすすめです。
左下の設定のアイコンからは、「ウォーターマークなし」と「画面キーイング」のスイッチを開けます。有料プランでは、「ウォーターマークなし」をオンにすると透かしの無い動画を生成できます。
画像と音声の両方が入ったことを確かめて、「生成」をクリックします。「プロンプト(Prompt)」の欄には、笑顔やうなずきなどの動きや表情を入れられます。特に指定が無ければ空欄のままで構いません。
生成が終わると、右の「履歴」に「AIアバター」と書かれた動画が表示されます。クリックすると、大きな画面で再生できます。
動画を開いた画面の右下にある、ダウンロードのアイコンをクリックすると、MP4のファイルでダウンロードできます。
2025年12月に、ElevenLabsで作った歌とAIモデルの画像から生成したリップシンク動画がこちらです。
クレジット消費についての注意点
DomoAIのクレジットの消費量は、機能と動画の長さによって異なります。リップシンクに使う「AIアバター」と、主な動画作成機能の消費クレジットを次の表にまとめました。
| 機能と動画の長さ | 消費 クレジット |
|---|---|
| テキスト→動画生成：5秒 （DomoAI V2.4 Fast） | 7 |
| 画像→動画生成：5秒 （DomoAI V2.4 Fast） | 7 |
| 動画→動画変換：5秒 | 25 |
| AIアバター：5秒 | 15 |
| AIアバター：10秒 | 45 |
| AIアバター：20秒 | 90 |
| AIアバター：30秒 | 180 |
| AIアバター：60秒 | 360 |
30秒と60秒のAIアバターを作れるのは、プロ以上のプランです。無料のアカウントで開くと、動画の長さの30sと60sには鍵のマークが付き、選べません。クレジットは無制限では無いので、まずはお試しで5秒の動画を生成し、問題が無いクオリティが生成された場合に、秒数を伸ばして生成するようにしましょう。
また、スタンダード以上の有料プランでは、対応する機能を「Relax モード」で生成でき、クレジットを消費しません。AIモデルの画像づくりで使う「画像編集」と、「テキスト→動画生成」の一部の設定はRelax モードに対応していますが、リップシンクで使うAIアバターはFast モードだけで、生成のたびにクレジットを消費します。
＼ MiraLab AI限定！下記のリンクから購入で10%OFF ／
リップシンク動画を動画編集でMVとしてクオリティを上げるコツ
ここまでの作業でもクオリティの高いリップシンク動画が完成していますが、最後に仕上げの動画編集をすることで、MVとしてのクオリティがより高くなります。初心者でも押さえておきたい編集のポイントは次の2つです。
映像と音を合わせる
リップシンク動画で最も重要なのが、映像と音の同期です。まず基準点として確認したいのは、歌い出しや強く口が開く母音のタイミングです。
音声波形を表示し、「あ」や「お」などのはっきりした発音部分と、口が大きく動くフレームを合わせることで、映像と音の微妙なズレを修正しやすくなります。
ショート動画向けの調整
ショート動画として公開する場合は、冒頭数秒の印象が再生数に影響を与えます。いきなり歌い出すのではなく、印象的な表情やサビ前を冒頭に持ってくると、視聴者の離脱を防ぎやすくなります。
また、字幕は歌詞をそのまま表示するよりも、強調したいフレーズだけを見せる方が効果的です。こちらは、音楽がサビから始まるように調整したショート動画の例です。
＼ MiraLab AI限定！下記のリンクから購入で10%OFF ／
DomoAIのほかにAIモデルを歌わせる・踊らせるツール
この記事の手順は、画像と歌声だけで口の動きを合わせられるDomoAIの「AIアバター」が中心です。自分が歌う姿を元にしたいときや、MVに踊るシーンを足したいときは、RunwayとViggle AIも使えます。
Runway：自分が歌う動画の口の動きと表情をAIモデルに移す「Act-Two」
RunwayのAct-Twoは、人が演じている動画とキャラクターの画像を読み込むと、動画の動き・表情・話し方を、そのままキャラクターに移した動画を作る機能です。自分で歌っている動画を撮って読み込めば、DomoAIで作ったAIモデルが、自分と同じ口の動きと表情で歌う動画になります。
次の画像は、Runwayが公式ヘルプで公開しているAct-Twoの例です。左の人の両手を上げた動きと表情が、右のキャラクターにそのまま移っています。
DomoAIのAIアバターは画像と音声だけで作れるのに対し、Act-Twoは歌っている人の動画が必要です。そのぶん、表情の付け方や体の動きまで、自分の歌い方どおりに動かせるでしょう。
作れる動画の長さは最長30秒で、消費は1秒あたり5クレジットです。3秒未満の動画でも、最低3秒分の15クレジットを消費します。Act-TwoはStandard以上の有料プランで使え、登録時の125クレジットだけの無料プランでは使えません。
Runwayの動画生成モデルと料金プランは、以下の記事で詳しく解説しています。
Viggle AI：AIモデルの画像を踊らせてMVのダンスシーンを作る
Viggle AIは、ダンスなどの動画に映る人物を、画像のキャラクターに入れ替えた動画を作れるサービスです。「Mix」で、動きの元になる動画と、DomoAIで作ったAIモデルの画像を読み込むと、AIモデルが同じ振り付けで踊る動画ができあがります。
Viggle AIは歌声に合わせて口を動かす機能ではないため、DomoAIで作った歌うシーンと、Viggle AIで作った踊るシーンを動画編集でつなぐと、MVの見せ場を増やせます。無料プランでも1日5本まで作れますが、動画には透かしが入る仕様です。透かしを外したいときは、Pro以上の有料プランを選びましょう。
Viggle AIの使い方と料金プランは、以下の記事で詳しく解説しています。
＼ MiraLab AI限定！下記のリンクから購入で10%OFF ／
リップシンクでAIモデルに歌わせる際の注意点
リップシンク動画は初心者でも簡単に作れますが、扱いを誤るとトラブルにつながる可能性があります。動画を公開する前に、楽曲と人物の2つの権利の扱いを確かめておきましょう。
楽曲・歌詞・伴奏の扱い
既存の楽曲や歌詞、伴奏を使用する場合は著作権の扱いに注意が必要です。個人利用であっても、動画を公開する場合は利用範囲が制限されることがあります。例えば、市販の楽曲をそのまま使ってリップシンク動画を作成し、TikTokやYouTubeに投稿した場合は以下のようなリスクが考えられます。
- 音源が自動検出されて投稿した動画が削除される
- 収益化していたアカウントが制限される
- 利用アカウントに警告が付く
安全にリップシンク動画を作りたい方は、オリジナルで作成した楽曲を使うか、利用条件が明確な音源や歌詞を選んでください。
ElevenLabsで作った曲を、個人のYouTubeやTikTokの収益化する動画に使うなら、Starter以上の有料プランで作った曲を使います。Starterは個人の利用に限られ、音楽配信サービスでの曲の配信はできません。映画・テレビ・ラジオでの使用も対象外です。
Starter
Eligibility Restrictions: For Individual Use Only
Music Streaming Distribution: Prohibited
Media Rights: All online and offline commercial use permitted, except film, TV, radio, and Studio Games和訳：Starter
出典：ElevenLabs Music Terms（Exhibit A – Music Commercial Rights）
利用資格の制限：個人の利用に限る
音楽ストリーミングでの配信：禁止
メディアでの権利：映画・テレビ・ラジオ・スタジオゲームを除く、オンラインとオフラインのすべての商用利用を認める
人物と声の取り扱い
AIで生成した音声や画像であっても、実在する人物や特定のアニメキャラの声を強く想起させる使い方には注意が必要です。本人のデータを直接使用していないとしても、本人だと誤解を与える表現となっている場合、なりすましと受け取られ、肖像権やパブリシティ権の侵害と判断される可能性があります。
リップシンク動画を作成する際は、オリジナルの声やキャラクター画像をAIツールで生成し、利用規約に沿った取り扱いを意識し、権利侵害と受け取られない表現や音声を心がけましょう。
＼ 無料プランでお試し ／
まとめ
DomoAIとElevenLabsを使えば、初心者でも簡単にリップシンクでAIモデルに歌わせる動画を作成することができます。ElevenLabsの「ミュージック」で歌を作り、DomoAIの「画像編集」でAIモデルを生成して、「AIアバター」で歌声と口の動きを合わせる流れです。曲をダウンロードしてDomoAIに読み込むには、ElevenLabsのStarter以上の有料プランを用意しておきましょう。
口の動きを自然にするには、正面を向いた明るい画像と、歌声がはっきり聞こえる音声を用意するのが近道です。AIアバターは長さに応じてクレジットを消費するので、まず5秒で仕上がりを確かめてから長い動画を作ると無駄がありません。自分の歌う姿を元にしたいときはRunwayのAct-Two、踊るシーンを足したいときはViggle AIと組み合わせると、MVの表現の幅が広がるでしょう。
公開前には著作権・利用規約・プラットフォームルールを確認し、トラブルを避ける意識も欠かせません。本記事で紹介した手順と注意点を参考に、ぜひリップシンクを使ったAI動画制作に挑戦してみてください。
＼ MiraLab AI限定！下記のリンクから購入で10%OFF ／