ChatGPTのような大規模言語モデル（LLM）は、ユーザーの入力に対して自然な文章を生成できます。しかし、現在主流のChatGPTは「自己回帰モデル」と呼ばれる方式で動作しており、文章を一度に一語（トークン）ずつ順番に出力します。
この方法は高品質な文章を生み出せますが、生成が逐次的なため時間がかかり、途中で生じた誤りを後から修正することも苦手です。
そこで近年、画像生成AIで成功した「拡散モデル（Diffusion Model）」をテキスト生成にも応用しようとする研究が注目を集めています。拡散モデルは「ノイズからコンテンツを精緻化していく」全く異なる発想の生成モデルであり、ChatGPTとは違った強みと弱みがあります。
本記事では、テキスト生成における拡散モデルの背景・仕組み・長所・短所について、ChatGPTに馴染みのある方にも分かりやすく解説します。
テキスト生成の拡散モデルとは？注目される背景
拡散モデルとは、データに徐々にノイズを加えていき（拡散過程）、そのノイズを取り去って元のデータを復元する過程（生成過程）を学習することで、新しいデータを生成するモデルです。
このアイデアは画像生成で大きな成功を収めました。例えばStable Diffusionのようなモデルは、真っ白なノイズ画像からだんだんとノイズを取り除き、美しい画像を描き出します。
では、テキストの場合はどうでしょうか？実はテキストへの応用は一筋縄ではいきません。文章は画像のピクセルと違って離散的な単語の列であり、同じようにノイズ（例えばランダムな揺らぎ）を加えることが難しいのです。
さらに言語には文法や文脈といった長い範囲の依存関係があり、画像より複雑です。このため長らくテキスト生成では自己回帰モデルが主流で、拡散モデルはあまり使われてきませんでした。
拡散モデルによるテキスト生成のメリット
それでも近年、拡散モデルをテキストに応用する動きが活発になった背景には、自己回帰モデルの課題を克服したいという動機があります。
ChatGPTのような自己回帰型LLMは、一語ずつ順に文章を作るため大規模モデルほど応答生成に時間がかかる傾向があります。例えば長い回答を生成する際、言葉を一つひとつ綴るように出力するので、ユーザーは待ち時間が長くなります。また一度出力した単語は後の単語選択に影響を与え、途中で辻褄が合わなくなっても後戻りして修正することができません。
これに対し拡散モデルなら、文章全体を並列的に扱えるため生成速度を劇的に高められる可能性があります。途中の誤りも後のステップで上書き修正でき、より整合性の取れた出力が期待できます。
実際、Google DeepMindは拡散モデルによって「ユーザーにより高い制御性と創造性、そして高速なテキスト生成を提供できる可能性がある」と述べています。このように「より速く・柔軟に・賢く」テキストを生み出す新手法として、拡散モデルが研究されているのです。
拡散モデルによるテキスト生成の課題
しかし一方で、拡散モデルをテキスト生成に用いるにはいくつかの難しい課題が存在しています。
まず、テキストは単語という離散的な要素で構成されているため、画像のように「微小なノイズを徐々に足す」方法がそのまま使えません。そのため、マスクや単語の置換といった特別なノイズの付け方を工夫する必要がありますが、このノイズの加減が非常に難しいのです。ノイズが強すぎれば文章の構造が壊れ、弱すぎれば十分な生成の多様性が生まれません。
次に、言語には本質的に順序性があり、意味は単語の並び方によって決まります。自己回帰モデルはこの順序性に沿って生成を進めますが、拡散モデルは並列的に全体を一気に生成しようとします。そのため、テキストの順序的な性質とのミスマッチが起こり、文の流れや論理性をうまく保てないことがあります。順序性を取り入れる方法も研究されていますが、それにより拡散モデル特有の「速さ」の利点が失われる可能性もあります。
品質面でも課題があります。2025年時点でのテキスト生成拡散モデルの品質は、GPT-4のような自己回帰型の最先端モデルにまだ及ばないのが現状です。特に、長文や複雑な推論が求められる状況では自己回帰型のモデルの方が安定した高品質を出せる傾向にあります。
また計算効率の面でも課題があります。拡散モデルは、生成時に何十回もの反復計算を行う必要があり、自己回帰モデルよりも計算資源を多く必要とします。特に規模が大きくなると、この計算コストは顕著に増加し、扱うのが難しくなります。
さらに、生成ステップ数と品質の間にはトレードオフがあります。ステップを減らすと生成は高速化しますが、その分品質が落ちやすくなります。このバランスをうまく取るためには、高度なノイズ除去の設計や改良が必要とされています。
こうした課題を乗り越えて初めて、テキスト生成において拡散モデルが本当に実用的な手法となっていくのです。
拡散モデルでテキストを生成する方法
それでは、テキスト生成の拡散モデルは具体的にどのように動作するのでしょうか。基本的な考え方は画像の場合と同様、「データをいったんノイズでメチャクチャにし、そこから元に戻すプロセスを学習する」ことです。
画像ではピクセルに少しずつノイズ（乱れ）を足していきますが、テキストの場合は単語（トークン）そのものを乱す必要があります。そこで研究者たちは、マスク（伏せ字）やランダムな置換を使って文章を徐々に破壊する方法を考案しました。拡散モデルの動作を順を追って見てみましょう。
- 正方向（拡散過程）
-
まず意味のある元の文章を用意し、それを数十ステップかけて徐々に破壊します。例えば、「太郎はリンゴを食べた」という文があったら、単語の一部をランダムにマスクしたり別の単語に置き換えたりしていきます。ステップが進むにつれて文章はだんだん意味不明になり、最後には全ての単語がマスクされたり無関係な記号に置き換わったりした「完全にノイズだらけ」の状態になります。これが拡散モデルにおける「ノイズを加える」工程です。
- 逆方向（生成過程）
-
次にモデルは、上記とは逆のプロセスでノイズを取り除きながら文章を組み立てることを学習します。何もない（全単語マスクされた）状態からスタートし、まずはそれらのマスクを最もありそうな単語で埋めます。続くステップでは、一度埋めた単語も含めてまた一部を修正しながら、徐々に文全体の粗さを取り除いていきます。段階的に下書きを推敲して完成度を上げていくイメージです。例えば最初は「□□□□□□」だったのが、「□□リンゴ□□」→「太郎□リンゴを食べた」→「太郎はリンゴを食べた」のように、ステップごとに文が洗練され最終的に筋の通った文章が得られます。
この生成過程では、モデルは各ステップで「前の状態を見て、不自然な部分をより自然な単語に置き換える」ことを繰り返します。つまりノイズだらけの文章から徐々に意味のある文章を浮かび上がらせていくのです。
これはちょうど、めちゃくちゃにシャッフルされた文章を少しずつ並べ直して正しい文章を復元するパズルのようなものだと言えます。このような仕組みにより、拡散モデルは最終的にまったく新しい文章を生成します。学習時に見たことのない文章でも、単語の統計的なつながりを学んでいるので、それらを組み合わせて自然で一貫した文を作り出せるのです。
拡散モデルでテキスト生成に挑戦した研究の歴史
拡散モデルによるテキスト生成には、計算コストや実装面での課題がありますが、一度に文全体を扱うことで、高度な制御性や多様な出力を実現できる可能性が期待されています。
こうした背景から、「画像生成で成功を収めた拡散モデルをテキスト生成にも応用できないか？」という問いが2020年前後より研究者たちの関心を集め始めました。特に2020年にジョナサン・ホーらが提案したDDPM（Denoising Diffusion Probabilistic Model）は画像生成において画期的な成果を挙げ、これがテキスト分野への応用研究をさらに後押しすることとなりました。
2021年以降、テキストデータを対象とした拡散モデルの研究が本格的に進められるようになっています。
2021年：Googleによる D3PM 〜離散拡散モデルの嚆矢（こうし）〜
2021年にGoogleの研究者ジェイコブ・オースティンとジョナサン・ホーが発表したD3PMは、テキストデータに拡散モデルを初めて使った研究です。拡散モデルとは元々、データにノイズ（乱れ）を少しずつ加えていき、最後には完全に意味のない状態にした後、その逆にノイズを取り除いて元のデータを再現する技術です。画像分野で成功していましたが、文章は画像と違い、文字が離散的で微妙なノイズを加えるのが難しいのです。
D3PMでは、単語を少しずつ別の単語に置き換えるための「遷移行列」という方法を使いました。これは各単語が別の単語に変わる確率を決めた表のようなもので、徐々に文章が意味のない状態に変化します。このノイズを付ける方法には3種類がありました。「ガウスノイズ」は似た意味の単語に置き換え、「一様ノイズ」はランダムな単語に変え、「吸収状態ノイズ」は特殊な記号（マスク）に置き換えて最後には完全にマスクだらけにします。特に吸収状態ノイズは「穴埋め問題」のように元の文章を復元することができ、文章生成に新しい可能性を示しました。
D3PMは初期研究だったため課題もありました。文章の一貫性や生成スピード、細かな制御にはまだ課題があり、後の研究でさらに改善されていくことになります。
2022年：スタンフォード大学のDiffusion-LM 〜高度な文章の制御〜
スタンフォード大学のシアン・リサ・リさんとパーシー・リャン教授は2022年、Diffusion-LM（ディフュージョン・エルエム）という新しい拡散モデルを提案しました。従来の方法では、単語を直接置き換えてノイズを加えることが難しかったため、Diffusion-LMでは、一度単語を連続した数値（ベクトル）に変換してからノイズを加える工夫をしました。
この方法の特徴は、途中の生成プロセスで細かな調整ができることです。例えば、「もっとフォーマルな表現にしよう」や「明るい雰囲気の文章にしたい」といった指定を、生成途中で少しずつ加えることが可能になりました。これを「勾配ガイダンス」と呼びます。この仕組みにより、文章のスタイルや感情を細かく制御できるようになったのです。
ただし、この方法は従来より計算に時間がかかるため、まだGPTなどの既存モデルほど迅速で幅広い知識を使った文章生成は難しいという課題もありました。
2022年：香港大学などのDiffuSeq 〜翻訳や要約への応用〜
同じく2022年には香港大学のリンペン・コン教授らが、DiffuSeq（ディフューシーク）というモデルを発表しました。DiffuSeqは機械翻訳や文章の要約など、入力された文章を別の文章に変換するタスクに拡散モデルを応用した初の試みでした。
DiffuSeqは、入力文を固定したまま、出力文だけにノイズを加えていきます。つまり、元の文の意味を保ったまま、ノイズ状態から元の意味を持つ新しい文章を復元する仕組みです。これにより、翻訳や要約などでも精度の高い結果が得られることが実証されました。
特に優れていたのは、多様性です。同じ入力でも様々な表現で文章を生成できるため、ユーザーにいくつかの選択肢を提示できるのです。ただし、完全な非自己回帰ではないため、生成スピードにはまだ改善の余地があり、長い文章の扱いも課題として残されました。
これらの研究を経て、拡散モデルはテキスト生成分野での可能性を大きく広げ、今後さらなる進展が期待されています。
研究から商用へ
まず、拡散モデル研究の成果が実際の製品・サービスへと結びついた象徴的な例として、Inception Labs社の「Mercury」とGoogle DeepMindの「Gemini Diffusion」が挙げられます。
Mercury（マーキュリー）
Mercuryは2025年2月にInception Labs（インセプション・ラボ）が発表した、世界初の商用規模の拡散型大規模言語モデル（dLLM）です。従来のTransformerベースLLMとは異なり、テキスト生成に拡散モデルの手法を採用している点が最大の特徴です。
特にプログラミング用のコード生成に強みを持ち、並列的な粗から細への生成により、コードを一度に生成してから洗練させていくことができます。Inception LabsによるとMercury（Mercury Coder）は従来のモデルと比べて最大10倍もの高速でテキストを生成可能であり、実際にNVIDIA H100 GPU上で1秒あたり1,000トークン以上という驚異的な出力速度を達成しています。
大規模な言語モデルでありながら応答の低遅延化とコスト削減を両立しており、すでに一部の企業ではAPIやオンプレミス版を通じてMercuryを自社システムに統合し、ユーザー体験やコスト効率の改善につなげています。研究段階のアイデアだった「拡散による言語生成」を、実用レベルで動作するプロダクトへ橋渡しした先駆例がこのMercuryだと言えるでしょう。
Gemini Diffusion（ジェミニ・ディフュージョン）
一方、Gemini Diffusionは2025年5月にGoogle DeepMindが発表した実験的な拡散型言語モデルです。こちらはまだ研究デモの位置付けですが、世界有数のAI企業が拡散モデルによるテキスト生成に本格的に取り組み始めたことを示す重要なマイルストーンです。
Gemini Diffusionは画像生成AIで確立された拡散モデルをテキストに応用したもので、ノイズから段階的に洗練して文章を生成するという手法を採っています。このアプローチによって並列処理による非常に高速なテキスト生成が可能となり、さらに「生成の途中でエラーを修正できる」という利点も得られています。
GoogleはGemini Diffusionが1秒間に1,479トークンものテキストを生成できると発表しており、その高速ぶりが大きな話題となりました。品質面でも、同社の従来型モデル（Gemini 2.0 Flash-Lite）に匹敵するベンチマーク性能を示したと報告されています。
Gemini Diffusionはまだ研究段階とはいえ、Googleという巨大企業が自社の最先端モデル群「Gemini」の一角に拡散モデルを取り入れ始めたことは、研究から商用への橋渡しが着実に進んでいる兆候だと考えられます。
拡散モデルと従来型LLMの住み分け
拡散型LLMが登場したからといって、すぐに既存の自己回帰型LLM（GPTシリーズなど）すべてに取って代わるわけではありません。今後しばらくは両者がそれぞれの得意分野で住み分け、共存していくと考えられます。
拡散モデルと従来型LLMの得意・不得意
実際、最新の評価では拡散モデルと自己回帰モデルで性能に得意・不得意の差異が見えてきています。の報告によれば、拡散型LLMはコード生成や数学問題など構造的で一貫性が要求されるタスクでは高い性能を示す一方、百科事典的な知識問題や高度な常識推論といった領域では、学習データの蓄積や最適化で先行する自己回帰モデルの方が優位なケースもあるようです。
言い換えれば、「文章全体の整合性・完全性」が重要なタスクには拡散モデル、「幅広い知識と文脈理解」が問われるタスクには自己回帰モデルが適している可能性があります。
この特性は直感的にも理解できます。自己回帰モデルは膨大なテキストコーパスを読み込んで次単語予測を洗練させているため、知識の網羅性や文脈把握能力に長けています。
一方で一度出力した内容を後から修正できないため、長いコードの中での矛盾や、数学計算のミスを巻き戻して訂正することは困難です。拡散モデルは逆に、全体を見渡しながら部分部分を調整する生成過程を持つため、構造の厳密さが要求される問題でミスを自己修正しやすく、抜群の安定感を発揮します。
実際にMercuryやGemini Diffusionも、プログラミングのコード生成において既存モデル同等以上の精度を示す一方、百科事典的質問応答のようなタスクではやや劣るベンチマーク結果も報告されています。これは現段階でのモデル洗練度や学習データ量の違いもありますが、少なくとも近い将来は、タスクの種類によってAR型と拡散型を使い分けるのが現実的でしょう。
拡散モデルと従来型LLMのハイブリッドが生まれるかも
将来的には、両アーキテクチャの強みを融合したハイブリッド型のモデルが登場する可能性もあります。
例えば、大まかなプランや知識面は自己回帰モデルで下書きし、詳細な詰めやエラーチェックを拡散モデルで行う、といった二段構えの生成も考えられます。または一つのモデルの中で、一部の層は自己回帰的に動き後段で拡散的な精錬を行う、といった新しいアーキテクチャも研究テーマになるでしょう。
現在でも、AIによる文章生成支援ツールの中には穴埋め（infill）型や編集型のモデルを組み合わせている例があります。同じように将来の高度な言語システムでは、状況に応じて最適な生成方式を切り替えることで、より高品質かつ効率的な出力を実現することが期待されます。
拡散モデルが拓く新たなアプリケーション
拡散モデルによるテキスト生成技術の発展は、これまでにはなかった新しいアプリケーションの可能性を広げます。
ソフトウェア開発
まず注目すべきはソフトウェア開発分野へのインパクトです。Mercury Coderが示したように、コード生成を高速かつ高精度に行えるモデルが普及すれば、開発者は自然言語で意図を伝えるだけで瞬時にコードの雛形が得られるようになります。
ソフトウェア開発の生産性は飛躍的に向上し、AIと人間の共同作業スタイルも大きく変わるでしょう。特に拡散モデルはリアルタイム対話的な生成が得意なため、IDE（統合開発環境）に統合してコーディング中に逐次AIがコードを提案・修正してくれるようなインタラクティブ開発が現実味を帯びてきます。
開発者とAIがまるでペアプログラミングをするように、リアルタイムでコードを書き換えていく未来が想像できます。
文章の編集・リライト支援
さらに、文章の編集・リライト支援という用途でも拡散モデルは力を発揮しそうです。
自己回帰型モデルで一度生成した文章を後から部分修正するのは難しいですが、拡散モデルならユーザーが示した一部の文章を固定しつつ残りを再生成するといった高度な編集が可能です。
例えば長文記事の中で第1段落だけを書き直したい場合、該当部分をノイズに置き換えて再拡散させることで、他の部分と辻褄を合わせながらリライトするといった使い方も考えられます。これは文章校正やスタイル統一などにも応用でき、人間のエディターを強力に補佐するツールとなるでしょう。
マルチモーダル
マルチモーダルへの展開も見逃せません。拡散モデルはテキスト・画像・音声といった異なるモダリティで基本的に共通の理論枠組みを適用できるため、一つのモデルで文章と画像を同時に生成・編集するような統合的AIも作りやすいと考えられます。
例えば、小説のプロット（文章）と挿絵（画像）を一貫性を保ちながら同時生成する、といったことが可能になれば、新次元の物語生成体験が生まれるかもしれません。
また、将来的に拡散モデルが洗練されモデルサイズの最適化が進めば、より小規模でも高性能を発揮するモデルが登場する可能性もあります。そうなればスマートフォンや組み込みデバイス上でリアルタイム動作する生成AIも実現し、応用範囲はさらに広がります。
拡散モデルの実用化はさまざまな分野へ応用できる
このように、拡散モデルの実用化は多岐にわたる応用シナリオをもたらします。高速かつ柔軟なテキスト生成エンジンは、教育（例えば対話型教材や自動採点フィードバック）、医療（問診内容からの即時レポート生成）、エンターテインメント（ゲーム内NPCのリアルタイム対話や物語生成）など、様々な領域で新サービス創出の鍵となるでしょう。
私たちのコミュニケーションや創作の在り方自体が、拡散型LLMによって変革されていく可能性があります。
まとめ
拡散モデルによるテキスト生成は、自己回帰型モデルの限界を克服し、高速性や柔軟な編集能力など新たな可能性をもたらします。一方で、離散的なテキストへの適用方法や品質、計算効率などの課題も残っています。
今後、従来型モデルとの住み分けやハイブリッド化が進み、多様な応用が広がることが期待されますが、生成AIの社会的影響にも配慮し、安全で責任ある活用を目指す必要があります。