この記事は、Podcast「AI未来話」のエピソード「Appleのポジショントーク？推論モデルはただのパターンマッチング」を再構成した内容をお届けします。
Appleが発表した論文『The Illusion of Thinking』が示すLRMの真意とは？
Appleが2025年6月に公開した論文『The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity』（以下『Illusion of Thinking』）が、AI界隈で大きな話題となっています。
同論文は「Large Reasoning Models（LRMs）」と呼ばれる“思考トークン”を生成する大規模モデル群を分析し、その限界と評価方法の課題を提起しました。SNSでは「AppleはAI開発で遅れているからAIの評価を下げるポジショントークをしているだけ」との否定的な意見も見られますが、本当にそうなのでしょうか。本稿では論文を深掘りし、その真意を探ります。
LRMが目指す「人間的思考プロセス」とは？
―― そもそもAppleが論文で取り上げたLRMというモデルは、具体的にどんな特徴があるんですか？
「LRMは、最終的な答えを出すまでの過程（チェーン・オブ・ソート）をテキストとして出力し、“考え方”を可視化するアプローチです。たとえば、ある問題に直面した時、僕たちが『まずこれを考えて、それからあれを検討して』と段階を踏むように、モデルも同じようなチェーン・オブ・ソートを経て答えを導き出します」
―― 最近はチェーン・オブ・ソートという言葉もよく聞きますよね。
「そうですね。LRMの中には、このチェーン・オブ・ソートに自己反省（self-reflection）や検証ステップを重ねる手法もあり、これが各種ベンチマークで好成績を収めてきた背景とされています」
―― 本格的に注目され始めたのは2024年後半からなので、まだ1年ほどしか経っていませんが、ものすごい勢いで広まりましたね。
「この推論型モデルが注目されている理由は、いずれAGI（汎用人工知能）に到達するための重要なステップだと考えられているからです。実際、僕らの番組でも何度もそういう話題に触れてきましたよね」
―― ただ、論文ではその推論モデルの限界を指摘しているわけですね。
「その通りです。ベンチマークテストのスコアが高いと『このモデルはすごい！』となりますが、実は現在のベンチマークテストには『データ汚染』という問題が潜んでいるんですよ」
ベンチマーク評価に隠された問題「データ汚染」
―― データ汚染とは具体的にどんなことなんでしょうか？
「データ汚染とは、簡単に言えば『モデルがテストでカンニングしている状態』のことなんです。トレーニングデータの中に、テストで使われる問題そのものや非常に類似したデータが含まれていると、テストを受ける時には『あ、これ知ってる』という状態になってしまいます。これは人間で言えば、過去問をそのまま覚えていて試験に臨むようなものですよ」
―― なるほど、完全な実力ではないわけですね。
「そうなんです。論文では数学ベンチマークの『AIME24』と『AIME25』という問題セットを用いて、このデータ汚染の影響を検証しています。『AIME25』は比較的新しい年度で人間にはやや易しい問題が多かったのですが、モデルはむしろ古い『AIME24』の方で高得点を出しました。これは古い問題が訓練データに含まれていた可能性が高いという、データ汚染の典型的な例です」
―― では、本当の推論能力を評価するためには、どんな工夫が必要なのでしょう？
「ここでAppleの論文が取った方法が、モデルが事前学習でほぼ触れていないであろうTower of Hanoiなどの制御可能なパズル環境を使うことでした。これにより、データ汚染の影響を避けつつ、真の推論能力が試される環境を作り出したわけです」
本当の推論能力を測るために――パズルゲームの活用
データ汚染の影響を避け、推論モデルの真の実力を評価するために、Appleの研究ではパズルゲームを採用しました。パズルの内容やルールを事前にモデルが学習する可能性を極力排除し、リアルタイムで推論させることで純粋な推論能力をテストしています。
「ハノイの塔」が示した推論型モデルの限界
―― 「ハノイの塔」は有名なパズルですが、実験では具体的にどのように使われたのでしょうか？
「ハノイの塔というのは、3本の杭があって、それぞれの杭にサイズが異なる複数枚のディスクが積まれているパズルです。このディスクを他の杭に移動させるわけですが、1度に1枚しか動かせない、そして常に一番上のディスクしか動かせないというルールがあります。枚数が増えるほど指数関数的に難しくなる、典型的な再帰型のパズルですね。たとえばディスクが4枚なら最短手数は15手、7枚なら127手、8枚なら255手になります」
―― 実験では、推論型モデルにどのような条件でパズルを解かせたんですか？
「ディスクの枚数を徐々に増やし、難易度を調整しました。結果は、ディスクが8枚になった段階でモデルの正解率が約10 %程度にまで急落し、10枚以上ではほぼ解けなくなったという点です」
―― 正解率がそこまで落ちたのは驚きですね。
「そうなんです。Appleの論文では“完全な思考崩壊（complete accuracy collapse）”と表現されています。モデルは必要トークンが十分残っているにもかかわらず、ある複雑さを超えると推論そのものをやめてしまうのです」
―― 推論を諦めるというのは面白いですね。人間にも通じるものがあります。
「まさに人間っぽい挙動ですよね。興味深いことに、推論が難しくなるとモデルはいったん思考トークンを増やしますが、限界に達すると急に思考量を縮小してしまいました」
―― 簡単な問題ではどうだったのでしょう？
「1〜2枚の簡単な設定では両モデルとも100 %の成功率でしたが、3枚では推論型モデルが“過剰思考”に陥り、標準モデルより数ポイント低い成績を記録しました。つまり、推論型モデルは極端に難しい問題だけでなく、簡単すぎる問題でも性能が落ちる場合があると分かったんです」
―― そうなると得意領域はどこにあるのでしょう？
「ディスク枚数で言えば4〜7枚、手数で15〜127手が必要な“中程度の難易度”の範囲ですね。このレベルでは、通常の推論プロセスを持たない一般的なモデルに比べて、推論型モデルが明確な優位性を示しました」
―― つまり、推論型モデルには明確な「適材適所」があるということですね。
「その通りです。推論能力の限界が見えたことで『すべての問題を推論型モデルで解けばよい』という誤解も払拭されました。実際には、問題の難易度に応じて最適なモデルを選ぶことが重要になるわけですね」
明らかになった推論モデルの「根本的な限界」
Appleが行った「ハノイの塔」の実験で浮き彫りとなった推論モデルの限界ですが、さらに別の視点からの分析も行われました。それが「明示的なアルゴリズムを提供した場合」や「異なる種類のパズル間での一貫性の欠如」です。
アルゴリズム提供でも崩壊する推論能力
―― 今回の実験で、推論モデルにアルゴリズムを明確に提供しても解けない状況があったとのことですが、これは具体的にどういう意味ですか？
「Appleの論文では、Tower of Hanoi の 8〜15 枚ディスク問題に対し、再帰的ソリューションを擬似コードとしてプロンプトに埋め込み、その通りに実行できるかを検証しました。Figure 8 の結果では手順が示されているにもかかわらず正解率はほぼ 0 %のままでした。つまりモデルは指示をテキストとしては読めても、論理手続きを忠実に実行する能力が不足しているということです」
―― それは意外ですね。明確な解法があるなら問題なく解けるはずだと思っていました。
「LRMは“レシピ”を渡されても調理工程を正しく再現できない場合があります。これは『推論能力』だけでなく指示追従型の実行エンジンとしての限界も示しています」
パズル間で推論能力に一貫性がない理由
―― パズルの種類を変えた場合、性能が大きく変動したという点も指摘されました。これはどういうことなのでしょう？
「同じモデルでも Tower of Hanoi では 7 枚まで高い正解率を示した一方、River Crossing（“Missionaries and Cannibals” 3 組 6 人、最小解 11 往復）のような制約充足型パズルでは4 手目前後で失敗しました。
原因は訓練データ中の露出度の差です。Hanoiは歴史の長いパズルでサンプルが豊富なのに対してRiver Crossing はバリエーションが多く公開例が少ないため、モデルがパターンマッチできず推論の糸口を掴めなかったと考えられます」
―― なるほど、モデルは限界を感じると“考える努力”そのものを減らしてしまうのですね。つまり、気合が足りないというわけですね。
「論文の原文では “models begin reducing their reasoning effort despite ample generation-length limits” と説明されています。人間なら『あと一歩』で粘るところを、モデルはトークンを残しているのに思考を打ち切る――この“inverted effort scaling”が、現行 LRM の大きな課題だと Apple は示しています。」
―― 人間には粘り強さがありますが、モデルは簡単に諦めてしまう、と。
「そのとおりです。このギャップを埋めない限り、推論型モデルが中〜高難度問題を安定して解くことは難しいでしょう」
ベンチマークの限界とユースケース評価
―― 論文ではベンチマーク評価の限界を示していましたが、私たちはそこから“ユースケース重視”の重要性を感じました。これからはどのような評価が必要になるのでしょうか？
「Apple の Illusion of Thinking が直接提案しているのは、制御可能なパズル環境を用い、思考トレースまで観察する評価手法です。最終スコアだけでなく『モデルがどのように考えたか』を確認することで、真の強みと限界が見えると論文は述べています。」
―― ただ僕らとしては、実際のサービスや業務で AI を使う場面、たとえば複数ドメインの文書要約や長期対話の保守でどれだけ役立つかを測る“ユースケースベースの評価”も今後は欠かせないと考えています。
「そうですね。論文はそこまでは踏み込んでいませんが、ベンチマークだけでは見えない課題が明らかになった以上、現場での適応力を検証するフレームワークを私たち自身が整備する必要があると思います」
エンディング
―― 今回のエピソード、どうでしたか？
「めちゃくちゃ面白かったですね。Appleが発表した論文はSNSでは『単なるポジショントークだ』なんて揶揄されていましたが、しっかりと読み解くと全く違った印象になります。AIの能力に対する過剰な期待を冷静に見直すきっかけになりましたし、実際の推論モデルの限界点や性能の差がはっきりわかりました」
―― 確かに、AIに対する印象がだいぶ変わりましたね。
「本当にそうです。僕自身、推論型モデルが万能で、あらゆる問題を解決できるようなイメージを持っていました。でも、論文の実験を通じて、簡単すぎる問題でも過剰に思考して性能が低下したり、逆に複雑な問題だと諦めてしまうという人間っぽい弱点があることが分かりましたよね。AIにも『気合』という視点が必要かも、というのは驚きの気付きでした」
―― 気合不足というのは衝撃でしたね。AIに精神論が出てくるとは。
「そうそう、これが非常に面白いところで、AIの推論モデルが限界を感じたときにすぐ諦めてしまうというのは、人間だったら『もうちょっと頑張ろう』という場面ですよね。トークンを使い切らずに途中で投げ出す、そういう課題が明らかになったことで、今後の開発の方向性がさらに明確になったんじゃないかなと思います」
―― 今後、実際にAIを使う上で意識することはありますか？
「やっぱりベンチマークスコアに惑わされるのではなくて、実際のユースケースでしっかり挙動を見ることですね。推論モデルを何でもかんでも使うのではなく、問題の難易度に応じて適切なモデルを選ぶべきだなと強く感じました。特に中程度の難易度で推論モデルが最適という結果は、非常に実用的な発見だと思います」
―― 最後に、今後やってみたいことや期待することはありますか？
「実際に僕ら自身でも、モデルのベンチマーク検証をやってみたいですね。独自のユースケースを設定して、どのモデルがどんな場面で最適なのか検証していくのはとても興味深いと思います。たとえば、AIにお笑いのネタを作らせて評価するとか、そういったユニークなベンチマークを作ってみるのも面白そうですよね」
まとめ
今回のエピソードでは、Appleが公開したLRM関連論文『The Illusion of Thinking』を通じて、推論型モデルが抱える根本的な課題と限界を明らかにしました。論文が示しているのは、単にAI開発のネガティブな側面を指摘するのではなく、AIの現在地を正しく理解し、次のステップへと進むための建設的な提言であるということです。
ベンチマークスコアに頼る評価から脱却し、実際のユースケースでAIを評価していく重要性が改めて示されました。また、AIが諦める「気合不足」という人間的な挙動にも注目し、今後の開発の方向性として、推論モデルが最後まで粘り強く思考を続ける仕組みの必要性を提言しています。
これからAIを効果的に活用するためには、モデルの能力や特性を十分に理解し、最適な使い分けを行うことが不可欠です。Appleの論文が投げかける重要なメッセージを受け止め、より現実的で実用的なAI利用法を探求していくことが求められます。