Dwarkesh Patelのpodcastに、現代最高の数学者の一人であるTerence Taoが出演した。
AIが科学的発見、とりわけ数学という純粋論理の領域においてどのような影響を与えるかについて、Taoは極めて冷静かつ深遠な分析を披露している。AIの到来を以て数学の研究業務はオワコンとなるという世紀末的確信をもって言い切る人が後を絶たないが、一旦そのような無責任極まりない未来観測的与太話は無視し、今回はTaoの歴史的洞察と、最前線でAIを使い倒す彼自身の生々しい評価に焦点を当てる。
KeplerはTemperatureの高いLLMだったのか
Taoは科学の歴史における偉大な発見の例として、Johannes Keplerの惑星運動の法則の発見を挙げる。Keplerは当初、惑星の軌道がPlatonic solids（正多面体）に内接・外接するという、美しくも完全に間違った理論に熱中していた。しかし、Tycho Braheによる肉眼観測の極致とも言える膨大かつ精密なデータセットを（半ば強引に）手に入れたことで、自らの美しい仮説が現実と10%ほどズレているという残酷な事実に直面する。
そこから数年にわたる試行錯誤の末、Keplerは「軌道は楕円である」という経験則を導き出した。ここでDwarkeshが提示する「KeplerはTemperatureの高いLLMだったのではないか」という仮説が非常に的を射ている。Keplerは音楽の和音（harmonics）やら占星術やら、あらゆる思いつきをランダムに試しまくる、まさに高Temperatureの設定で出力し続ける生成AIのようなアプローチをとっていた。そして、Braheの精密なデータという「検証ループ」が存在したからこそ、無数の的外れな出力の中から、最終的に真理（惑星運動の第3法則など）を拾い上げることができたのである。
逆に言えば、どんなに奇抜でelegantなアイデアを大量生成できても、厳格な経験的検証（empirical validation）がなければただの妄想に終わる。そして、Keplerが見つけたパターンに対して「なぜそうなるのか」という深遠な理論的裏付けを与えたのは、一世紀後のIsaac Newtonであった。現在のAIは、膨大な仮説を生成してデータに当てはめるKepler的なアプローチ（幅）には長けているが、Newton的な概念的飛躍（深さ）には到達していないというのが、Taoの見立てである。
アイデア生成の限界費用ゼロ化と「AI slop」の蔓延
これまで科学の歴史において、仮説の生成、いわゆる「エウレカ」の瞬間は、天才の専売特許としてもてはやされてきた。しかしAIの登場により、状況は一変した。Taoの言葉を借りれば、インターネットが通信の限界費用をゼロにしたように、AIは「アイデア生成のコストをほぼゼロ」にしてしまったのである。
結果として何が起きているか。それは「AI slop」——すなわち、玉石混交のAI生成アイデアの大量流入である。現在、学術誌の査読システムは、AIが吐き出した無数の「それっぽい」仮説や論文によって完全にオーバーフローを起こしている。かつての科学のボトルネックは「良いアイデアを思いつくこと」だったが、現在の新しいボトルネックは「生成された無数の可能性の中から、真に意味のある洞察を検証し、評価し、見つけ出すこと」へと完全にシフトした。
このパラダイムシフトは深刻な問題を提起する。AIが何百万もの論文を書き、その中に次世代の革新的な理論が含まれていたとして、我々はそれをどうやって見つけ出すのか。科学の歴史を振り返れば、後に正解だと判明する理論であっても、提唱された当初は既存の理論（例えばPtolemyの天動説に対するCopernicusの地動説）よりも予測精度が低かったり、Newtonの万有引力のように「遠隔作用」という当時の常識からすればオカルトじみた前提を含んでいたりした。科学的進歩を評価するには、客観的なデータだけでなく、他の科学者を納得させる「説得力」や「物語」が不可欠である。AIはまだ、この「人間社会におけるnarrativeの構築」という泥臭いが必須のプロセスを最適化できていない。
Erdős問題の選択バイアスと、AIの真の限界
昨今、メディアは「AIが未解決のErdős問題を50個も解いた！」とこぞって絶賛している。しかし、最前線の数学者であるTaoの評価は驚くほど冷めている。そこには強烈な選択バイアス（selection bias）が存在しているという。
Taoによれば、AIが解決した50の問題のほとんどは、単にこれまで誰も真剣に取り組んでこなかった「low hanging fruit」に過ぎない。既存の文献がほとんどなく、ちょっとしたマイナーなテクニックを組み合わせれば解けるような問題だ。実際、AIにこれらの問題を網羅的かつ系統的に解かせてみると、その成功率はわずか1%から2%に過ぎないという。我々は、数万回の試行のうちたまたま成功した1%の「ガチャの当たり」だけをSNSで見て、AIが数学を完全に理解したと錯覚しているのだ。
Taoはここで「人工的な賢さ（artificial cleverness）」と「人工知能（artificial intelligence）」を明確に区別している。人間が未解決問題に取り組むとき、ジャンプして失敗しても、途中の手がかりにしがみつき、そこから新たな知見を構築し、他の人間を引き上げてさらにジャンプする。つまり、部分的な進捗から累積的に理解を深めることができる。対して現在のLLMは、ただ盲目的にジャンプと墜落を繰り返す力任せのbrute forceマシンに過ぎない。セッションをリセットすれば全てを忘れ、問題を解いたとしてもモデル自身の数学的理解が深まるわけではないのである。
人類とAIのハイブリッド、あるいは「幅」と「深さ」の分業
とはいえ、TaoはAIの可能性を否定しているわけではない。むしろ、彼自身も日々の研究でAIを使い倒し、生産性を飛躍的に高めている。面白いのは、AIがTaoの代わりに深遠な定理を証明しているのではなく、コードを書き、図表を作り、文献を検索するといった周辺業務（secondary tasks）を処理しているという点だ。論文はよりリッチで幅広くなったが、コアとなる最も難しい問題の解決には、Taoはいまだに紙とペンを使っている。
今後の数学研究は、この「幅」と「深さ」の分業、すなわちhuman-AI hybridsによって支配されるだろう。例えば、AIがLeanのような定理証明支援言語を使って、数百万行に及ぶグロテスクで解読不能な証明を吐き出すかもしれない。人間はそれを直接読むのではなく、別のAIエージェントを使ってその証明のablation（切除・削減）を行い、最も美しいコアの論理だけを抽出して理解する。そういった新しいアプローチが数学のフロンティアを切り拓く可能性すらある。
かつて、微積分を駆使して微分方程式を解くことは19世紀の数学者の立派な仕事だったが、今ではMathematicaに計算させるだけの作業になった。人類は計算を機械に投げ渡し、より抽象的で深い問題へと移動した。同じように、既存のテクニックを組み合わせて解けるような問題は遠からずAIがすべて処理するようになり、人間は「深さ」を要求される未知の概念的飛躍に専念することになるだろう。
最適化社会におけるserendipityの喪失
最後に、この対話の中で最も心に残ったTaoの言葉を記しておく。彼は、自らの限られた時間をどう使うべきかという問いに対し、徹底的な最適化の危険性を指摘した。学会の雑務や気乗りのしない会議であっても、そこには偶然の出会いがあり、思いがけない知見が得られることがある（このpodcastへの出演自体もその一つだと言う）。
現在の我々は、リモート会議とAI検索の普及により、目当ての情報に「爆速」で最短距離でアクセスできるようになった。だが、図書館で目的の論文を探すついでに隣のページをパラパラめくって偶然面白い記事を見つけるような、ノイズを含んだserendipityを失いつつある。AIが科学を極限まで効率化し、数百万のAIエージェントが論文を量産し続ける未来において、我々が直面する真の危機は、AIに仕事を奪われることではなく、この「無駄の中にある遊び（high temperature）」を自ら排除してしまうことなのかもしれない。