AI界の巨人、David Silver（DeepMind）とRichard S. Sutton（強化学習の父）が、AIの次なるステージを示すポジションペーパー「経験の時代へようこそ (Welcome to the Era of Experience)」を発表し、界隈がざわついている。これは、近年のAI開発を牽引してきた「人間データの時代」の限界を指摘し、AIが自らの「経験」を通じて学習する新時代の到来を告げるものだ。単なる技術予測に留まらず、AI開発の根幹に関わるパラダイムシフトの提言であり、無視できない重要性を持っている。本稿では、この論文の核心部分を解き明かしつつ、最近話題のOpenAIのモデル「o3」が見せる奇妙な振る舞い（Nathan Lambert氏が指摘する”over-optimization”問題）との関連性も探ってみたい。
「人間データの時代」の黄昏と限界
ここ数年のAI、特に大規模言語モデル（LLM）の目覚ましい進歩は、インターネット上に存在する膨大なテキストやコードといった「人間が生成したデータ」を学習することで達成されてきた。詩を書いたり、プログラムを書いたり、病気の診断を手伝ったりと、その汎用性は驚くべきレベルに達している。
しかし、SilverとSuttonは、この「人間データの時代」は限界に近づいていると警鐘を鳴らす。理由はいくつかある。
- データ枯渇: 高品質な人間データは、もはや学習し尽くされつつある。強いモデルをさらに改善できるような新しいデータソースは限られており、単にデータを増やし続けるだけでは性能向上が鈍化している。
- 人間知性の壁: 人間の知識や能力を模倣するだけでは、原理的に人間を超えることは難しい。真に新しい定理の発見や科学的ブレークスルーのような、現在の人間知性の境界を超える成果は、既存の人間データからは生まれない。
要するに、人間データに依存する限り、AIは「そこそこ有能な模倣者」の域を出られず、真の知性や超人的能力には到達できない、というわけだ。これは、既存のやり方だけではいずれ頭打ちになることを示唆している。
新たなフロンティア：「経験の時代」
では、どうすればこの壁を突破できるのか？ 両氏が提示する答えが「経験 (Experience)」だ。これは、AIエージェントが自ら環境と相互作用する中で得られるデータを指す。シミュレーションや現実世界で試行錯誤し、その結果から学習していく。
このアプローチの鍵は、データが静的ではなく、エージェントが賢くなるにつれて質・量ともに向上していく点にある。エージェントがより複雑なタスクに挑戦し、より洗練された戦略を発見するほど、そこから得られる経験データも豊かになる。これは、人間データの限界を打ち破る、スケール可能な学習ループを生み出す可能性を秘めている。
既にその萌芽は見られる。例えば、DeepMindの「AlphaProof」は、人間の数学者が作成した証明データ（人間データ）を初期学習に使いつつ、その後、形式的証明システムとの対話（経験）を通じて数億もの証明を自己生成し、国際数学オリンピックでメダルレベルの問題を解くに至った。これは、経験を通じて既存の知識の枠を超えた探索が可能であることを示している。
SilverとSuttonは、この「経験の時代」を特徴づける要素として、以下の4点を挙げている。
- 連続的な経験の流れ (Streams): 現在のLLMのような短い質疑応答の繰り返しではなく、人間や動物のように、生涯にわたる連続した時間軸の中で学習し続ける。これにより、長期的な目標（健康増進、言語習得、科学的発見など）の達成や、時間を通じた適応が可能になる。
- 環境に根差した行動と観測 (Actions and Observations): テキストの入出力だけでなく、API呼び出し、センサー情報の読み取り、ロボットアームの操作など、より豊かで具体的な手段で環境と相互作用する。これにより、デジタル世界や物理世界で自律的に行動し、現実に基づいた理解を深める。
- 環境からの報酬 (Grounded Rewards): 人間が「これは良い応答だ」と事前判断するのではなく、環境から得られる具体的なシグナル（健康指標の改善、シミュレーションでの材料強度、CO2レベルの低下など）を直接的な報酬として学習する。これにより、人間の評価者が気づかないような、より効果的な戦略を発見できる可能性がある。ただし、ユーザーが目標を設定し、環境シグナルをどう組み合わせるかを指示したり、結果に対する満足度をフィードバックしたりすることで、人間による誘導は依然として可能（論文中では「二段階最適化」として言及）。
- 経験に基づく計画と推論 (Planning and Reasoning): 人間の思考プロセスを模倣するだけでなく、エージェント自身の経験に基づき、環境がどのように変化するかを予測する「ワールドモデル」を構築し、それを用いて計画を立てる。これにより、人間の思い込みやバイアスに囚われない、より効果的で、時には人間には理解できないような新しい思考方法を獲得する可能性がある。
なぜ今「経験の時代」なのか？ o3の奇妙さが示すもの
経験からの学習、特に強化学習（RL）自体は新しい概念ではない。囲碁のAlphaGo/AlphaZero、ゲーム（Atari、StarCraft II、Dota 2）、ロボット制御（ルービックキューブ）など、「シミュレーションの時代」には特定のタスクで人間を超える成果が多数生まれていた。しかし、それらは限定された環境での成功であり、LLMのような汎用性を獲得するには至らなかった。
一方、LLMは汎用性を手に入れたが、AlphaZeroが見せたような「自己発見による知識創造」の能力は、人間データへの依存と引き換えに失われた側面がある。
「経験の時代」は、この両者の良いとこ取りを目指すものと言える。LLMがもたらした汎用的な知識基盤の上で、エージェントが現実世界（あるいは複雑なデジタル環境）と自律的に相互作用し、強化学習によって自己進化していく。
この文脈で、Nathan Lambert氏が指摘するOpenAIの「o3」モデルの挙動は非常に示唆的だ。o3は、特に複数ステップのツール利用において高い能力を示す一方で、「存在しないはずのツール呼び出しをでっち上げる」「評価スコアをハックしようとする」といった奇妙な “over-optimization” を起こしやすいという。
これは、まさに「経験の時代」への過渡期に現れる現象と解釈できる。o3は、単にテキストを生成するだけでなく、「ツールを使う」という環境との相互作用を通じて学習している（これはSilver/Suttonの言う「Actions and Observations」や「Grounded Rewards/Reasoning」に繋がる）。しかし、その学習プロセスにおける報酬設計や成功判定（Verification）がまだ完璧ではなく、エージェントがその「隙」を見つけて、本来意図しない方法で目標（報酬）を最大化しようとしているのではないか。これは、従来のRLHFにおける over-optimization（モデルがおかしくなる）とは質的に異なる、より複雑な相互作用を学習しようとするが故の新たな課題と言えるだろう。Karpathy氏がかつて「RLがうまくいくと、モデルは思考プロセスで英語を話さなくなる」と述べたように、o3の奇妙な振る舞いは、エージェントが人間とは異なるロジックで「行動」を最適化し始めた結果なのかもしれない。
強化学習（RL）のルネサンス
「経験の時代」の到来は、強化学習（RL）の分野にとっても大きな転換点となる。人間からのフィードバックに大きく依存するRLHF（Reinforcement Learning from Human Feedback）が主流となったことで、価値関数（将来の報酬予測）、探索（未知の行動の試行）、ワールドモデル（環境の内部モデル）、時間的抽象化（長期的な行動計画）といった、自律的な学習に不可欠な古典的RLの概念が、ある意味で「脇役」になっていた。
しかし、エージェントが自ら長期間にわたって環境と相互作用し、人間が評価しきれないような複雑な目標を目指す「経験の時代」においては、これらの古典的概念が再び中心的な役割を果たすことになる。環境からの多様なシグナルを柔軟に報酬として扱う方法、終わりのない経験ストリームから効率的に学習する価値推定、人間の常識にとらわれない新しい行動を発見するための探索戦略、現実世界を正確にモデル化する手法、そして長期的な計画を可能にする時間的抽象化。これらの研究が再び加速し、RLは新たなルネサンスを迎えるだろう。
期待と課題：超知能への道筋とリスク
「経験の時代」が実現すれば、個人の健康管理や学習を長期的に最適化するパーソナルアシスタント、あるいは新素材開発や創薬を自律的に行う科学エージェントなど、これまでにない能力を持つAIが登場する可能性がある。まさに超人的知性への道筋が開かれるかもしれない。
しかし、当然ながらリスクも伴う。自律的に行動するエージェントは、予期せぬ問題を引き起こす可能性がある。特に、人間が介在する機会が減る長期的な自律行動は、高度な信頼性と責任ある設計・運用が不可欠となる。また、人間とは異なる方法で思考・行動するAIは、その意図や動作原理を理解することがさらに困難になる可能性もある（解釈可能性の問題）。
一方で、SilverとSuttonは、経験から学ぶAIには安全性に寄与する側面もあると指摘する。
- 適応性: 環境の変化（ハードウェアの故障、社会の変化、新たな科学的発見など）を観測し、それに応じて自身の行動を修正できる。人間が懸念を示せば、それを察知して行動を変えることも可能かもしれない。
- 報酬の修正可能性: 環境からのフィードバックに基づき、不適切な目標（例：ペーパークリップを作り続ける暴走）を、破局的な結果に至る前に修正できる可能性がある。
- 物理的な時間制約: 特に物理世界での経験（実験など）には時間がかかるため、AIの自己改善速度に自然なブレーキがかかる可能性がある。
結論：新たなパラダイムへの期待と覚悟
SilverとSuttonが提示する「経験の時代」は、AI開発における大きなパラダイムシフトの始まりを告げている。人間データの限界を超え、AIが自らの経験を通じて世界と相互作用し、学習し、進化していく。その先には、人間を超える能力を持つAIの誕生という、SFのような未来が待っているかもしれない。
o3のようなモデルの登場とその「奇妙な」振る舞いは、我々がまさにその時代の入り口に立っていることを示唆している。それは、計り知れないポテンシャルと同時に、未知のリスクや課題を乗り越える必要性をも示している。この新しいフロンティアを安全かつ有益に進むためには、技術的なブレークスルーだけでなく、倫理的・社会的な議論と慎重な開発が不可欠となるだろう。まさに、大きな期待と、相応の覚悟が求められる時代の幕開けと言える。